xPU.IO: 直接存储AI 加速基础设施

为 LLM 推理和 AI 工作负载构建高性能 GPU 中心存储解决方案

xPU.IO 是由腾讯 DCPD 发起的开源社区，专注于 AI 应用的 GPU 直接存储。我们构建生产就绪的基础设施，消除 CPU 瓶颈，充分发挥 NVMe SSD 在 AI 工作负载中的潜力。

开始使用查看项目阅读研究

开源

生产就绪

发表于 SC'25

腾讯 DCPD 支持

AI 存储挑战

KV Cache 容量危机

随着 Agent 应用成为主流，推理上下文已增长到 100 万+ tokens，单个会话的 KV Cache 达到数十 GB。HBM 和 DRAM 容量有限且昂贵——需要更大的存储介质。

→100K tokens = 数十 GB KV Cache

→HBM/DRAM：容量有限，成本高

→需求：每台机器 100TB+ 规模存储

存储速度瓶颈

传统存储路径要求数据遍历 CPU 和主机内存，导致带宽损失超过 60%，严重影响推理性能的延迟。

NVMe 理论带宽：25 GB/s

实际端到端加载：10.2 GB/s

带宽利用率：40.8%

带宽损失：> 60%

传统路径 vs GPU 直接存储

❌ 传统（CPU 中转）

NVMe SSD → DRAM → GPU 显存

├─ PCIe ─┘

└─ PCIe ──────┘

• 两次 PCIe 传输

• CPU 完全参与

• 主机内存作为伪缓冲区

• 实际带宽：10.2 GB/s (40.8%)

✅ Phoenix（直接）

NVMe SSD ────→ GPU 显存

└─ PCIe (DMA) ─┘

• 单次 PCIe DMA 传输

• CPU 零拷贝

• 无中间缓冲区

• 实际带宽：24+ GB/s (96%+)

我们的方案：GPU 中心存储栈

xPU.IO 利用 GPU 直接存储技术，使存储设备能够直接将数据传输到 GPU 显存，消除 CPU 和主机内存的中间开销。

极致性能

通过 GPU 直接访问，实现 NVMe 理论带宽的 96%，而传统 CPU 中转路径仅为 40%。

TTFT 提升 5.6 倍

海量容量

使用 NVMe SSD 将 KV cache 存储扩展到每台机器 100TB+，支持 100 万+ token 上下文，成本仅为 HBM/DRAM 的一小部分。

每台机器 100TB+

低成本

与 HBM/DRAM 相比，存储成本降低 10-100 倍，同时保持 AI 推理工作负载的高性能。

成本降低 10-100 倍

xPU.IO 如何实现这一点

直接 DMA 传输

NVMe SSD 通过 PCIe DMA 直接将数据传输到 GPU 显存，完全绕过 CPU 和主机内存。

零 CPU 开销

CPU 专注于推理计算，而存储 I/O 在 PCIe 总线上独立进行。

生产验证

使用腾讯的真实生产 trace 进行测试，在高并发下实现稳定性能。

厂商中立

支持 NVIDIA GPU、AMD GPU 和国产加速器（如沐曦），无厂商锁定。

我们的项目

xPU.IO 为 AI 工作负载开发 GPU 中心存储基础设施，从底层 I/O 栈到高层缓存管理。

Tutti

研究中

GPU-Centric KV Cache Storage

Multi-tier KV cache management system that leverages NVMe SSDs as the primary storage tier, supporting 256K+ context lengths with efficient prefix caching.

核心特性：

256K+ context support
NVMe-backed storage tier
Prefix cache optimization
Multi-tier cache management

了解更多

Phoenix

生产就绪

GPU Direct Storage I/O Stack

Open-source GPU Direct Storage middleware that eliminates CPU bottlenecks by enabling direct data transfer between NVMe SSDs and GPU memory, with POSIX interface and cross-vendor support.

核心特性：