研究与出版物

xPU.IO 项目植根于严谨的学术研究。我们的工作已在顶级会议上发表，为 AI 工作负载的 GPU 中心存储系统进步做出贡献。

预印本

Tutti：用于长上下文 LLM 推理的 GPU 中心 KV 缓存存储

（作者待定）
arXiv 预印本 • 2026

摘要

长上下文 AI 智能体需要存储和检索大量 KV 缓存。Tutti 提出了一个 GPU 中心的多层缓存架构，将 NVMe SSD 作为主存储层，通过智能前缀缓存实现 256K+ 上下文支持。

核心贡献

  • 多层 KV 缓存架构（HBM/DRAM/NVMe）
  • 针对智能体工作负载的前缀缓存优化
  • 在 SWE-bench Pro 追踪中实现 94.2% 缓存命中率
  • 131:1 输入/输出令牌比利用率

主要结果

  • 支持 256K+ 令牌上下文
  • 智能体应用中 94.2% 缓存命中率
  • 高效存储大规模对话历史
阅读论文查看代码项目页面
已发表

Phoenix：用于 GPU 直接存储的无伪缓冲区重构 I/O 栈

Jianqin Yan, Shi Qiu 等
SC'25 - 国际高性能计算、网络、存储和分析大会 • 2025

摘要

传统的 GPU-存储数据路径需要数据通过 CPU 和主机内存，充当"伪缓冲区"，浪费带宽和 CPU 周期。Phoenix 通过利用 Linux ZONE_DEVICE 使 GPU 内存成为合法的 I/O 缓冲区，重构了 I/O 栈，实现了从 NVMe 到 GPU 的直接 DMA，无需应用程序或文件系统修改。

核心贡献

  • 消除 GPU-存储路径中的伪缓冲区
  • 实现 24 GB/s 吞吐量（96%+ 带宽利用率）
  • 支持多个 GPU 供应商，无需内核 I/O 更改
  • 与 io_uring 集成以实现高并发 I/O
  • 保持 POSIX 接口兼容性

主要结果

  • 比 CPU 中介路径快 2.2 倍
  • LLM 推理中 5.6 倍 TTFT 改进（与 LMCache 结合）
  • 无需应用程序代码更改
阅读论文查看代码项目页面

我们的研究重点

GPU 直接存储

通过直接 DMA 传输和 ZONE_DEVICE 机制消除 GPU-存储数据路径中的 CPU 瓶颈。

KV 缓存管理

通过多层架构为长上下文 LLM 推理高效存储和检索 KV 缓存。

AI 基础设施

针对 AI 工作负载的系统级优化，专注于性能、可扩展性和供应商中立性。