LMCache&xPU.IO：当LMCache遇上直通存储

概述

GPU直通存储让存储设备直接向GPU显存传输数据，主机内存不参与数据搬运。

Phoenix是一个全栈开源直通存储I/O栈，支持POSIX接口，使用io_uring进行加速，且跨厂商，支持多种存储后端。Phoenix为LMCache提供了一个高性能直通存储后端，在生产trace回放中把高并发下的平均TTFT压低了5.6×，推理系统QPS提升2x以上。

KV Cache 的容量与速度挑战

负载特征变化

当前KV Cache的负载已经从chatbot转向agent，agentic负载特征是长horizon的多轮loop，在推理和工具调用之间反复切换。

前缀缓存住，prefill在这部分几乎是免费的，每轮成本只剩增量输入的计算成本。

两个核心要求

现有路径：KV 需要经主机内存中转

buffer = malloc(len);              // 主机内存做跳板
cudaMalloc(&devPtr, len);
pread(fd, buffer, len, offset);   // 盘 → 主机内存
cudaMemcpy(devPtr, buffer, len, H2D); // 主机内存 → 显存

性能损失

Codex SWE-bench回放测试（20,230条请求）：

• 平均prompt长度：~68K tokens
• TTFT均值：1101 ms
  • SSD加载时间：~600 ms（蓝色部分）
  • GPU prefill：313 ms
• 主机内存中转导致了额外延迟

Phoenix：去掉伪缓冲区的直通存储栈

技术优势

LMCache 集成 Phoenix

GDS L1框架

GDS L1框架自顶向下可以分为两层：

Stream Ordered I/O

Phoenix专门实现了对Stream Ordered I/O的支持。基于加速器runtime的LaunchHostFunc原语，Phoenix把一段由Host发起的DMA read/write包装成一个host callback挂到调用方的stream上。

集成方式

Phoenix Backend架构

层级结构

应用与框架
  vLLM / LMCache / 自定义应用
         ↓
应用适配器
  phxloader / phxcache / phxfile
         ↓
用户态 libphoenix
  设备发现、显存注册、地址解析
  同步/批量/异步 I/O ↔ phoenixfs
         ↓
Linux 文件系统与块层
  pread/pwrite 或 io_uring
  → NVMe/RDMA DMA

关键特性

性能结果

测试配置

三种配置对比

关键指标

性能分析

LMCache+Phoenix 使用方法

快速开始（三步启动）

# ① 构建并安装 Phoenix（内核模块 + libphoenix）
git clone https://github.com/xPU-IO/Phoenix.git && cd Phoenix
mkdir -p build && cd build && cmake .. && make -j && sudo make install
nvidia-smi  # 先确保厂商驱动已加载
sudo make insmod  # 加载 phoenixfs 内核模块

# ② 构建并安装 LMCache 适配层（libphxfile.so）
bash adapters/LMCache/phxfile/install.sh

# ③ 启动 LMCache，指定后端
LMCache server ... \
  --gds-l1-backend phx \
  --gds-l1-path /mnt/nvme/LMCache_gds

结语

参考链接