多卡推理为什么忽快忽慢:ReBAR、P2P 和 PCIe 降速
三卡 layer-split 跑 27B 模型,PCIe 流量忽而 GiB/s 忽而几十 MB/s,速度也是时快时慢。这篇记录两天的排查:尖峰是什么、慢在哪,外加一次 ReBAR 翻车实录。
背景:三张消费级显卡 layer-split 跑 27B
家里那台推理服务器(我们内部叫它"炼丹炉"),配置是 X99 平台 + 2 张 RTX 3060 12G + 1 张 RTX 4070 12G。跑 Q4 量化的 27B 模型,权重约 17GB,单卡装不下,只能用 llama.cpp 的 layer-split 模式把层切到三张卡上。
跑着跑着发现两个怪事:
- nvtop 里 PCIe 流量偶尔飙到 GiB/s 级别
- 同样的 prompt,有时候很快,有时候慢得离谱
这篇记录一下这两天的排查过程,顺带一次翻车现场。
疑点一:GiB/s 的流量尖峰是什么
第一反应是:显存卸载(offload)到系统内存了?查了下显存占用,稳定在 70%,显然不是 offload。那到底是什么在传?
我写了个小脚本,一边采样 PCIe 流量,一边分别发短 prompt 和长 prompt,结论非常干净:
- 纯解码(一次生成一个 token):每个层边界只传"一个 token 的 hidden state",几十 KB,实测 20 MB/s 左右。这就是平时看到的"几十 MiB/s",速度 14-20 tokens/s,挺快。
- Prefill(长 prompt 进来时):每个层边界要传
batch × seq_len × hidden_dim的大张量,实测飙到 500 MB/s ~ 1.5 GB/s。请求开始的瞬间,我抓到过 7.1 GB/s 的尖峰。
所以 GiB/s 尖峰 = 长 prompt prefill 时三卡之间传激活值。这是正常现象,不是故障。
疑点二:为什么有时候慢
"如果只是降频不会这么慢"——我的直觉是对的,慢是四件事叠在一起:
1. 两张 3060 被砍到了 x8(主因)
lspci 里两张 3060 明明是 x16 的卡,协商出来的却是 x8:
nvidia-smi -q | grep -A2 "Link Width"
# Width Current: 8
# Max: 16
Gen3 x8 的单向理论上限约 7.8 GB/s,而我抓到的尖峰是 7.1 GB/s——几乎把 x8 链路打满了。链路一饱和,GPU 算得再快也喂不进数据,算子只能干等 PCIe。
2. 没有 NVLink、没有 P2P,卡间通信全绕 CPU
nvidia-smi topo -m
三卡全是 PHB 拓扑:任何跨卡传输必须穿过 CPU 的 PCIe 主机桥,没有直连路径。延迟高,还和 CPU 抢总线带宽。消费级卡没 NVLink,这台机器上 NVIDIA 的 P2P 也是禁的,绕不开。
3. 新老卡混搭,慢的拖快的
layer-split 本质是流水线。3060 明显比 4070 慢,快的卡算完得等慢的卡,整条 pipeline 卡在速度最慢的那张上。
4. 热降频补刀
3060 跑到 71-85°C,降频到 1777 MHz。单独一个因素就能把 20 tokens/s 打到 5,它和上面几条叠加,"很慢"就是复合结果。
意外收获:排查时发现"空闲期"也有流量尖峰,顺着 server 日志一查——局域网里另一台设备一直在调这台机器的推理 API。两边撞在一起同时 prefill,共享链路直接打爆,速度雪崩。共享服务要错开峰值使用,这个教训很实在。
支线:ReBAR 为什么死活是 256MB
顺路想开启 Resizable BAR。三张卡都支持(标称 16GB 地址空间),但实际映射只有 256MB。
先加内核参数:
# /etc/default/grub
GRUB_CMDLINE_LINUX_DEFAULT="quiet pci=realloc=on"
sudo update-grub
重启后参数生效(/proc/cmdline 里能看到),BAR 还是 256MB。继续深挖:
- 内核编译选项没问题(
CONFIG_PCI_REALLOC_ENABLE_AUTO=y) - sysfs 里三张卡都有
resource1_resize接口 - 但 dmesg 里一条 resize 日志都没有
决定性证据是 4GB 地址线以上的空间:
# 统计 /proc/iomem 中 4GB 以上的 MMIO 空间
grep -E "^[0-9a-f]{9,}-" /proc/iomem | grep -v "System RAM"
结果:0 字节。除了 30GB 内存和内核自身结构,没有任何设备映射在 4GB 以上。也就是说——BIOS 里的 "Above 4G Decoding" 开了,但实际根本没生效。
再查 GPU 根端口的 64-bit 窗口位,全是关的。BIOS 菜单里那个开关是有的,CSM 也关了,但固件压根没把 64-bit 窗口放出来。
查了一圈,这是这批 X99 主板的已知毛病:论坛上有同款主板的帖子,原话几乎一样——"Above 4G 开了、CSM 关了,ReBAR 还是不行",最后有人去求 BIOS mod。菜单里有开关 ≠ 固件实现了。
一个容易犯的错要先掰正:"能识别出 3 张 GPU" 和 "4G 解码开没开" 是两码事。GPU 识别靠的是 PCIe 枚举——链路通了就读厂商/设备 ID,跟 BAR 映射在 4GB 上面还是下面毫无关系。我这三张卡 256MB 的 BAR 全在 4GB 以下,llama.cpp 照样跑得好好的。别拿"机器能正常用"当"4G 解码开着"的证据。
最后说句实在话:ReBAR 对 llama.cpp 的 layer-split 场景收益极小。decode 是 GPU 内部吃自己的显存,CPU 几乎不碰显存;ReBAR 只在 prefill 传大张量时沾点光,撑死个位数百分比。而真正的两个瓶颈——x8 降速和没有 P2P——ReBAR 一个都不治。
结论
- GiB/s 尖峰是正常的:长 prompt prefill 时多卡之间传激活值,不是显存 offload
- 慢的主因是 x8 链路饱和:治本方向是查主板插槽布线和 BIOS 的 PCIe 配置,把 3060 拉回 x16
- 没有 P2P 是硬件层面的:X99 + 消费级卡 + 无 NVLink,卡间通信绕 CPU 主机桥,无解
- ReBAR 不值得追:主板固件没实现 4G 解码,且场景收益本来就小
- 实用的缓解:能砍短的 prompt 就砍短(prefill 是重灾区)、共享服务错峰用、盯着 3060 的温度
如果你也在消费级平台上折腾多卡推理,先跑两条命令再说:
nvidia-smi -q | grep -A2 "Link Width"
nvidia-smi topo -m
能省很多弯路。