Thunderbolt 和 RDMA：本地 AI 集群为什么关心低延迟网络？

多机 AI 不只是把机器连起来

当我们讨论本地 AI 集群时，很多人第一反应是显卡数量。显卡当然重要，但如果任务需要跨机器协作，网络同样关键。模型推理过程中可能需要交换权重分片、激活值、中间状态或任务结果，网络慢了，GPU 就会等待。

这也是为什么 Thunderbolt、RDMA、InfiniBand 和高速以太网会进入讨论。它们解决的不是普通上网速度，而是设备之间低延迟、高带宽通信的问题。

Thunderbolt 适合小规模直连

Thunderbolt 的优势是方便，尤其适合桌面环境里的两台或少量设备直连。对 Mac、迷你主机和外接设备来说，它能提供比普通千兆网更高的带宽和更低延迟。

但 Thunderbolt 不是万能集群网络。线缆长度、拓扑、驱动支持和设备兼容性都会限制规模。它更适合实验和小范围加速，不一定适合大规模生产集群。

RDMA 的价值

RDMA 允许一台机器绕过传统内核网络栈，直接读写另一台机器的内存区域。这样可以降低 CPU 开销和通信延迟。对分布式训练、参数交换和高性能存储来说，这很有价值。

不过 RDMA 部署复杂，需要网卡、交换机、驱动、内核参数和应用框架配合。没有完整观测和调优，理论性能很难变成实际收益。

对本地模型的启发

如果只是单机跑一个量化模型，普通网络无关紧要。如果要多机切分大模型、共享 KV cache、做并行推理或远程工具链，网络就会变成瓶颈。

所以评估本地 AI 集群时，要同时看模型吞吐、首 token 延迟、跨节点传输、错误恢复和调度策略。算力只是系统的一部分，数据能不能及时到达同样重要。