高速卡间互联技术对比，不能只看宣传页上的峰值带宽。同一套多卡设备，在模型训练的梯度同步、推理的张量并行和单卡任务中，通信量与通信频率差别很大；带宽高，不代表每种任务都更快。选型时还要看延迟、拓扑、软件支持和整机成本。
先分清：卡内互联与节点间网络
PCIe：通用，但表现受平台影响
PCIe 是服务器连接加速卡、网卡和存储设备的常见总线。支持点对点访问的设备可直接交换数据，但是否可用、性能如何，取决于主板布线、PCIe 交换芯片、处理器根端口、固件和驱动配置。多张卡挂在同一交换芯片下，可能共享上行链路；跨处理器插槽时，数据路径也可能更长。它的优点是生态广、部署灵活，适合兼容性和成本优先的方案；缺点是实际通信效率不能单凭接口代际判断。
专用卡间链路：适合高频协同
以 NVIDIA NVLink 为例，专用链路能让受支持的 GPU 直接交换数据，部分系统还通过交换芯片扩展连接规模。对频繁执行 all-reduce 或张量并行的训练任务，这类连接可能比仅依赖通用总线更合适。但它受设备型号、服务器设计和软件栈限制，链路数量、实际拓扑和可用带宽都要查具体产品资料。高速卡间互联技术对比时，应把“单条链路峰值”与“所有卡之间能否同时高效通信”分开看。
节点间网络：解决跨服务器扩展
以太网配合 RDMA 等技术常用于服务器之间传输数据，适合把计算扩展到多个节点；它不是卡与卡之间的本地连接，网络交换机、网卡、布线和拥塞控制都会影响结果。Google TPU v4 Pod 采用专用 ICI 互联，属于针对特定加速器系统设计的扩展方式，不能直接等同于通用服务器里插入多张 PCIe 卡。
五个容易踩的选型误区
- 只比较峰值带宽。小消息、高频同步更容易受延迟影响；大块数据传输才更依赖持续带宽。应结合目标任务观察端到端时间。
- 把卡数当作连接能力。卡数增加不等于任意两卡都能直连。确认拓扑图，检查是否有共享上行、跨插槽路径或带宽超售。
- 忽视通信模式。训练常用集合通信，推理可能频繁在卡间切分张量。用实际模型和批量测试，比只跑单卡算力测试更有参考价值。
- 默认软件自动适配。驱动、通信库、框架版本及点对点访问设置都可能影响互联能否发挥作用。采购前核对设备支持矩阵，并在目标软件环境验证。
- 只算卡的价格。交换芯片、服务器主板、电源与散热，以及机架布线和维护要求，也会改变总成本和部署难度。
按这个顺序做决定
- 写明工作负载：训练或推理、并行方式、常见传输规模，以及是否跨服务器。
- 向供应商索取整机拓扑与链路规格，确认卡间可达性、共享链路和软件限制。
- 在目标框架上测试通信与业务任务，分别记录延迟、有效吞吐和总运行时间；测试结果受批量、并发和软件版本影响。
- 比较满足性能要求的完整系统成本，而非只比较互联峰值或单卡价格。
归根结底，高速卡间互联技术对比要回答的是“目标任务的数据怎样流动”，而不是“哪项标称数字最大”。先看拓扑和软件能否匹配，再用真实负载验证，通常比追逐峰值规格更稳妥。
常见问题
带宽相同，为什么多卡速度仍不同？
延迟、共享链路、通信拓扑和软件实现都可能不同；峰值带宽也不等于持续有效吞吐。
多卡训练一定要用专用链路吗？
不一定。通信量较少或任务不常同步时，通用总线可能已满足需求；应以目标模型测试为准。
选型时最先索取什么资料？
先要整机拓扑图、设备间链路规格和软件支持信息，再核对目标任务的实测数据。
节点间网络能替代卡间互联吗？
两者服务范围不同。节点间网络用于跨服务器通信，不能直接替代服务器内部的卡间连接。
