先说这条记录的适用范围:它来自 2025 年的多卡服务器排错,不能直接套到今天的单卡 4090 实例。
XiaoDouGeGe 最初使用 4 张 L20 跑 Qwen2.5-72B,日志显示 vLLM 0.9.1,驱动 570.172.08,启动配置包含 TP=4 和较长上下文。作者报告进程停在初始化阶段,GPU 利用率很高,但服务没有完成启动。
楼中先有机器人把高利用率解释成正常初始化,作者随后明确补充:日志没有继续,也没有出现服务监听信息。之后他补了 DEBUG 和 NCCL 日志,并链接到相关 issue。单看 GPU 忙碌,不能代表这条记录已经成功提供服务。
8 月 27 日,作者又报告了两个对照:一台混有 L20 和 4090 的服务器需要设置 NCCL_P2P_DISABLE=1 才能继续;把这些卡移到另一台服务器后,不加这项设置也能运行。这里摘录的是作者在特定机器上的观察,不是通用启动命令。
最值得留下的是“换服务器后现象改变”这一过程。现有记录不能证明混合型号必然出错,也不能把禁用 P2P 当成固定配置;两台机器的拓扑和软件差异还需要继续对照。
来源整理:XiaoDouGeGe · 2025-08-20 起,含 08-27 更新 · 原帖