ShuihuaLab

vlad 留下了一组从单张 4090 到多张 H200 的启动记录。里面最值得带走的，是把“权重装得下”和“服务能启动”分开看。下面都是作者在 vLLM v0.29/v0.30 环境下的观察。 并发占用的账。 作者在 v0.30、单张 H100 上运行 Nemotron-3.5-Lightning，遇到默认 max_num_seqs 超过 Mamba cache blocks 的情况；他报告降低该值后启动成功。这是特定模型和配置的处理记录，不是给所有模型统一降并发的结论。 失败阶段的账。 Qwen3.8-27B 在 v0.29 的一条记录中，分配 KV cache 时内存不足，表面报错却出现在 FlashAttention 调用里。作者说降低 max_num_seqs 后可以启动，并报告 v0.30 下能够启动。只看报错所在模块，可能会错过前面的资源分配。 主存的账。 作者还记录了 DeepSeek-V4.1-Flash 使用 pinned host RAM 的情况：仅核算 GPU 容量，会漏掉主存需求。 这份材料适合用来辨认失败发生在哪一步。要迁移其中的处理，仍需匹配模型、版本和启动配置；文中的硬件组合也不代表水华当前可提供的资源。 来源整理：vlad · 2026-10-03 · 原帖 相关历史条目：16GB笔记本4090与缓存不足。设备容量和运行格式应随案例一并看。

这条 2025 年的 vLLM 求助，把部署配置和请求体放在了一起。具体细节比“输出不完整”这句描述更值得看。 shaojun0 的环境是单张 4090、vLLM 0.8.0、PyTorch 2.6.0、transformers 4.51.3，模型路径指向 Seed-X-PPO-7B。启动配置中，作者把 max_model_len 设为 4096；请求 JSON 里写的是 "max_token": 4096。注意，这里是在摘录原请求，不是推荐请求写法。 楼中的 RunLLM 回复把字段拼写和上下文预算列为解释，页面将它标为解决方案，原作者随后致谢。可是，在已读记录里，没有看到作者修改后的完整请求及对应输出，也没有重跑前后的日志。 所以，这一案可以保留的结论是：原请求确实出现了这个字段，页面也确实接受了一条回答；不能仅凭机器人回答，就认定已经验证了截断的唯一根因。 如果要把它整理成今天可直接照做的修复教程，下一步应对照当时 API 定义，并补修改前后的对照响应。当前先作为“请求字段与服务配置要一起审查”的历史案例保存。 来源整理：shaojun0 · 2025-07-30 · 原帖

Coder5424 这条记录同时保留了正常和异常请求，差别很明显。 Coder5424 用两张 24GB RTX 4090，运行 vllm/vllm-openai:v0.31.0，模型是 QuantTrio/Qwen3.5-35B-A3B-AWQ，TP=2。任务是文档分析，每次输入约 3万—5万 token。 按作者口径，正常单请求平均约 15 秒完成；异常请求等了约 20 分钟仍在生成。把其他请求全部清掉、只留这一条，现象依旧，因此单靠“排队太多”解释不了这份记录。 异常日志里，Running 为 1、Waiting 为 0，生成吞吐仍有数值，KV cache 使用率逐步上升。这和“服务完全停止工作”是两种现象。 还有一个后续：作者取消请求后，把相同请求重新提交，有时需要重复几次才能完成。但重试成功不等于根因解决，记录没有给出已确认修复。 接着排查时，我会优先对齐同一条请求的请求体、终止设置、服务日志和客户端响应；先分清生成没停，还是结果没传完，再逐项改变设置。这个排查顺序是整理建议，不是原帖结论。 来源整理：Coder5424 · 2026-10-22 · 原帖

杨乾基记录了一台双 R9700 机器跑 Radiance TP2 的故障：九天六次 device lost from bus，全部落在同一张物理卡上。另一张卡在约 77 小时的连续记录窗口内没有失联。 最关键的一轮发生在 10 月 26 日晚：两张卡对调槽位，同时交叉供电线。约 13 小时后，原来那张故障卡在新槽位再次失联。卡的身份按 unique_id 追踪，没有把新枚举地址误当成另一张卡。 现场也不只是程序退出：作者报告整卡连同板载 PCIe switch 一起不可访问，AER 计数仍为零；最后采样的结温约 77℃、显存约 78℃。 但“跟着卡走”还不能直接等于卡坏了。换槽和换线发生在同一轮，不能拆成两个独立实验；而且 12V-2x6 转接头当时仍插在卡上，跟卡一起移动，尚未排除。作者还记录了 SMU 接口不匹配，Windows 对照和故障卡单卡运行也仍在待测清单。 这个案例真正留下的悬点是：卡本体、随卡移动的转接头，以及特定软件路径，哪一个能解释这次失联。 来源：杨乾基原帖 · 2026-10-27；外部故障案例整理。