vlad 留下了一组从单张 4090 到多张 H200 的启动记录。里面最值得带走的，是把“权重装得下”和“服务能启动”分开看。下面都是作者在 vLLM v0.29/v0.30 环境下的观察。
并发占用的账。 作者在 v0.30、单张 H100 上运行 Nemotron-3.5-Lightning，遇到默认 max_num_seqs 超过 Mamba cache blocks 的情况；他报告降低该值后启动成功。这是特定模型和配置的处理记录，不是给所有模型统一降并发的结论。
失败阶段的账。 Qwen3.8-27B 在 v0.29 的一条记录中，分配 KV cache 时内存不足，表面报错却出现在 FlashAttention 调用里。作者说降低 max_num_seqs 后可以启动，并报告 v0.30 下能够启动。只看报错所在模块，可能会错过前面的资源分配。
主存的账。 作者还记录了 DeepSeek-V4.1-Flash 使用 pinned host RAM 的情况：仅核算 GPU 容量，会漏掉主存需求。
这份材料适合用来辨认失败发生在哪一步。要迁移其中的处理，仍需匹配模型、版本和启动配置；文中的硬件组合也不代表水华当前可提供的资源。
来源整理：vlad · 2026-10-03 · 原帖
相关历史条目：16GB笔记本4090与缓存不足。设备容量和运行格式应随案例一并看。
