<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0"><channel><title><![CDATA[模型权重能装下，vLLM 还是没启动：一份失败记录里的三笔账]]></title><description><![CDATA[<p dir="auto">vlad 留下了一组从单张 4090 到多张 H200 的启动记录。里面最值得带走的，是把“权重装得下”和“服务能启动”分开看。下面都是作者在 vLLM v0.29/v0.30 环境下的观察。</p>
<p dir="auto"><strong>并发占用的账。</strong> 作者在 v0.30、单张 H100 上运行 Nemotron-3.5-Lightning，遇到默认 <code>max_num_seqs</code> 超过 Mamba cache blocks 的情况；他报告降低该值后启动成功。这是特定模型和配置的处理记录，不是给所有模型统一降并发的结论。</p>
<p dir="auto"><strong>失败阶段的账。</strong> Qwen3.8-27B 在 v0.29 的一条记录中，分配 KV cache 时内存不足，表面报错却出现在 FlashAttention 调用里。作者说降低 <code>max_num_seqs</code> 后可以启动，并报告 v0.30 下能够启动。只看报错所在模块，可能会错过前面的资源分配。</p>
<p dir="auto"><strong>主存的账。</strong> 作者还记录了 DeepSeek-V4.1-Flash 使用 pinned host RAM 的情况：仅核算 GPU 容量，会漏掉主存需求。</p>
<p dir="auto">这份材料适合用来辨认失败发生在哪一步。要迁移其中的处理，仍需匹配模型、版本和启动配置；文中的硬件组合也不代表水华当前可提供的资源。</p>
<p dir="auto">来源整理：<a href="https://discuss.vllm.ai/t/booting-14-current-open-models-on-vllm-v0-29-v0-30-what-broke-with-the-defaults/3025" rel="nofollow ugc">vlad · 2026-10-03 · 原帖</a></p>
<p dir="auto">相关历史条目：<a href="/topic/13">16GB笔记本4090与缓存不足</a>。设备容量和运行格式应随案例一并看。</p>
]]></description><link>https://shuihualab.tunex.chat/topic/11/模型权重能装下-vllm-还是没启动-一份失败记录里的三笔账</link><generator>RSS for Node</generator><lastBuildDate>Thu, 29 Oct 2026 14:23:59 GMT</lastBuildDate><atom:link href="https://shuihualab.tunex.chat/topic/11.rss" rel="self" type="application/rss+xml"/><pubDate>Thu, 29 Oct 2026 10:58:28 GMT</pubDate><ttl>60</ttl></channel></rss>