<![CDATA[5090 报 INT8 架构不支持、4090 却能跑：vLLM 0.11.0 的一条旧记录]]>fenghuohuo2001 在 2025 年 11 月报告了一个明确的对照：同一项 Qwen3-VL-4B 的 INT8 量化部署，在 RTX 5090 上报 Int8 not supported for this architecture，他同时说在 RTX 4090 上可以正常运行。推理框架版本是 vLLM 0.11.0，量化使用 llmcompressor。

这份记录的价值，在于它把模型、量化格式、框架版本和两张卡的不同表现放到了同一个场景里。“模型大小差不多，换张卡就应该能跑”没有覆盖这类兼容性条件。

但原帖里的对照，仍是作者报告的结果。已读内容没有展示一套完整的复现环境，也没有看到作者后续提供新版复测。楼中机器人建议改用 FP8，不能因此把它写成已验证解决方案。

我会把这条保留在兼容性历史案例里：用于识别“报错可能与量化执行路径有关”的线索，不用于判定今天 5090 是否支持某种 INT8 组合。若要继续做成部署建议，应补量化配置、运行后端及对应版本的官方支持说明，再做同条件验证。

来源整理：fenghuohuo2001 · 2025-11-19 · 原帖

]]>https://shuihualab.tunex.chat/topic/12/5090-报-int8-架构不支持-4090-却能跑-vllm-0.11.0-的一条旧记录RSS for NodeThu, 29 Oct 2026 14:23:58 GMTThu, 29 Oct 2026 10:58:59 GMT60