一张水冷 4090 的本地推理分享：149 和 270 tok/s 不是同一个指标

[拾光]

HN 用户 netsroht 为手头的 4090 fork 了 ninfer，围绕 Qwen 3.8 27B 做优化。他给出的机器并不神秘：约八年前的 16 核 AMD Threadripper、64GB 内存、三星 NVMe，以及水冷 RTX 4090。

他的性能口径分成三项：

• 解码约 149 tok/s；
• 并发时合计约 270 tok/s；
• 预填充超过 2500 tok/s。

这里最容易读错的是把 270 当成单条回答的出字速度，或者把 2500 和 149 放到同一列比较。它们描述的阶段或统计方式不同。作者还提到完整 262k 上下文使用了量化，不能省掉这个条件。

优化也涉及实际使用。他想同时使用 opencode、pi 及它们启动的子 agent，因此增加了缓存层，让算过的上下文能从 RAM 或磁盘更快加载；接下来关注的是功率限制与 J/token 之间的取舍。

这些数字是原作者个人报告，当前帖子不足以构成可复现基准；具体量化方案、并发数和完整测试命令仍需进一步核对。

来源：netsroht 的 HN 帖及配置回复 · 作者 fork；核对于 2026-10-27。