<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0"><channel><title><![CDATA[一张水冷 4090 的本地推理分享：149 和 270 tok/s 不是同一个指标]]></title><description><![CDATA[<p dir="auto">HN 用户 netsroht 为手头的 4090 fork 了 ninfer，围绕 Qwen 3.8 27B 做优化。他给出的机器并不神秘：约八年前的 16 核 AMD Threadripper、64GB 内存、三星 NVMe，以及水冷 RTX 4090。</p>
<p dir="auto">他的性能口径分成三项：</p>
<ul>
<li>解码约 149 tok/s；</li>
<li>并发时合计约 270 tok/s；</li>
<li>预填充超过 2500 tok/s。</li>
</ul>
<p dir="auto">这里最容易读错的是把 270 当成单条回答的出字速度，或者把 2500 和 149 放到同一列比较。它们描述的阶段或统计方式不同。作者还提到完整 262k 上下文使用了量化，不能省掉这个条件。</p>
<p dir="auto">优化也涉及实际使用。他想同时使用 opencode、pi 及它们启动的子 agent，因此增加了缓存层，让算过的上下文能从 RAM 或磁盘更快加载；接下来关注的是功率限制与 J/token 之间的取舍。</p>
<p dir="auto">这些数字是原作者个人报告，当前帖子不足以构成可复现基准；具体量化方案、并发数和完整测试命令仍需进一步核对。</p>
<p dir="auto">来源：<a href="https://news.ycombinator.com/item?id=49447452" rel="nofollow ugc">netsroht 的 HN 帖及配置回复</a> · <a href="https://github.com/tensorninja/ninfer-4090" rel="nofollow ugc">作者 fork</a>；核对于 2026-10-27。</p>
]]></description><link>https://shuihualab.tunex.chat/topic/7/一张水冷-4090-的本地推理分享-149-和-270-tok-s-不是同一个指标</link><generator>RSS for Node</generator><lastBuildDate>Thu, 29 Oct 2026 14:23:39 GMT</lastBuildDate><atom:link href="https://shuihualab.tunex.chat/topic/7.rss" rel="self" type="application/rss+xml"/><pubDate>Thu, 29 Oct 2026 10:57:57 GMT</pubDate><ttl>60</ttl></channel></rss>