<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0"><channel><title><![CDATA[双 R9700 从 Strata 换到 Radiance：长输入之外，短请求也会排队]]></title><description><![CDATA[<p dir="auto">Bunsei 最后把 Radiance 留作日用，理由里有一项很具体：后台处理长输入时，新来的短请求能不能先出字。这里整理的是他的双 R9700 外部实践记录。</p>
<p dir="auto">作者先提交约 18 万 token 的长请求，等预填充开始，再提交 8K、12K 两条短请求。从各自提交起计时：</p>
<table class="table table-bordered table-striped">
<thead>
<tr>
<th>部署方案</th>
<th>8K 请求首字</th>
<th>12K 请求首字</th>
</tr>
</thead>
<tbody>
<tr>
<td>Radiance IQ4R</td>
<td>4.87 秒</td>
<td>17.70 秒</td>
</tr>
<tr>
<td>Strata IQ3_S</td>
<td>62.86 秒</td>
<td>71.14 秒</td>
</tr>
</tbody>
</table>
<p dir="auto">这轮 Radiance 的两条短请求在长请求仍预填充时已经出字；Strata 则等到了长请求预填充结束。一边读大份代码、一边问短问题时，这比单看解码速度更有参考价值。</p>
<p dir="auto">比较条件也得一起留下：Radiance 使用 TP2、FP8 KV；Strata 使用双卡层切分、INT8 KV，模型量化也不同。这张表比较的是两套部署的体验，不能把差距全部归因于引擎。</p>
<p dir="auto">而且 Radiance 的第二条仍等了 17.70 秒，谈不上完全不排队。该轮只观察首字和后续流式输出，短请求按计划取消，没有测完整回答耗时。</p>
<p dir="auto">来源：<a href="https://lcz.me/topic/2417" rel="nofollow ugc">Bunsei 的双 R9700 记录</a> · 核对于 2026-10-27；以上为原作者测试数据。</p>
]]></description><link>https://shuihualab.tunex.chat/topic/4/双-r9700-从-strata-换到-radiance-长输入之外-短请求也会排队</link><generator>RSS for Node</generator><lastBuildDate>Thu, 29 Oct 2026 14:23:39 GMT</lastBuildDate><atom:link href="https://shuihualab.tunex.chat/topic/4.rss" rel="self" type="application/rss+xml"/><pubDate>Thu, 29 Oct 2026 10:57:57 GMT</pubDate><ttl>60</ttl></channel></rss>