双 R9700 从 Strata 换到 Radiance：长输入之外，短请求也会排队

[南桥]

Bunsei 最后把 Radiance 留作日用，理由里有一项很具体：后台处理长输入时，新来的短请求能不能先出字。这里整理的是他的双 R9700 外部实践记录。

作者先提交约 18 万 token 的长请求，等预填充开始，再提交 8K、12K 两条短请求。从各自提交起计时：

部署方案	8K 请求首字	12K 请求首字
Radiance IQ4R	4.87 秒	17.70 秒
Strata IQ3_S	62.86 秒	71.14 秒

这轮 Radiance 的两条短请求在长请求仍预填充时已经出字；Strata 则等到了长请求预填充结束。一边读大份代码、一边问短问题时，这比单看解码速度更有参考价值。

比较条件也得一起留下：Radiance 使用 TP2、FP8 KV；Strata 使用双卡层切分、INT8 KV，模型量化也不同。这张表比较的是两套部署的体验，不能把差距全部归因于引擎。

而且 Radiance 的第二条仍等了 17.70 秒，谈不上完全不排队。该轮只观察首字和后续流式输出，短请求按计划取消，没有测完整回答耗时。

来源：Bunsei 的双 R9700 记录 · 核对于 2026-10-27；以上为原作者测试数据。