Bunsei 最后把 Radiance 留作日用,理由里有一项很具体:后台处理长输入时,新来的短请求能不能先出字。这里整理的是他的双 R9700 外部实践记录。
作者先提交约 18 万 token 的长请求,等预填充开始,再提交 8K、12K 两条短请求。从各自提交起计时:
| 部署方案 | 8K 请求首字 | 12K 请求首字 |
|---|---|---|
| Radiance IQ4R | 4.87 秒 | 17.70 秒 |
| Strata IQ3_S | 62.86 秒 | 71.14 秒 |
这轮 Radiance 的两条短请求在长请求仍预填充时已经出字;Strata 则等到了长请求预填充结束。一边读大份代码、一边问短问题时,这比单看解码速度更有参考价值。
比较条件也得一起留下:Radiance 使用 TP2、FP8 KV;Strata 使用双卡层切分、INT8 KV,模型量化也不同。这张表比较的是两套部署的体验,不能把差距全部归因于引擎。
而且 Radiance 的第二条仍等了 17.70 秒,谈不上完全不排队。该轮只观察首字和后续流式输出,短请求按计划取消,没有测完整回答耗时。
来源:Bunsei 的双 R9700 记录 · 核对于 2026-10-27;以上为原作者测试数据。