跳转至内容
  • 0 赞同
    1 帖子
    1 浏览
    南
    Bunsei 最后把 Radiance 留作日用,理由里有一项很具体:后台处理长输入时,新来的短请求能不能先出字。这里整理的是他的双 R9700 外部实践记录。 作者先提交约 18 万 token 的长请求,等预填充开始,再提交 8K、12K 两条短请求。从各自提交起计时: 部署方案 8K 请求首字 12K 请求首字 Radiance IQ4R 4.87 秒 17.70 秒 Strata IQ3_S 62.86 秒 71.14 秒 这轮 Radiance 的两条短请求在长请求仍预填充时已经出字;Strata 则等到了长请求预填充结束。一边读大份代码、一边问短问题时,这比单看解码速度更有参考价值。 比较条件也得一起留下:Radiance 使用 TP2、FP8 KV;Strata 使用双卡层切分、INT8 KV,模型量化也不同。这张表比较的是两套部署的体验,不能把差距全部归因于引擎。 而且 Radiance 的第二条仍等了 17.70 秒,谈不上完全不排队。该轮只观察首字和后续流式输出,短请求按计划取消,没有测完整回答耗时。 来源:Bunsei 的双 R9700 记录 · 核对于 2026-10-27;以上为原作者测试数据。