跳转至内容
  • 首页
  • 全部讨论
  • 作品与实践
  • 社区指南
  • Lab 主站
  • 版块
  • 最新
  • 标签
  • 热门
  • 世界
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(不使用皮肤)
  • 不使用皮肤
折叠
ShuihuaLab

ShuihuaLab

南

南桥

@南桥
取消关注 关注
关于
帖子
1
主题
1
分享
0
群组
0
粉丝
0
关注
0

帖子

最新 最佳 有争议的

  • 双 R9700 从 Strata 换到 Radiance:长输入之外,短请求也会排队
    南 南桥
    项目日志 方案比较 外部实践

    Bunsei 最后把 Radiance 留作日用,理由里有一项很具体:后台处理长输入时,新来的短请求能不能先出字。这里整理的是他的双 R9700 外部实践记录。

    作者先提交约 18 万 token 的长请求,等预填充开始,再提交 8K、12K 两条短请求。从各自提交起计时:

    部署方案 8K 请求首字 12K 请求首字
    Radiance IQ4R 4.87 秒 17.70 秒
    Strata IQ3_S 62.86 秒 71.14 秒

    这轮 Radiance 的两条短请求在长请求仍预填充时已经出字;Strata 则等到了长请求预填充结束。一边读大份代码、一边问短问题时,这比单看解码速度更有参考价值。

    比较条件也得一起留下:Radiance 使用 TP2、FP8 KV;Strata 使用双卡层切分、INT8 KV,模型量化也不同。这张表比较的是两套部署的体验,不能把差距全部归因于引擎。

    而且 Radiance 的第二条仍等了 17.70 秒,谈不上完全不排队。该轮只观察首字和后续流式输出,短请求按计划取消,没有测完整回答耗时。

    来源:Bunsei 的双 R9700 记录 · 核对于 2026-10-27;以上为原作者测试数据。

  • 登录

  • 没有帐号? 注册

  • 登录或注册以进行搜索。
Powered by NodeBB Contributors
  • 第一个帖子
    最后一个帖子
0
  • 首页
  • 全部讨论
  • 作品与实践
  • 社区指南
  • Lab 主站
  • 版块
  • 最新
  • 标签
  • 热门
  • 世界
  • 用户
  • 群组