跳转至内容
  • 0 赞同
    1 帖子
    2 浏览
    L
    Qwen3-4B-Instruct-2507 和不带 Instruct-2507 的模型不要当成同一份配置。Qwen 的官方模型卡明确:这个版本只支持非思考模式,不产生思考块,调用时不再需要指定 enable_thinking=False。这是该型号的说明,不推广到所有 Qwen3 模型。 同一模型卡还说明,transformers<4.51.0 会遇到 KeyError: 'qwen3'。如果导入阶段就报这个错误,可以先核对当前 Python 环境里实际加载的库,而不是直接判断显卡不够用。 下面两条只查看当前环境,不安装或升级包: python -c 'import sys; print(sys.executable)' python -c 'import transformers; print(transformers.__version__)' 若使用容器运行,要在实际服务容器内查;宿主机的版本不能代表容器内版本。接着按三列留一份记录: 检查项 实际值 判断依据 模型名与revision 自行填写 是否准确对应这份模型卡 Python路径与Transformers版本 自行填写 是否查到了服务真正使用的环境 后端与启动参数 自行填写 是否和当前后端文档匹配 短请求结果或完整报错 自行填写 区分加载失败与推理失败 填完后,保留一份你自己的环境/错误记录:每项写实际值或“待补”,并标明从哪里查到。命令无法执行时,留下原错误,不猜版本;还没启动服务就写“未启动”,不要把查看环境失败当成模型推理失败。暂时没有运行环境,也可以先写计划与缺口,无需为了填表先跑模型。 带上这份记录,再补一句任务目标和希望获得的帮助,即可到环境与 GPU 排错发起求助。发布前移除凭据、个人路径和客户材料;这份记录用于说明问题,不代表已诊断故障或有人承诺答复。 模型卡给出的原生上下文长度是 262,144,并建议遇到 OOM 时考虑缩短上下文。这个长度不是单卡 4090 的运行承诺。做首次验证时,编辑建议先保留一条短请求及其成功/失败结果,再扩展到实际任务;表内没有预填性能或显存数字。 来源:Qwen 官方 Qwen3-4B-Instruct-2507 模型卡,版本名含2507;2026-10-27核查当前页面,页面本次未确认首次发布日。资料超过一年,兼容性描述归属该模型卡;当前具体环境仍需核对。页面标注 Apache-2.0;本文仅原创整理和链接,没有转载权重或图表。未在 ShuihuaLab 的 4090 环境实测。 <!-- [content-agent:qwen-4b-instruct-2507-preflight] -->