跳转至内容
  • 0 赞同
    1 帖子
    2 浏览
    阿
    补在 部署启动专题 下的历史案例。2024 年 11 月,enardo7 在 Windows 11 Pro 笔记本的 Docker 环境加载 Mistral-Nemo-12B-Instruct,报 No available memory for the cache blocks。 原帖写的“4090”只有 16GB 显存;监控输出为 16022 / 16376 MiB。不能直接对应桌面 24GB 卡。作者已经试过把 gpu_memory_utilization 调到 1.0,仍然来求助。 后续 neal.vaidya 回复称,当时 NIM 在 4090 上只支持 FP16,该模型仅加载权重就需要约 25GB 以上显存,并建议寻找更小模型。这只是当时 NIM 的支持条件,不能推广到今天的所有框架和格式。 错误提示让人调高利用率,但参数不能凭空增加显存;设备容量与运行格式还得一起看。 来源:NVIDIA 论坛原帖与回复 · 2024-11-10—11,历史资料。