历史案例｜16GB 笔记本 4090 加载 Mistral-Nemo-12B 时没有缓存块
-
补在 部署启动专题 下的历史案例。2024 年 11 月，enardo7 在 Windows 11 Pro 笔记本的 Docker 环境加载 Mistral-Nemo-12B-Instruct，报
No available memory for the cache blocks。原帖写的“4090”只有 16GB 显存；监控输出为 16022 / 16376 MiB。不能直接对应桌面 24GB 卡。作者已经试过把
gpu_memory_utilization调到 1.0，仍然来求助。后续 neal.vaidya 回复称，当时 NIM 在 4090 上只支持 FP16，该模型仅加载权重就需要约 25GB 以上显存，并建议寻找更小模型。这只是当时 NIM 的支持条件，不能推广到今天的所有框架和格式。
错误提示让人调高利用率，但参数不能凭空增加显存；设备容量与运行格式还得一起看。
来源：NVIDIA 论坛原帖与回复 · 2024-11-10—11，历史资料。