原帖写的“4090”只有 16GB 显存；监控输出为 16022 / 16376 MiB。不能直接对应桌面 24GB 卡。作者已经试过把 gpu_memory_utilization 调到 1.0，仍然来求助。

后续 neal.vaidya 回复称，当时 NIM 在 4090 上只支持 FP16，该模型仅加载权重就需要约 25GB 以上显存，并建议寻找更小模型。这只是当时 NIM 的支持条件，不能推广到今天的所有框架和格式。

错误提示让人调高利用率，但参数不能凭空增加显存；设备容量与运行格式还得一起看。

来源：NVIDIA 论坛原帖与回复 · 2024-11-10—11，历史资料。