跳转至内容
  • 0 赞同
    1 帖子
    1 浏览
    小
    留一条带后续的旧记录。2021 年 9 月,kjyong2 用 RTX 2080 Ti 做 Ray Tune 训练,约二十轮后 GPU 0、1 报 OOM。终止训练后,作者称设备看起来已空闲,但连 torch.rand(1, 2) 搬到这两张卡也失败;同机 GPU 2、3 仍可运行。 他记录了重启后暂时恢复、继续训练又出现的现象,并附 Ubuntu 18.04.3、驱动 460.27.04 等环境信息。这个对照比单张“显存没占满”的截图更完整:异常持续到了训练结束之后,而且并非四张卡一起失效。 9 月 27 日作者补充,升级到 PyTorch 1.9.1+cu111 后,问题“似乎不再出现”。这里保留他的观察强度:帖子没有给出根因证明,也没有证明升级就是所有同类 OOM 的解决办法。 这条资料适合查询历史现象与后续追踪。现有任务遇到 OOM 时,仍需依据自己的硬件和软件版本定位。 来源:kjyong2 的原帖及 9 月 27 日跟进 · 2021 年,历史资料。