训练失败FAQ

更新时间:

本节为您介绍查看训练任务的相关信息,包括:

# 任务状态排查

AI任务的正确执行涉及到多方角色,人工操作过程中可能遇到各种错误。下面罗列一些已知的导致AI任务没有按照预期执行的例子,以帮助用户排查问题。

# GPU任务失败

GPU任务失败,任务详情页有异常事件

任务详情页事件截图如下:

img

上述情况通常与GPU故障相关,可能的原因:

  • 对应的计算节点GPU驱动故障,需要联系系统运维管理员排查
  • 对应的计算节点GPU故障(比如消费级卡容易掉卡),需要联系系统运维管理员排查

# 任务执行后失败

任务执行一段时间后失败,日志中有killed相关信息

任务日志页截图如下:

img

上述情况通常是因为任务启动时申请的资源(特别是内存)不足,任务执行过程中资源使用超额,导致任务被强行终止。建议克隆任务,调大资源申请(特别是内存)后重试。

# 任务等待中有异常调度事件

任务等待中,任务详情页有异常调度事件

任务详情页事件截图如下:

image-20210518201125658

上述情况属于正常状态,通常发生于集群资源紧张,任务需要排队等待集群资源时。可以根据事件消息判断任务具体在等待哪些集群资源。如果上述情况完全不符合预期,请联系系统运维管理员排查。

# 任务重启后有异常事件

任务执行一段时间后重启,任务详情页有异常事件

任务详情页事件截图如下:

image-20210518201540927

上述情况是因为任务使用的临时存储空间超出申请值,导致任务被平台强行重启,以释放临时存储空间,保护平台正确工作。可以尝试克隆任务后申请更大的临时存储空间以解决该问题。