任务与排队

更新时间:

介绍开发环境、离线任务的资源配置、任务排队等常见问题。

# Q:资源配置时提示“当前系统资源无法满足配置组合,建议缩小相关配置”,但实际资源足够,为什么?

建议按照如下思路排查:

  • 确认您的账户在空间配额使用上没被设为特例。
    • 工作台界面,可在 设置 > 配额设置 中查看。
    • 管理控制台界面,可在 账户管理 > 空间管理 的空间详情页中查看。
  • 确认是否设置资源隔离。 需管理员在 账户管理 > 空间管理空间详情 中查看 资源组 是否做了配置,如有配置则您所在空间的任务只能调度到指定节点上,若您选择的 GPU 卡并非挂载在您的可调度节点上则会出现上述提示。
  • 确认该卡挂载的节点是否为计算节点。
    1. 管理员在 运维管理 > GPU 管理 中找到您配置的 GPU 卡,并进入详情页,
    2. 单击所属节点进入该节点详情页。
    3. 确认 业务属性计算,否则该卡也不可使用。您需变更该节点的业务属性为 计算,方可使用该卡。
# Q:配置可行性检测不通过,怎么办?

配置可行性 是为了检测是否有节点能接受这样配置的任务调度过来,即平台中是否存在一个节点,其各类型的资源总量均大于您任务配置的各类资源量。如果不存在这样的节点,则检测失败,无法提交任务,您需适当调小各项资源的配置量。为您举例如下: 平台中共三个工作节点,其资源配置如下所示。

  • Anode:4CPU | 64G 内存 | 2 GPU
  • Bnode:8CPU | 36G 内存 | 4 GPU
  • Cnode:6CPU | 36G 内存 | 8 GPU

您的任务资源配置为 【8CPU | 36G | 8GPU】 时,则 配置可行性 会检测不通过,您可将任务资源配置调整为 【6CPU | 36G | 8GPU】则可通过该检测。但因为您不是运维管理员,不知道各节点的资源量,所以您需多尝试几次减少某一项或两项资源的配置量,从而得到最大可行的配置组合。

# Q:平台任务排队优先级与什么有关,是否开发环境的任务比离线任务的优先级高?

和剩余配额、任务提交顺序有关,开发环境的任务与离线训练的任务在排队时无差别对待。

# Q:节点调度和任务启动阶段可以并行的任务量,该值是否可以调大?

调度阶段最大并行 4 个任务,即卡住一个任务则后面最多还能放行 3 个,但后面放行的任务所需的资源必须是比前一个卡住的任务小的。启动阶段并行无限制。