任务与排队
更新时间:
介绍开发环境、离线任务的资源配置、任务排队等常见问题。
# Q:资源配置时提示“当前系统资源无法满足配置组合,建议缩小相关配置”,但实际资源足够,为什么?
建议按照如下思路排查:
- 确认您的账户在空间配额使用上没被设为特例。
- 工作台界面,可在 设置 > 配额设置 中查看。
- 管理控制台界面,可在 账户管理 > 空间管理 的空间详情页中查看。
- 确认是否设置资源隔离。 需管理员在 账户管理 > 空间管理 的 空间详情 中查看 资源组 是否做了配置,如有配置则您所在空间的任务只能调度到指定节点上,若您选择的 GPU 卡并非挂载在您的可调度节点上则会出现上述提示。
- 确认该卡挂载的节点是否为计算节点。
- 管理员在 运维管理 > GPU 管理 中找到您配置的 GPU 卡,并进入详情页,
- 单击所属节点进入该节点详情页。
- 确认 业务属性 为计算,否则该卡也不可使用。您需变更该节点的业务属性为 计算,方可使用该卡。
# Q:配置可行性检测不通过,怎么办?
配置可行性 是为了检测是否有节点能接受这样配置的任务调度过来,即平台中是否存在一个节点,其各类型的资源总量均大于您任务配置的各类资源量。如果不存在这样的节点,则检测失败,无法提交任务,您需适当调小各项资源的配置量。为您举例如下: 平台中共三个工作节点,其资源配置如下所示。
- Anode:4CPU | 64G 内存 | 2 GPU
- Bnode:8CPU | 36G 内存 | 4 GPU
- Cnode:6CPU | 36G 内存 | 8 GPU
您的任务资源配置为 【8CPU | 36G | 8GPU】 时,则 配置可行性 会检测不通过,您可将任务资源配置调整为 【6CPU | 36G | 8GPU】则可通过该检测。但因为您不是运维管理员,不知道各节点的资源量,所以您需多尝试几次减少某一项或两项资源的配置量,从而得到最大可行的配置组合。
# Q:平台任务排队优先级与什么有关,是否开发环境的任务比离线任务的优先级高?
和剩余配额、任务提交顺序有关,开发环境的任务与离线训练的任务在排队时无差别对待。
# Q:节点调度和任务启动阶段可以并行的任务量,该值是否可以调大?
调度阶段最大并行 4 个任务,即卡住一个任务则后面最多还能放行 3 个,但后面放行的任务所需的资源必须是比前一个卡住的任务小的。启动阶段并行无限制。