排队管理
参考本节,了解任务排队、及如何减少任务排队时间。
# 概念
个人配额:个人可以同时使用的最大资源量,"个人配额"的设置可保证资源在空间成员之间的均匀分配,不至于空间资源被某一人独占,而其他成员无资源可用。
空间配额:空间所有成员可同时使用的最大资源量,"空间配额"的设置可保证资源在各空间之间均匀分配。
队列(任务排队):任务所需资源、个人配额、空间配额不足时,会进入排队,等待其他任务结束释放配额/资源,当有足够配额/资源时,平台按任务排队的顺序执行。
紧急任务:紧急任务会被优先执行,紧急任务较多形成 "紧急队列" 时,会按该队列顺序执行,"紧急队列"优先级高于"非紧急队列"。
紧急配额:用户可消耗此配额将任务设为紧急。除管理员外,其他各用户的初始配额均为 0,需由管理员分配后方可使用。
配额排队策略:
- 公平优先:当多个任务在等待空间配额释放时,仅当队首任务的所有资源全部满足时才能出队(默认策略)
- 效率优先:当多个任务在等待空间配额释放时,若前排任务GPU配额不足,而后排任务使用其他类型GPU且配额充足,则后排任务可优先出队
# 流程说明
任务提交后,会经历如下阶段:等待配额、资源排队、节点调度、任务启动,您可参照下述说明,了解各阶段。

# 1.等待配额
该阶段,将验证用户的个人剩余配额和空间剩余配额是否足够,足够则任务无需排队,直接进入下一阶段;若配额不足,则分如下两种情况:
个人配额不足
个人配额不足时,任务提交后会进入 "等待配额" 队列,当您的其他任务执行完成,释放出足够的配额,会按队列顺序为队首任务分配配额,让其进入 "任务调度" 阶段。空间配额不足
空间配额为空间内所有成员共享,若空间内成员较多,且大部分成员提交任务的时间段相对集中,则更容易出现因空间配额不足而排队的情况,此情况下可联系运维管理员提升空间配额。
等待配额排队加速: 如下方法均可减少等待配额排队时长,1、2、3 可叠加操作。
- 停止正在运行的任务,停止自己或者联系空间拥有者停止空间内正在运行的低优先级任务,以释放资源与配额。
- 设为紧急任务,该操作消耗紧急配额次数,需管理员分配后使用。
- 调整队列顺序。
- 提高个人配额,由空间拥有者调整 超分比例 或设置 “配额特例成员”。
- 调整当前配额排队策略。默认策略为公平优先,若您常出现小任务(算力需求小)因大任务卡在队列头部而无法执行的情况,可联系空间管理员修改当前配额排队策略。
仅空间拥有者可在 设置 > 调度设置 修改当前配额排队策略,详见配额策略管理。
# 2.资源排队
该阶段,将验证平台资源是否满足任务所需,满足,则进入下一阶段;不满足,则进入排队,等待足够的资源释放。
在等待中状态内,可查看任务在资源组内的排队进度。
更详细的队列信息(例如,当前资源组内占用同类资源的任务,以及排在当前任务之前的任务),可在右上角的 「队列 > 系统资源情况」 中查看。
资源排队加速: 如下方法均可减少资源排队时长。
- 停止正在运行的任务,停止自己或者联系空间拥有者停止空间内正在运行的低优先级任务,以释放资源与配额。
- 设为紧急任务,该操作消耗紧急配额次数,需管理员分配后使用。
- 调整队列顺序。
- 修改当前任务的资源组:
- 前提条件:当前空间可使用多个资源组
- 操作说明:在 「排队 > 系统资源情况」 中查看是否存在满足当前任务需求的其他资源组;如有,可修改任务的资源组(需先停止任务,修改后再重新启动)。
# 3.节点调度
任务进入到该阶段后,无需排队,一般 1min 内便会进入下一阶段。
# 4.任务启动
任务进入到该阶段后,无需排队,一般 1min 内便可完成启动。
# 排队管理
平台顶部选择 "队列",随后单击小窗底部 “管理排队任务” 可进入 "排队管理" 页,该页面主要用于管理任务的排队。包括但不限于修改排队顺序、将任务设为紧急等。
# 设为紧急任务
该操作消耗 “紧急任务配额” 次数,需管理员分配后使用。
限制:
- 您是任务的创建者,或是拥有 “排队权限-全局修改” 权限的排队管理员。
- 您的 “剩余设为紧急配额” 不为 0。

方法:
- "排队管理" 页中切换页签,在列表中选择目标任务。
- 单击任务 "操作" 列的设为紧急。

# 调整队列顺序
该方法不消耗您的紧急配额,且不限次数。
限制:
- 普通成员,可调整自己的任务排队。
- 空间拥有者,可调整空间的任务排队。
- 调度协管员,即拥有 "修改队列顺序-空间权限" 的用户,可调整所加入的各个空间中的任务排队。
- 调度管理员,即拥有 "修改队列顺序-管理权限" 的用户,可调整平台所有排队。
方法:
"排队管理" 页中切换页签(如 "资源排队"),随后单击 "修改队列顺序"。
鼠标拖拽目标任务,调整其在队列中的顺序,越靠近队列顶部则越优先被执行。
"资源排队" 页签中筛选项 "资源组",是为实现空间任务定点调度所设,如果:
- 未设置资源组,则下拉只有 "默认资源组" 选项,可忽略该筛选项。
- 设置过资源组,则修改全局排序时,需先选择资源组,再修改排序。

# 停止任务
停止已运行的优先级不高的任务,可释放出配额、资源,供排队任务优先使用。
限制:
- 普通成员,可停自己的任务。
- 空间拥有者,可停空间中所有任务。
- 调度协管员,即拥有 "修改队列顺序-空间权限" 的用户,可停止所加入的各个空间中的任务。
- 调度管理员,即拥有 "修改队列顺序-管理权限" 的用户,可停止平台所有任务。
方法:
- "排队管理" 页中切换页签,并在列表中找到目标任务,
- 单击任务 "操作" 列的的 停止。

# 查看任务队列
限制:
- 普通成员,可查看自己的任务队列,也可查看本空间的任务队列。
- 空间拥有者,可查看本空间的任务队列。
- 排队协管员,即拥有 "查看排队队列-空间" 权限的用户,可切换空间查看所加入空间的排队。
- 排队管理员,即拥有 "查看排队队列-全局" 权限的用户,可查看平台所有排队。
方法:
"排队管理" 页中切换页签,可查看各阶段的任务排队情况。

# 查看任务详情
限制:
仅普通成员、空间拥有者、运维管理员可查看任务详情。
- 普通成员,可查看自己的任务详情。
- 空间拥有者,可查看空间中所有任务详情。
- 运维&排队管理员,即拥有 "业务管理-开发环境"、"业务管理-离线任务"、"业务管理-可视化" 的运维权限,且兼有查看 "查看排队队列-空间/全局" 的排队管理员,可查看队列中各任务的详情。
方法:
"排队管理" 页中切换页签,并在列表中找到目标任务。
单击任务 "操作" 列的的 详情。
运维&排队管理员,则通过单击 "操作" 列的 管理 跳转到运维管理控制台查看该任务的详情。