提交单机任务

更新时间:

参考本节提交单机离线训练任务,训练完成后即释放占用的计算资源。

# 前提条件

  • 项目中挂载了所需载数据或模型。
  • 项目中已保存了稳定的可用于离线训练的代码版本。

# 操作步骤

# 1. 进入 “提交训练任务” 页面

  1. 在平台首页,左侧导航栏中选择 项目
  2. 单击目标项目卡片,进入该项目的 代码预览 页。
  3. 在左侧导航栏中选择 训练,进入 训练任务 页面。
  4. 单击右上角 提交任务 按钮,进入任务配置页面。

# 2.填写任务信息

参考如下说明,填写任务信息。

  • # 训练任务名称

    长度不可超过 64 个字符。

  • # 任务模式

    选择 单机任务

  • # 资源组

    关联资源组。

  • # 资源配置

    资源使用不能超过您的个人配额和平台总资源量,该配置影响训练效率,建议您根据系统的最大值提示和实际需要合理配置。

    说明 参数模式 指管理员在管理控制台未开启 规格管理规格模式 指管理员在管理控制台开启了 规格管理

    • 参数模式 下,请参考 资源配置 的说明配置任务运行所需的资源。 ①右侧为空闲资源提示,您按小于资源空闲提示的量填写在左侧的各项资源配置框中,任务提交后只要配额满足即可快速进入调度。

      说明:此处 空闲资源提示 的值不实时刷新,建议您配置时手动刷新一次,且资源配置完还有其他配置要填,到您提交任务时可能已有其他人消耗了平台部分资源,总体上仍可以减少排队时间。

      配置资源可行性检测,检测是否有节点能承接该资源配置的任务,即平台中存在一个节点,其各类型的资源总量均大于您的资源配置量。检测失败,可参考右侧 空闲资源提示 重新配置资源后再进行检测。

    • 规格模式 下,则您只需按需选择合适算力的资源规格即可。

  • # 启动命令

    任务启动后,将会在实例的 / 目录下执行 启动命令。最多可输入 10000 个字符,命令之间以换行符分割。

    注意:命令中若使用 相对路径,需知启动命令是在根目录 / 下执行。

    为方便您能在启动命令中更好的安排模型训练,平台提供了有关于角色、数据集、代码、实例等相关的环境变量。比如:

    • 存储路径使用环境变量的启动命令

      python3 $GEMINI_RUN/train_images.py  --mode train --model mobileNet --num_epochs 1 --batch_size 8 --data_dir $GEMINI_DATA_IN1/DogsvsCats --train_dir $GEMINI_DATA_OUT
      
    • 存储路径未使用环境变量的启动命令

      python3 /gemini/code/train_images.py  --mode train --model mobileNet --num_epochs 1 --batch_size 8 --data_dir /gemini/data-1/DogsvsCats --train_dir /gemini/output
      

    其中 $GEMINI_RUN 指代码的存储路径即 /gemini/code/$GEMINI_DATA_IN1 指数据集的存储路径即 /gemini/data-1/$GEMINI_DATA_OUT 指训练结果的输出路径即 /gemini/output。 您可单击 查看环境变量 查看还有哪些环境变量,并参考 环境变量说明 了解其含义和具体使用方式。

  • # 挂载数据

    训练任务会默认填入项目中挂载的所有数据,您可根据实际需要全选或选择某个数据集。

  • # 预训练模型

    训练任务会默认填入项目中挂载的预训练模型,您可根据实际需要全选或选择某个模型。

  • # 代码版本

    选择用于离线训练的代码版本。

  • # 工作镜像

    默认使用项目中挂载的镜像,您也可单击已选镜像后的 x,将其取消,然后单击 添加镜像 重新选择镜像。

  • # 开放端口

    外部服务可通过该端口对接训练任务,设置后支持修改。建议填写范围 1025~65535。 一个环境最多开放 10 个端口,平台的总端口数上限为 19500 个。

  • # 最长运行时间

    设置该训练持续的最长时间,以免该任务长期占用空间资源。

  • # 任务失败重试

    设置重试次数。设置后,若任务中任一环节执行失败,系统将自动重新启动整个任务。注意:重试次数是指任务启动至最终失败的累计次数,重试成功后该计数不会重叠。

  • # 任务备注

    可以填写任务目标等信息,便于算法工程师跟踪了解任务,不超过 100 个字符长度,备注提交后可修改。

# 3. 提交任务

单击 提交 按钮。 系统根据环境配置参数验证配额及平台资源,如果检测通过则直接提交任务。如果检测不通过,则会给出相应的提示信息。

  • 您根据提示信息,降低环境配置后重新单击 确定,提交任务。
  • 忽略提示信息直接提交,任务进入排队,等待有足够的资源释放再进行调度。