开发环境配置项

更新时间:

本节为您介绍开发环境配置项,包括:资源配置、镜像、SSH设置、开发者工具、开放端口、最长运行时间等。

# 任务模式

离线训练、推理服务支持分布式,您可以按需选择:

  • 单机任务:即单机单卡、单机多卡等。
  • 分布式任务:多机多卡任务。

# 资源配置

环境运行的资源配置,包括 CPU、内存、GPU、显存、临时存储等。

# 参数模式

先选择任务需要的主要资源类型,即 CPU、GPU(物理卡)或是 GPU(虚拟卡),再进行相应的配置,详情可参考资源配置

①空闲资源提示,您按小于资源空闲提示的量填写在左侧的各项资源配置框中,任务提交后只要配额满足即可快速进入调度,详情可参考空闲资源提示

此处 空闲资源提示 的值不实时刷新,建议您开始填写时手动刷新一次,且资源配置完还有其他配置要填,到您提交任务时可能已有其他人消耗了平台部分资源,总体来说还是可以减少排队的。

②配置资源可行性检测,检测是否有节点能承接该资源配置的任务,即平台中存在一个节点,其各类型的资源总量均大于您的资源配置量。若检测失败,可参考右侧的 空闲资源提示 重新填写后再检测。

# 规格模式

按资源卡片上的资源量说明,选择合适的规格。

# 启动命令

提交离线训练、推理服务时,需填写此项。
任务启动后,将会在实例的 / 目录下执行 启动命令。最多可输入 10000 个字符,命令之间以换行符分割。

注意:命令中若使用 相对路径,需知启动命令是在根目录 / 下执行。

create_single_job_command 为方便您能在启动命令中更好的安排模型训练,平台提供了有关于角色、数据集、代码、实例等相关的环境变量。比如:

  • 存储路径使用环境变量的启动命令

    python3 $GEMINI_RUN/train_images.py  --mode train --model mobileNet --num_epochs 1 --batch_size 8 --data_dir $GEMINI_DATA_IN1/DogsvsCats --train_dir $GEMINI_DATA_OUT
    
  • 存储路径未使用环境变量的启动命令

    python3 /gemini/code/train_images.py  --mode train --model mobileNet --num_epochs 1 --batch_size 8 --data_dir /gemini/data-1/DogsvsCats --train_dir /gemini/output
    

    其中 $GEMINI_RUN 指代码的存储路径即 /gemini/code/$GEMINI_DATA_IN1 指数据集的存储路径即 /gemini/data-1/$GEMINI_DATA_OUT 指训练结果的输出路径即 /gemini/output。 您可单击 查看环境变量 查看还有哪些环境变量,并参考 环境变量说明 了解其含义和具体使用方式。

# 镜像

单击 添加镜像 按钮,选择环境启动所依赖的镜像。

# SSH 设置

开发环境需配置。
开启后,用户可 ssh 远程连接该开发环境,参考连接说明。 首次使用账号,需先 点此设置 进入 个人设置 页面 设置登录凭证

若登录凭证设置为 SSH Key,需将下载的私钥文件放在本地的 {$HOME}/.ssh/ 目录下。

# 开发者工具

开发环境创建时配置。
配置后不可更改,且不可自行重复安装已注入的工具,建议您谨慎配置。
勾选 JupyterLabTensorBoard,开发环境创建时会自动安装已勾选的工具。

# 开放端口

功能说明:开放端口可将此开发环境中的服务分享给外部使用。具体使用可参考 端口使用
配置说明:一个环境最多开放 10 个端口,平台的总端口数上限为 19500 个,配置后支持修改。

参数说明

  • 内部端口:开发环境提供给内部服务使用的端口,建议填写范围:1025~65535。如 JupyterLab 默认使用 8888 端口;TensorBoard 默认使用 6006 端口。
  • 备注:可说明该端口是给哪个服务使用,或其他备注信息。
  • 外部端口分配方式
    • 自动分配:(推荐)默认方式,平台会自动分配一个可用的外部端口。
    • 指定端口:手动指定一个外部端口,供目标服务对外分享。

      若团队对于外部端口的使用有统一规范和管控,可选择该方式,否则不建议,容易造成端口冲突。

# 最长运行时间

任务的最长运行时间,达到此时间后,承载任务的环境将自动停止,以免该任务长期占用资源。
您也可不配置,而选择手动停止开发环境。