离线训练概述

更新时间:

# 离线训练

经过调试后,模型的学习能力已达到您的预期,此时您可以提交一个离线训练,喂以大量的数据让模型学习,使之经过学习最终在某方面具备近乎人的辨识能力。
在离线训练中,您可以提交单机单卡、单机多卡、多机多卡的训练,可大大提高训练速度。离线训练有如下优势:

  • 可提交分布式训练,大大提高训练效率。
  • 训练结果保存在输出目录 $GEMINI_DATAOUT 在离线任务结束后,会被保留。
  • 训练结束后即停止,避免算力浪费。

# 提交离线训练

训练方式 说明
提交单机训练 支持单机单卡、单机多卡的训练。
提交分布式训练 支持多机多卡训练,该方式下您需要配置多条启动命令。
提交Horovod分布式训练 支持 Horovod 框架的分布式训练,这种方式下训练,您只需要一条启动命令。
提交自动训练 设置训练的触发机制,比如定时或者代码提交等,这样可自动触发离线训练。自动训练支持单机、分布式和 Horovod 分布式训练。