离线训练概述
更新时间:
# 离线训练
经过调试后,模型的学习能力已达到您的预期,此时您可以提交一个离线训练,喂以大量的数据让模型学习,使之经过学习最终在某方面具备近乎人的辨识能力。
在离线训练中,您可以提交单机单卡、单机多卡、多机多卡的训练,可大大提高训练速度。离线训练有如下优势:
- 可提交分布式训练,大大提高训练效率。
- 训练结果保存在输出目录
$GEMINI_DATAOUT在离线任务结束后,会被保留。 - 训练结束后即停止,避免算力浪费。
# 提交离线训练
| 训练方式 | 说明 |
|---|---|
| 提交单机训练 | 支持单机单卡、单机多卡的训练。 |
| 提交分布式训练 | 支持多机多卡训练,该方式下您需要配置多条启动命令。 |
| 提交Horovod分布式训练 | 支持 Horovod 框架的分布式训练,这种方式下训练,您只需要一条启动命令。 |
| 提交自动训练 | 设置训练的触发机制,比如定时或者代码提交等,这样可自动触发离线训练。自动训练支持单机、分布式和 Horovod 分布式训练。 |