推理服务可以利用训练好的模型对新数据进行预测和分析，首次创建推理服务需对其进行初始化操作。即配置推理服务的镜像、模型、实例规格、副本个数等信息。

操作步骤

1. 在项目首页或开发环境/训练任务页面顶部浮动导航切换栏中点击 推理 ，进入创建推理服务页面。
   

2. 参考如下说明，配置该页面信息。

   参数	说明
   任务模式	请根据实际情况选择。
   资源配置	参考任务配置说明> 资源配置。 分布式场景下，“任务角色”用于下发不同的任务给不同的机器。若任务相同则使用一个角色即可，若任务不同则需新增角色。每个角色可以支配多个机器（实例）执行一组任务，所以每个角色下均需配置： - 实例个数:可理解为机器数量。 - 实例规格：可理解为机器配置。 - 自定义环境变量：执行任务时可能会用到的环境变量。 - 启动命令：这批机器执行的具体任务。
   自定义环境变量	任务执行时可能会用到的环境变量，可参考配置Orion环境变量填写。
   启动命令	默认在 / 目录下执行，详情可参考启动命令说明。
   副本个数	平台支持创建多个副本，当推理服务请求量大时，多个副本可同时响应请求。 服务运行中支持修改副本数量。 每个副本独立占用一份实例规格。
   副本失败重试	副本启动失败重试次数。设置后，若副本中任一环节执行失败，系统将自动重新启动整个副本。
   镜像	将根据此处选择的镜像进行推理。在开发环境调试完成的情况下，推理服务创建时将自动带入调试完成的镜像，您也可以选择自制的镜像。
   数据	勾选推理服务要挂载的数据，最多可挂载 3 个，推理服务运行后，上传的数据文件将在实例的 /gemini/data-1、/gemini/data-2、/gemini/data-3 目录下，如需在提交推理服务后更换数据或挂载顺序，可 更新 服务版本。
   模型	勾选推理服务实例使用的模型，最多可挂载 3 个，推理服务启动后，将按勾选顺序挂载到实例的/gemini/pretrain、/gemini/pretrain2、/gemini/pretrain3 目录下，如需在提交推理服务后更换模型或挂载顺序，可 更新 服务版本。
   代码	选择是否挂载代码，默认挂载。
   开放端口	推理服务可通过开放端口分享给外部用户使用，配置方法参考开放端口

3. 点击右下角 提交 ，完成初始化并等待推理服务运行。
   推理服务创建后即默认启动。

   • 启动时，当有第一个副本进入“运行中”状态，服务即进入“运行中”。
   • 单击停止，当所有副本都成功停止，服务才转为“停止”状态。

后续操作

推理服务启动后，其核心配置（版本配置）无法再次修改，只能通过 更新 操作来更改核心配置，并在更新后生成新的推理服务版本。

版本配置（跟随版本，无法直接修改）	服务配置（允许修改，即便服务在运行中）
数据集/模型/镜像、实例规格、设置的开放端口、填写的启动命令。	服务名称、服务描述、服务副本数、扩缩容策略。