快速定位并解决资源不足问题
当算法工程师的任务执行异常，无法确认原因的时候，可通过如下方法快速定位是否是资源不足导致。Gemini 平台的运维管理侧为您提供了资源统计和监控的功能。
# 查看资源总览
- 登录 Gemini。
- 下拉右上角账户处，选择 运维管理， 默认进入 资源总览 页。
- 查看 Gemini 平台中所有资源的总量和已使用量。
- 查看 GPU 及 显存 使用情况
在图中 ① 处，您可查看平台中 GPU 资源的使用情况，切换右上角为 显存，则可查看到 显存 使用详情。 - 查看 CPU 、内存 和 持久化存储 的使用情况
切换图中 ② 处的左侧的资源类型，可在右侧折线图中查看该资源具体使用详情。
确认如上资源的剩余量是否过少。 - 是，则 查看告警确认资源不足的原因。
- 否，则平台当前出现的问题不是资源不足导致的，可往其他方向排查。
- 查看 GPU 及 显存 使用情况
# 查看告警确认资源不足的原因
- 下拉 Gemini 右上角账户处，选择 系统设置。
默认进入告警历史页面。
- 在检索框中输入检索条件。
- 时间：平台故障的大致时间范围。
- 告警等级：危险
- 查看返回记录中是否包含节点状态异常、GPU 掉卡、许可证失效的告警。
# 管理调度业务
# 释放缓存
如果是缓存不足，可通过 释放缓存 将不再使用的任务所占用的缓存释放出来。释放前请先确认该缓存上的数据已不再需要。
- 切换到 缓存管理 页签。
- 单击缓存对应操作列的 释放缓存 。
# 停止不用的开发环境
开发环境运行时会一直占用资源，停止正在运行的开发环境，可以释放该开发环境占用的资源。您可确认哪些环境当前未被使用，并将其停止。
- 切换到 业务管理 > 开发环境 页。
- 在操作列表中，找到需要停止的开发环境并单击其操作列的 停止。
同理，您也可以停止一些废弃的离线任务、可视化任务来释放部分资源。
# 删除废弃的代码集、数据集和镜像
删除废弃的代码集、数据集和镜像可以释放部分存储资源。 下拉 Gemini 右上角账户处，选择 业务管理。 您可在 代码管理、数据管理、镜像管理 中进行删除操作。
# 扩容
如果通过上述方法释放出来的资源只能缓解短期资源不足，您可通过扩容的方法来解决长期资源不足的问题。
# 扩 CPU 和内存资源
如果是 CPU 和 内存 资源不足，您可通过添加新节点的方法来实现为平台扩容的目的。
- 下拉 Gemini 右上角账户处，选择 运维管理。
- 随后在左侧二级导航栏选择 节点管理。
- 单击该页右上角的 添加节点 。
系统弹出 添加节点 对话框。 - 在 添加节点 中填写主控节点的 root 用户密码，并单击下一步。
- 填写新添加节点的 root 用户密码。
- 单击 确定。
# 扩 GPU、显存和存储资源
如果是 GPU、显存 或 存储 资源不足，您可通过 下线维护 的方式将某节点下线，并为其配置更高性能的 GPU 卡或更大的存储盘，然后再对其执行上线操作。节点上下线方法如下：
注意：下线节点前，请确保平台仍有多余资源可承载涉及的任务，这样当该节点下线时，系统能够将其涉及的业务平缓转移至其他节点继续执行。
- 下拉 Gemini 右上角账户处，选择 运维管理。
- 随后在左侧二级导航栏选择 节点管理。
- 单击节点对应操作列的 下线维护 。
- 在弹出的确认下线的提示框中，单击 确定。
- 输入该节点的 root 用户密码。
- 单击 确定，等待下线成功。
- 对下线的节点进行卡的更换和配置。
- 单击 节点上线。
# 超分
为提高虚拟卡的利用率，可在OrionX对一张或多张卡进行超额分配设置，超分后对应的卡的显存将按超分比例倍增，卡的数量不变。
超分后，在Gemini空间配额管理显存总量增加。且配额页面内显示的是系统资源，可以在输入框内填写超过系统资源的数值。
注意：
在OrionX中将卡超分后，在Gemini平台中，若输入的算力百分比对应的显存超过单卡的实际显存后，单GPU显存处数值大小可能显示异常，如下图所示。
即在输入单卡GPU算力百分比后，单卡GPU显存暂时并未按照超分比例准确显示，因此需要解开单GPU算力和单GPU显存右侧的锁定状态，自行填写所需的单GPU显存后再提交任务。
