内置告警项说明

更新时间:

为了您对系统有更好的使用体验,Gemini 为您内置了告警项,这些告警项默认启用,您可停用或删除。本节为您介绍 Gemini 内置的告警项,包括其告警监控的对象、告警触发规则等信息。

# 阈值告警项

对象 告警指标 取值方式 表达式 阈值 单位 告警等级 持续时间 是否重复告警静默
集群 GPU 算力使用率 平均值 >= 90 % 危险 1 分钟
集群 GPU显存使用率 平均值 >= 90 % 危险 1 分钟
集群 CPU使用率 平均值 >= 90 % 危险 1 分钟
集群 内存使用率 平均值 >= 90 % 危险 1 分钟
集群 磁盘占用率 最大值 >= 80 % 危险 1 分钟
集群 开发环境可用外部端口剩余数量 计数值 <= 100 重要 5 分钟
节点 GPU掉卡 求和值 >= 1 危险 1 分钟
节点 CPU使用率 平均值 >= 90 % 危险 1 分钟
节点 内存使用率 平均值 >= 90 % 危险 1 分钟
节点 磁盘占用率 最大值 >= 80 % 危险 1 分钟
GPU GPU 温度 最大值 >= 80 危险 1 分钟
存储 内置存储使用率 最大值 >= 17 % 重要 1 分钟

# 事件告警项

对象 事件名称 事件描述 告警等级 是否重复告警静默
节点 工作节点状态异常 当任一工作节点状态异常时,将以异常节点的名称作为告警对象发送告警通知。 危险
节点 主控节点状态异常 当主控节点状态异常时,将以异常节点的名称作为告警对象发送告警通知。 危险
节点 GPU 转卡失败 当 GPU 转卡失败时,将以失败 GPU 的名称作为告警对象发送告警通知。 危险
系统服务 系统服务状态异常 当系统服务异常时,将以异常服务的名称作为告警对象发送告警通知。 危险
许可证 许可证失效提醒 当 License 距失效日期 3 个月时,将发送告警通知。 危险