内置告警项说明
更新时间:
为了您对系统有更好的使用体验,Gemini 为您内置了告警项,这些告警项默认启用,您可停用或删除。本节为您介绍 Gemini 内置的告警项,包括其告警监控的对象、告警触发规则等信息。
# 阈值告警项
| 对象 | 告警指标 | 取值方式 | 表达式 | 阈值 | 单位 | 告警等级 | 持续时间 | 是否重复告警静默 |
|---|---|---|---|---|---|---|---|---|
| 集群 | GPU 算力使用率 | 平均值 | >= | 90 | % | 危险 | 1 分钟 | 是 |
| 集群 | GPU显存使用率 | 平均值 | >= | 90 | % | 危险 | 1 分钟 | 是 |
| 集群 | CPU使用率 | 平均值 | >= | 90 | % | 危险 | 1 分钟 | 是 |
| 集群 | 内存使用率 | 平均值 | >= | 90 | % | 危险 | 1 分钟 | 是 |
| 集群 | 磁盘占用率 | 最大值 | >= | 80 | % | 危险 | 1 分钟 | 是 |
| 集群 | 开发环境可用外部端口剩余数量 | 计数值 | <= | 100 | 个 | 重要 | 5 分钟 | 是 |
| 节点 | GPU掉卡 | 求和值 | >= | 1 | 卡 | 危险 | 1 分钟 | 是 |
| 节点 | CPU使用率 | 平均值 | >= | 90 | % | 危险 | 1 分钟 | 是 |
| 节点 | 内存使用率 | 平均值 | >= | 90 | % | 危险 | 1 分钟 | 是 |
| 节点 | 磁盘占用率 | 最大值 | >= | 80 | % | 危险 | 1 分钟 | 是 |
| GPU | GPU 温度 | 最大值 | >= | 80 | ℃ | 危险 | 1 分钟 | 是 |
| 存储 | 内置存储使用率 | 最大值 | >= | 17 | % | 重要 | 1 分钟 | 是 |
# 事件告警项
| 对象 | 事件名称 | 事件描述 | 告警等级 | 是否重复告警静默 |
|---|---|---|---|---|
| 节点 | 工作节点状态异常 | 当任一工作节点状态异常时,将以异常节点的名称作为告警对象发送告警通知。 | 危险 | 是 |
| 节点 | 主控节点状态异常 | 当主控节点状态异常时,将以异常节点的名称作为告警对象发送告警通知。 | 危险 | 是 |
| 节点 | GPU 转卡失败 | 当 GPU 转卡失败时,将以失败 GPU 的名称作为告警对象发送告警通知。 | 危险 | 是 |
| 系统服务 | 系统服务状态异常 | 当系统服务异常时,将以异常服务的名称作为告警对象发送告警通知。 | 危险 | 是 |
| 许可证 | 许可证失效提醒 | 当 License 距失效日期 3 个月时,将发送告警通知。 | 危险 | 是 |