华为云AI开发平台ModelArts节点故障定位_云淘科技
故障说明和处理建议
图1 Lite池故障处理流程
对于ModelArts Lite资源池，每个节点会以DaemonSet方式部署node-agent组件，该组件会检测节点状态，并将检测结果写到K8S NodeCondtition中。同时，节点故障指标默认会上报到AOM，您可在AOM配置告警通知。
当发生节点异常时，可根据以下知识库先识别是否为亚健康并自助进行处理，若不是，则为故障，请联系华为工程师发起维修流程。
|
NodeCondition Type |
分类 |
子类 |
异常中文描述 |
检测方法 |
处理建议 |
|---|---|---|---|---|---|
|
NT_NPU_DEVICE |
NPU |
其他 |
npu dcmi device异常。 |
NPU设备异常，昇腾dcmi接口中返回设备存在重要或紧急告警。 |
重启节点；如告警30分钟内未恢复，发起维修流程。 |
|
NT_NPU_NET |
NPU |
链路 |
npu dcmi net异常。 |
NPU网络链接异常。 |
重启节点；如告警30分钟内未恢复，发起维修流程。 |
|
NT_NPU_CARD_LOSE |
NPU |
掉卡 |
NPU卡丢失。 |
节点规格的NPU卡数和k8sNode中可调度卡数不一致。 |
重启节点；如告警30分钟内未恢复，发起维修流程。 |
|
NT_NPU_OTHER |
NPU |
其他 |
NPU其他错误。 |
检测到的其他NPU错误，通常为不可自纠正的异常，请联系技术人员支持。 |
发起维修流程。 |
|
NT_NPU_ECC_COUNT |
NPU |
显存 |
NPU ECC次数达到维修阈值。 |
NPU的HBM总的多Bit Ecc隔离地址记录达到64个。 |
发起维修流程。 |
|
NT_NET_NTP_CHECK |
Runtime |
其他 |
ntp异常。 |
ntpd或者chronyd服务异常。 |
发起维修流程。 |
|
NT_KUBE_DISK_READONLY_CHECK |
Runtime |
其他 |
Kubelet硬盘只读 |
以下目录只读： /mnt/paas/kubernetes/kubelet |
发起维修流程。 |
|
NT_GPU_SMI_ECC_CHECK |
GPU |
显存 |
GPU ECC错误。 |
通过nvidia-smi -a查询到存在Pending Page Blacklist为Yes的记录，或多比特Register File大于0。 对于Ampere架构的GPU，存在以下场景： 存在不可纠正的SRAM错误。 |
重启节点；如告警30分钟内未恢复，发起维修流程。 |
|
NT_GPU_SMI_ERROR |
GPU |
其他 |
nvidia-smi返回信息中包含ERR。 |
通过nvidia-smi -a查询到ERR!，通常为硬件问题，如电源风扇等问题。 |
发起维修流程。 |
|
NT_GPU_SMI_RUNTIME |
GPU |
其他 |
nvidia-smi执行错误，超时或者不存在。 |
执行nvidia-smi退出码非0。 |
发起维修流程。 |
|
NT_GPU_SMI_ECC_COUNT |
GPU |
显存 |
ECC错误到达64次 |
通过nvidia-smi -a查询到Retired Pages中，Single Bit和Double Bit之和大于64。 |
发起维修流程。 |
|
NT_GPU_CARD_LOSE |
GPU |
掉卡 |
GPU卡丢失。 |
节点规格的GPU卡数和以下任意值不相等： lspci可见GPU卡数。 |
发起维修流程。 |
|
NT_GPU_SMI_INFOROM_ERROR |
GPU |
其他 |
infoROM告警。 |
执行nvidia-smi的返回信息中包含“infoROM is corrupted”告警。 |
发起维修流程。 |
|
NT_GPU_OTHER |
GPU |
其他 |
GPU其他错误。 |
检测到的其他GPU错误，通常为硬件问题，请联系技术人员支持。 |
发起维修流程。 |
|
NT_NET_IB_CHECK |
IB |
链路 |
IB网卡异常。 |
ibstat查看网卡非Active状态。 |
重启节点；如告警30分钟内未恢复，发起维修流程。 |
配置节点告警通知
节点故障指标(nt_npg)默认会上报到AOM，您可以在AOM配置短信、邮件等通知方式。
登录AOM控制台
在左侧导航栏选择“告警 > 告警规则”，在右上角单击“添加告警”。
设置告警规则（以NPU掉卡为例）。
规则类型：选择阈值类告警。
监控对象：选择命令行输入。
命令行输入框：“sum(nt_npg{type=”NT_NPU_CARD_LOSE”} !=2) by (cluster_name, node_ip,type)”
图2 告警规则设置
告警条件：选择触发条件在1个监控周期内，如果平均值>=1达到连续1次时，产生重要告警。
告警通知（可选）：若需要将告警通过邮件、手机方式通知您，可在告警通知处，为此告警规则配置行动规则。若此处无行动规则，请新建告警行动规则。
父主题： k8s Cluster资源使用
同意关联代理商云淘科技，购买华为云产品更优惠（QQ 78315851）
内容没看懂？ 不太想学习？想快速解决？ 有偿解决： 联系专家
