案例:SIM 卡欠费,监测系统静默离线 7 天
现象:怎么发现的
这个故障没有任何报警,是运维人员季度盘点时偶然发现的:某冷库 AIoT 监测平台的数据中断了整整 7 天。期间平台一片安静——没有温度告警,也没有离线告警。现场纸质温度记录表显示温度正常,但电子数据无法导出验证,这 7 天在系统层面是"黑箱"。
排查与根因
根因简单得让人无奈:网关里的 4G SIM 卡欠费停机了。更麻烦的是三层防线同时失效:
- 网关本地缓存只保留约 7 天,超出后旧数据被循环覆盖——发现时最早的部分数据已经丢失;
- 平台侧的离线告警依赖同一条网络链路发出,链路断了,告警也发不出去;
- 没有人工定期核对机制,从季度盘点才发现,间隔长达 7 天。
处置过程
- 立即为 SIM 卡充值,恢复通信;
- 本地缓存中尚未覆盖的数据补传至平台;
- 已被覆盖的缺失时段,以纸质温度记录作为补充凭证;
- 出具数据缺失情况说明并上报;
- 随即上线 SIM 卡余额自动监控告警。
经验教训
- 告警不能依赖被监测的链路本身:通信中断的告警必须有独立出口(如平台服务端检测心跳超时后走短信通道),否则"网络坏了"和"一切正常"看起来一模一样。
- 心跳超时即告警:网关心跳超过 1 小时未上报,就应在值班群触发告警,把发现时间从"季度"压缩到"小时"。
- 余额监控前置:SIM 卡余额低于阈值(如 50 元)自动短信提醒,最好直接用物联网卡管理平台统一托管,避免逐卡人工续费。
- 双链路冗余:重要库房采用 4G + 有线/Wi-Fi 双通道,单链路故障不丢数据。
- 月度链路自检写进 SOP:主动核对每个网关的在线状态和数据连续性,而不是等告警。
更多「案例分析」
本文作者在用:数字冷链验证平台
验证方案到报告一站完成,均匀度/波动度自动计算