第27章 设备运维与常见故障排查

27.1 设备运维概述

设备运维是工业物联网系统日常运行的核心工作。工业物联网系统连接了大量设备（传感器、网关、PLC、服务器、网络设备），任何一个设备出问题都可能导致数据采集中断、系统不可用。运维人员需要掌握设备运维的方法和故障排查的技能，确保系统稳定运行。

27.2 运维体系与流程

27.2.1 运维组织与职责

小型企业可以一人多岗，但职责要明确；关键岗位要有A/B角，避免人员流动导致运维中断。

27.2.2 运维流程

• 事件管理流程：故障发现→故障报告→故障分级→故障处理→故障恢复→故障记录→故障复盘。P1级故障（系统全停、数据全断）15分钟内响应，4小时内恢复；P2级（部分设备离线、功能异常）30分钟内响应，8小时内恢复；P3级（一般问题）2小时内响应，24小时内处理。
• 问题管理流程：重复发生的事件→根因分析→制定解决方案→实施改进→验证效果→关闭问题。目标是从"救火"转向"防火"。
• 变更管理流程：变更申请→变更评估（风险/影响/回滚方案）→变更审批→变更实施→变更验证→变更记录。所有系统变更都要走流程，禁止"野操作"。
• 配置管理流程：建立配置管理数据库（CMDB），记录所有设备、软件、网络配置，变更时同步更新，确保配置信息准确。
• 发布管理流程：平台版本升级、功能发布，先在测试环境验证，再选择业务低峰期发布，发布后验证，有问题及时回滚。

27.2.3 巡检制度

巡检要有记录，发现问题要跟踪闭环，不能"巡而不检、检而不改"。

27.3 常见设备运维

27.3.1 传感器运维

传感器是工业物联网的"眼睛"，传感器数据质量直接决定系统价值。传感器运维要点：

• 日常检查：
  • 外观检查：传感器是否损坏、进水、积灰、腐蚀，安装是否牢固
  • 接线检查：接线是否松动、氧化、破损，屏蔽层是否接地
  • 供电检查：供电电压是否正常，电源适配器是否发热
  • 数据检查：平台显示值是否合理，是否有跳变、卡死、漂移
• 定期校准：
  • 温度传感器：每年校准1次，用标准温度计比对，偏差超过±0.5℃需要校准或更换
  • 压力传感器：每半年校准1次，用标准压力源比对，偏差超过±0.5%FS需要校准
  • 流量计：每年校准1次（贸易结算用流量计按法规要求），用标准表比对
  • 电能表：按计量法规要求定期检定（一般1-3年）
  • 振动传感器：每年校准1次，用标准振动源比对
  • 校准记录要存档，校准不合格的传感器要及时更换
• 常见问题处理：
  • 数据跳变：检查接线是否松动、传感器是否受干扰、量程设置是否正确
  • 数据漂移：传感器老化或需要校准，先校准，校准无效则更换
  • 数据卡死：传感器故障或通信中断，检查传感器输出和通信线路
  • 数据为0：传感器未供电、接线断开、传感器损坏、量程设置错误
  • 数据超量程：实际值超出传感器量程，更换更大量程传感器；或量程设置错误
  • 数据波动大：传感器安装不牢固、受振动影响、信号干扰、滤波参数设置不当
• 更换流程：
  • 准备同型号传感器（或兼容替代型号），检查外观和出厂校准证书
  • 记录旧传感器的配置参数（量程、单位、安装位置、接线方式）
  • 断电（注意：有些场景不能断电，需要带电操作，要做好安全防护）
  • 拆除旧传感器，安装新传感器，接线按照记录的方式连接
  • 上电，检查传感器输出是否正常
  • 在平台中更新传感器信息（序列号、校准日期、安装日期）
  • 比对新传感器与旧传感器数据（如果旧传感器还能工作），确认数据合理
  • 记录更换原因、更换时间、更换人，旧传感器标识后妥善处理（维修或报废）

27.3.2 网关运维

网关是连接现场设备和平台的桥梁，网关故障会导致该网关下所有设备数据中断。网关运维要点：

• 日常检查：
  • 运行状态：电源指示灯、运行指示灯、通信指示灯是否正常
  • 温度：网关表面温度是否过高（烫手可能是散热不良或负载过高）
  • 网络：网口指示灯是否正常，WiFi/4G信号强度是否足够
  • 平台在线状态：网关是否在线，最后心跳时间是否正常
  • 数据上报：网关下设备数据是否正常上报，是否有延迟或丢失
• 定期维护：
  • 每月：清理网关灰尘（特别是散热孔），检查接线是否牢固，重启网关（释放内存）
  • 每季度：检查网关固件版本，评估是否需要升级（升级前先备份配置，在测试网关验证）
  • 每半年：检查网关存储使用情况，清理过期日志和缓存数据
  • 每年：评估网关性能是否满足需求，是否需要扩容或更换
• 配置备份：
  • 网关配置（采集点表、协议参数、网络配置、平台连接参数）要定期备份
  • 每次配置变更后立即备份，标注版本和变更内容
  • 备份文件保存在本地和云端，确保网关损坏后可以快速恢复配置
  • 新网关更换时，导入备份配置即可快速恢复，减少停机时间
• 常见问题处理：
  • 网关离线：检查电源、网络（网线/WiFi/4G）、平台连接参数、网关是否死机（重启试试）
  • 部分设备数据不上报：检查该设备通信线、设备地址、协议参数、网关采集配置
  • 数据延迟大：网关负载过高（CPU/内存使用率高）、网络带宽不足、采集点过多
  • 数据丢失：网关存储满、网络不稳定导致缓存溢出、采集频率过高
  • 网关频繁重启：电源不稳定、温度过高、固件bug、硬件故障
  • 网关无法登录：密码错误、网络不通、网关死机（恢复出厂设置后重新配置）

27.3.3 网络设备运维

• 交换机运维：定期检查端口状态（up/down、错误包、流量），清理灰尘，检查温度，备份配置，固件升级，冗余交换机定期主备切换测试
• 路由器/防火墙运维：检查CPU/内存/会话数，检查安全策略命中情况，定期备份配置，固件升级，检查VPN隧道状态，检查入侵检测告警
• 无线设备运维：检查AP在线状态、信号强度、连接用户数、信道干扰，定期优化信道和功率，固件升级
• 网络线缆运维：定期检查线缆标签、走线、接头，测试链路质量，老化线缆及时更换

27.3.4 服务器与平台运维

• 服务器运维：监控CPU/内存/磁盘/网络使用率，定期清理磁盘空间，检查系统日志，安装安全补丁（先测试），定期备份，性能调优
• 数据库运维：监控数据库连接数、慢查询、表空间、备份状态，定期执行备份恢复测试，索引优化，数据归档，性能调优
• 平台运维：监控平台服务状态、接口响应时间、消息队列积压、任务执行情况，定期清理临时数据，平台版本升级（先测试后发布），配置备份

27.4 故障排查方法论

27.4.1 故障排查总原则

1. 先恢复后排查：对于影响生产的故障，先想办法恢复业务（重启、切换、回滚），再深入排查根因。不要在业务中断时慢慢排查。
2. 从简单到复杂：先查最常见、最简单的原因（电源、网线、配置），再查复杂原因（协议、程序、硬件）。80%的故障是简单原因导致的。
3. 从外到内：先查外部因素（供电、网络、环境），再查系统内部（配置、程序、数据）。
4. 分层排查：按照物理层→数据链路层→网络层→传输层→应用层的顺序逐层排查，定位故障层级。
5. 对比法：正常设备和故障设备对比配置、参数、环境，找出差异点。
6. 替换法：用已知正常的部件（传感器、网关、网线、端口）替换可疑部件，快速定位故障点。
7. 日志分析：系统日志、网关日志、平台日志、网络设备日志是故障排查的重要依据，要学会看日志。
8. 记录过程：排查过程中每一步操作和结果都要记录，避免重复操作，也便于事后复盘。

27.4.2 设备离线故障排查流程

设备离线是最常见的故障，按照以下流程排查：

1. 确认故障范围：是一台设备离线，还是一个网关下所有设备离线，还是整个系统离线？故障范围决定排查方向。
   • 单台设备离线→查该设备本身和通信线
   • 一个网关下所有设备离线→查网关和上行网络
   • 所有设备离线→查平台、核心网络、互联网
2. 物理层检查：
   • 设备电源指示灯是否亮？不亮→查电源、插座、电源线、电源开关
   • 网线是否插好？网口指示灯是否亮？不亮→换网线、换交换机端口、检查网卡
   • 串口线是否接好？接线端子是否松动？
   • 设备是否有报警指示灯？报警灯含义查设备手册
3. 设备本地检查：
   • 设备本地显示屏/面板是否正常？是否有报错信息？
   • 设备参数是否被误改？（地址、波特率、IP地址）
   • 设备是否死机？重启设备试试
   • 用调试工具（Modbus Poll、OPC UA客户端）本地直连设备，确认设备本身通信正常
4. 通信链路检查：
   • 串口通信：用串口调试助手接在网关端，看是否收到设备数据，检查波特率/数据位/停止位/校验位是否匹配
   • 以太网通信：ping设备IP，通不通？不通→查网线、IP地址、交换机端口、VLAN配置
   • 网关到平台：在网关端ping平台地址，telnet平台端口，检查网络连通性
   • 4G/WiFi：检查信号强度、SIM卡状态、WiFi连接状态、流量是否用完
5. 网关配置检查：
   • 网关采集配置是否正确？（设备地址、寄存器地址、协议类型、采集频率）
   • 网关平台连接参数是否正确？（平台地址、端口、设备密钥）
   • 网关日志是否有报错？（连接失败、认证失败、采集超时）
   • 网关是否需要重启？重启后观察是否恢复
6. 平台侧检查：
   • 平台服务是否正常？其他设备是否在线？
   • 设备是否被禁用或删除？
   • 平台接入配置是否正确？（设备密钥、产品配置）
   • 平台日志是否有该设备的连接记录？
   • 平台是否有版本变更或配置变更？
7. 定位与修复：通过以上步骤定位故障点，采取对应修复措施（更换损坏部件、修正配置、恢复网络、重启服务）
8. 验证与记录：修复后验证设备恢复正常，数据正常上报，记录故障原因、处理过程、处理结果，必要时更新运维文档和FAQ

27.4.3 数据异常故障排查

27.5 备件管理

27.5.1 备件清单

建立关键备件清单，确保故障时能快速更换：

27.5.2 备件管理要求

• 备件要有台账，记录名称、型号、数量、入库日期、供应商、保质期、存放位置
• 备件存放要防潮、防尘、防静电，贵重备件专柜存放
• 备件领用要有记录，领用人、领用日期、用途、更换下来的旧件去向
• 定期盘点备件，库存低于安全库存及时采购
• 更换下来的旧件要标识（设备编号、更换日期、故障现象），能维修的送修，不能维修的报废处理
• 关键备件要有供应商应急供货渠道，确保紧急情况下能快速采购

27.6 运维文档与知识管理

• 运维文档清单：
  • 系统架构文档：整体架构、网络拓扑、设备清单、系统清单
  • 设备台账：每台设备的型号、序列号、安装位置、投用日期、配置参数、校准记录、维修记录
  • 配置文档：网关配置、平台配置、网络配置、告警配置、仪表盘配置
  • 运维手册：日常运维操作、巡检流程、故障排查流程、常见问题FAQ
  • 应急预案：系统瘫痪、网络中断、数据丢失、安全事件等场景的应急处理流程
  • 培训文档：用户操作手册、运维培训教材、视频教程
• 文档管理要求：
  • 文档要及时更新，配置变更后同步更新文档，确保文档与实际一致
  • 文档版本管理，每次修改记录版本号、修改日期、修改内容、修改人
  • 文档集中存放，便于查阅和备份，建议使用知识库或文档管理系统
  • 关键文档纸质版和电子版都要有，防止系统故障时无法查阅
  • 定期评审文档的准确性和完整性，每年至少一次全面更新
• 知识管理：
  • 建立FAQ库，常见问题和解决方案沉淀下来，避免重复排查
  • 故障复盘记录，每次重大故障后做复盘，记录根因、教训、改进措施
  • 运维经验分享，定期组织运维团队分享经验和技巧
  • 人员交接清单，运维人员变动时，确保知识和文档完整交接

27.7 本章小结

本章系统讲解了工业物联网设备运维与故障排查。要点回顾：

1. 工业物联网系统"三分建设，七分运维"，运维能力直接决定系统的长期价值。运维组织包括运维主管、平台运维工程师、设备运维工程师、应用支持工程师、安全运维工程师，小型企业可一人多岗但职责要明确。
2. 运维流程包括事件管理、问题管理、变更管理、配置管理、发布管理，所有变更都要走流程，禁止"野操作"。
3. 巡检制度分为每日、每周、每月、季度、年度巡检，巡检要有记录，发现问题要跟踪闭环。
4. 传感器运维要点：日常检查（外观、接线、供电、数据）、定期校准（按传感器类型和法规要求）、常见问题处理（跳变、漂移、卡死、为0、超量程）、规范更换流程。
5. 网关运维要点：日常检查（状态、温度、网络、在线状态、数据上报）、定期维护（清理、重启、固件升级、存储清理）、配置备份（变更后立即备份，本地+云端）、常见问题处理（离线、部分设备不上报、延迟、丢失、频繁重启）。
6. 网络设备运维包括交换机、路由器/防火墙、无线设备、线缆的定期检查和维护。
7. 服务器与平台运维包括服务器、数据库、平台服务的监控、备份、补丁、性能调优。
8. 故障排查总原则：先恢复后排查、从简单到复杂、从外到内、分层排查、对比法、替换法、日志分析、记录过程。
9. 设备离线故障排查流程：确认故障范围→物理层检查→设备本地检查→通信链路检查→网关配置检查→平台侧检查→定位与修复→验证与记录。
10. 数据异常故障包括数据为0、跳变、漂移、卡死、超量程、延迟大、丢失、与实际不符，每种异常有对应的可能原因和排查方法。
11. 备件管理要建立关键备件清单（传感器、网关、电源、线缆、交换机、工具等），有台账、有库存、有领用记录、定期盘点。
12. 运维文档包括系统架构、设备台账、配置文档、运维手册、应急预案、培训文档，要及时更新、版本管理、集中存放。知识管理要建立FAQ库、故障复盘、经验分享、人员交接机制。

运维能力是工业物联网系统长期稳定运行的保障，建立完善的运维体系、掌握科学的故障排查方法、做好知识沉淀，才能让系统持续发挥价值。

下一章我们将学习数据质量与治理，这是工业物联网数据价值实现的基础。

📝 本章练习（5题）

答案与解析请在 互动学习看板 中作答查看。

📚 玩转工业物联网平台 课程目录（30 章）

1. 第1章 什么是工业物联网（IIoT）
2. 第2章 工业物联网与消费物联网的区别
3. 第3章 工业物联网的核心价值与典型应用场景
4. 第4章 工业物联网四层技术架构详解
5. 第5章 数晰IOT物联平台概览与核心功能
6. 第6章 工业数据采集的基本概念与重要性
7. 第7章 常见工业传感器详解（温度/压力/流量/振动）
8. 第8章 工业通信协议入门（Modbus/OPC UA/MQTT）
9. 第9章 数据采集网关的作用、选型与配置
10. 第10章 数晰IOT平台数据采集配置实战
11. 第11章 数据采集常见问题与排查方法论
12. 第12章 平台注册登录与界面导览
13. 第13章 设备管理：添加设备、分组与标签
14. 第14章 物模型设计：属性、服务与事件
15. 第15章 数据点配置与数据上报调试
16. 第16章 数据可视化：仪表盘搭建与图表配置
17. 第17章 告警规则配置与多渠道通知
18. 第18章 历史数据查询、导出与分析
19. 第19章 OpenAPI接口与第三方系统对接
20. 第20章 实战项目一：设备运行状态监控系统
21. 第21章 实战项目二：工厂能耗数据采集与分析
22. 第22章 实战项目三：生产环境温湿度监测系统
23. 第23章 实战项目四：设备预测性维护基础应用
24. 第24章 工业物联网与MES/ERP系统集成方案
25. 第25章 工业物联网项目实施全流程方法论
26. 第26章 工业物联网安全基础与最佳实践
27. 第27章 设备运维与常见故障排查
28. 第28章 数据质量保障与数据治理基础
29. 第29章 工业物联网岗位图谱与能力要求
30. 第30章 学习路径规划与职业发展建议