一种基于多模数据的电力作业人员可穿戴远程实时监测系统与方法技术方案

本发明专利技术涉及一种基于多模数据的电力作业人员可穿戴远程实时监测系统与方法，包括依次连接的作业人员实时信息采集模块、多模态数据实时传输模块、基于转置编码的特征提取与预警模块、数据展示与修正模块。本发明专利技术提出的监测系统通过可穿戴设备获取用户的行为、环境、定位信息，进行多方位的安全风险综合判断；同时采用了一种基于转置编码的多通道注意力模型网络，能够获取用户行为数据中的多维潜在信息；增强了系统的实用性、可靠性和鲁棒性，能够更好地实现用户行为识别分类和危险预警。更好地实现用户行为识别分类和危险预警。更好地实现用户行为识别分类和危险预警。

【技术实现步骤摘要】
一种基于多模数据的电力作业人员可穿戴远程实时监测系统与方法


[0001]本专利技术涉及一种基于多模数据的电力作业人员可穿戴远程实时监测系统与方法，属于人工智能


技术介绍

[0002]最早在上世纪中期提出了通过使用佩戴在用户身上的具有特定功能的产品和电子设备，来记录人体日常行为或监测用户身体健康状况的技术。随着传感器技术的发展，各类重量较轻、体积较小的可穿戴传感器层出不穷，比如惯性测量单元(Inertial Measurement Unit，IMU)传感器，可以同时采集加速度数据和角加速度数据，光电容积脉搏波(Photo Plethysmo Graphy，PPG)传感器可以测量人体心率和血氧饱和度生理参数。
[0003]依靠物联网与云平台技术，可穿戴设备可以进行实时的信号传输与信息交流。通过建立可穿戴设备和云平台之间的连接，使得可穿戴设备收集到的数据能够迅速的传输到云端，在云端搭建人体监测模型可以方便地对数据进行分析和报警。
[0004]目前，基于可穿戴设备的人体行为监测工作主要包括以下内容：采集多种有效的人体活动数据，提取有效的特征值，研究人体行为识别和分类方法，建立基于可穿戴设备的人体行为监测系统等。绝大多数基于可穿戴设备的人体行为监测方法研究围绕其中的一个或者多个问题进行。
[0005]关于处理多模态生理信号的策略方法主要是：利用不同类别的信号相互支持，对互补信息进行融合处理，最终有效地提高了识别效果。根据目前已有的研究，模态融合的方式大致可分为4种，分别是数据级融合(传感层融合)、特征级融合、决策级融合和模型级融合。
[0006]在特殊电力作业场景下，需要考虑更多因素，比如可穿戴设备便携性，收集数据种类的多样化，检测算法的识别场景等。为了提高复杂的环境下面向电力作业人员的可穿戴远程实时监测系统的适用性，可穿戴设备需要尽可能的广泛收集多模态信息，如定位数据、近电感应和生理信息等。此外，为了提高采集设备的便携性，将尽可能集成多种功能从而缩小设备体积，同时降低功耗以延长使用时间。通过网络将数据传送至云平台，在保证数据传输可靠性的同时，对数据进行分析和报警。搭建具备管理能力的云平台，对工作人员进行实时监控，提供有用的信息，帮助电力公司改善作业流程，提高工作效率。

技术实现思路

[0007]针对电力场景的特殊监测需求，以及此场景下特征提取不完整、利用率低的问题，本专利技术提出了一种基于多模态的特征提取与编码的行为识别方法，作用于电力作业人员可穿戴远程实时监测系统。
[0008]本专利技术所使用的多模态传感器数据，是由佩戴于人体不同位置的可穿戴传感器采集而得，是指多个可穿戴传感器同时采集，多模态是指可穿戴传感器包含加速度计传感器、
陀螺仪传感器、环境电场传感器、环境气体传感器、定位传感器，可以同时采集加速度、角速度、环境电场、环境气体、定位信息五个模态的数据，并可拓展到多个模态。
[0009]本专利技术采用卷积网络模型，基于挤压激励(Squeeze and Excitation，SE)模块与转置编码模块，实现多通道特征提取与异常监测模块，充分捕捉生理信息，获得更高的识别率，本专利技术提出了一种基于转置编码的特征提取的实时行为识别方法。
[0010]本专利技术搭建了一套完善的远程监测系统，具体包括：可穿戴设备、云平台、网页端。
[0011]本专利技术的可穿戴设备具有数据收集、数据传输、指令接收的功能。通过接收来自云端的命令，使用多种传感器采集数据，并传输到云平台。
[0012]本专利技术的云平台接收来自可穿戴设备的数据，然后通过数据预处理、数据分析对多模态数据进行处理，完成监测与报警，将可视化结果送至网页端。
[0013]本专利技术的网页端具有数据展示和管理员操作的功能。可穿戴设备收集到的数据经处理后得到的可视化结果、用户的报警信息在此展示，管理员通过网页端操作来对数据进行修正和向可穿戴设备下发命令。
[0014]本专利技术针对电力人员的工作特点设定了各种收集的信息，如近电感应、危险气体、基于位置的服务(Location
‑
Based Service，LBS)定位等，并对收集到的各种数据提出了对应的处理算法。
[0015]专利技术概述：
[0016]对于本专利技术提出的基于转置编码的特征提取的实时行为识别方法，及其所作用的电力作业人员可穿戴远程实时监测系统，包括依次连接的作业人员实时信息采集模块、多模态数据预处理模块、基于转置编码的特征提取与预警模块、数据展示与修正模块。首先，在接收命令后，由实时信息采集模块中的传感器设备对各种信息进行采集；多模态数据实时传输模块通过无线传输方式实现实时数据传输，通过TCP/IP协议将数据传送到云端数据库；通过云端服务器程序判断数据类型，分别对环境信息、行为数据、定位数据进行处理；环境信息超过报警值进行预警，定位数据判断定位数据类型，如果是LBS数据，进行数据解码，然后传入多源数据融合定位模块中；对于行为数据，首先进行行为数据预处理，分为去噪、归一化、数据融合、基于时间序列的截取，最后构建并训练行为识别模型，随后进行行为实时识别；最后将上述步骤得到的所有预警信息进行实时信息展示，提供给管理者。
[0017]本专利技术为基于可穿戴设备的电力工作人员监测系统提供了一种可行的方案，可实时监测用户的行为类别，弥补了单一的传感器数据和简单的深度学习网络在自适应性、特殊行为分类方面的不足，进一步提取了全面有效的特征，提高了特征利用率，可用于对于电力系统作业人员的监控与管理，并提出了完整的流程，弥补了针对特殊行业的监测系统的空白。
[0018]本专利技术的技术方案为：
[0019]一种基于多模数据的电力作业人员可穿戴远程实时监测系统，包括依次连接的作业人员实时信息采集模块、多模态数据预处理模块、基于转置编码的特征提取与预警模块、数据展示与修正模块；
[0020]所述作业人员实时信息采集模块用于：通过可穿戴设备采集实时信息，实时信息包括环境信息、生理信息、定位信息；
[0021]所述多模态数据预处理模块用于：接收来自可穿戴设备的实时信息并对其进行预
处理；
[0022]所述基于转置编码的特征提取与预警模块用于：处理环境、生理和定位信息数据，并通过基于转置编码的特征提取算法进行人体行为识别；
[0023]所述数据展示与修正模块用于：接收来自数据识别与预警模块的数据，综合各种数据，在网页端进行可视化展示和报警；同时，在网页端提供管理员操作接口，供管理员发送指令和修正数据。
[0024]根据本专利技术优选的，所述作业人员实时信息采集模块包括并行连接的环境信息采集单元、生理信息采集单元、定位信息采集单元以及与其串行连接的数据传输单元；
[0025]环境信息采集单元用于：获取环境信息；生理信息采集单元用于：获取生理信息；定位信息采集单元用于：获取定位信息；数据传输单元用于：将采集的用户的行为数据通过TCP/IP协议远程实时传输至云服务器的数据库。
[0026]进一步优本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模数据的电力作业人员可穿戴远程实时监测系统，其特征在于，包括依次连接的作业人员实时信息采集模块、多模态数据预处理模块、基于转置编码的特征提取与预警模块、数据展示与修正模块；所述作业人员实时信息采集模块用于：通过可穿戴设备采集实时信息，实时信息包括环境信息、生理信息、定位信息；所述多模态数据预处理模块用于：接收来自可穿戴设备的实时信息并对其进行预处理；所述基于转置编码的特征提取与预警模块用于：处理环境、生理和定位信息数据，并通过基于转置编码的特征提取算法进行人体行为识别；所述数据展示与修正模块用于：接收来自数据识别与预警模块的数据，综合各种数据，在网页端进行可视化展示和报警；同时，在网页端提供管理员操作接口，供管理员发送指令和修正数据。2.根据权利要求1所述的一种基于多模数据的电力作业人员可穿戴远程实时监测系统，其特征在于，所述作业人员实时信息采集模块包括并行连接的环境信息采集单元、生理信息采集单元、定位信息采集单元以及与其串行连接的数据传输单元；环境信息采集单元用于：获取环境信息；生理信息采集单元用于：获取生理信息；定位信息采集单元用于：获取定位信息；数据传输单元用于：将采集的用户的行为数据通过TCP/IP协议远程实时传输至云服务器的数据库；进一步优选的，所述环境信息采集单元包括空气质量检测单元和近电感应单元；所述空气质量检测单元用于：读取空气中的环境数据，包括若干有毒有害气体的浓度；所述近电感应单元用于：读取人体附近电场强度，实现电厂监测和报警；进一步优选的，生理信息采集单元包括加速度传感器、角速度传感器、温度传感器、PPG传感器；加速度传感器用于获取X、Y、Z三轴的加速度数据；角速度传感器用于获取角速度传感器的X、Y、Z三轴角速度数据；温度传感器用于获取体温数据；PPG传感器用于测量心率、血氧饱和度；进一步优选的，定位信息采集单元包括全球定位系统及Wi
‑
Fi基站信息接收系统；全球定位系统用于获取GPS信号、服务信号LBS；Wi
‑
Fi基站信息接收系统用于获取媒体访问控制地址和信号强度；进一步优选的，预处理包括：依次进行去噪滤波、归一化、数据融合、基于时间序列的截取。3.根据权利要求1所述的一种基于多模数据的电力作业人员可穿戴远程实时监测系统，其特征在于，所述多模态数据预处理模块包括依次连接的数据接收单元、数据预处理单元、数据归一化单元；所述数据接收单元将接收来自可穿戴设备的各种数据并打包送至所述数据预处理单元，所述数据预处理单元针对不同的数据进行预处理，最后传输至所述数据归一化单元，统一进行归一化后传输至基于转置编码的特征提取与预警模块。4.根据权利要求1所述的一种基于多模数据的电力作业人员可穿戴远程实时监测系统，其特征在于，基于转置编码的特征提取与预警模块包括并行连接的环境信息处理单元、
生理信息处理单元、定位信息处理单元；环境信息处理单元串行连接环境信息预警单元；生理信息处理单元进一步串行连接并行的生理信息预警单元和生理信息识别单元；定位信息处理单元进一步串行连接定位信息解码单元、定位信息融合单元、超出安全区预警单元；所述环境信息处理单元用于处理环境气体信息、环境电压信息，调整环境气体浓度预警值和环境电场电压预警值；所述环境信息预警单元用于对比环境信息与预设预警值，超出预警值时进行报警；所述生理信息处理单元用于处理体温、心率、血氧饱和度、X、Y、Z三轴的加速度数据、X、Y、Z三轴角速度数据，根据不同个体情况进行个性化的数据预警阈值设置；所述生理信息预警单元用于根据不同个体进行合理数值范围的判断，并输出预警信息；生理信息预警指的是对收到的生理信号进行处理后得到的结果进行分析，识别出异常后立即报警；异常指的是通过分析佩戴者的心率、血氧、体温的信息，结合佩戴者的体征，发现了在生理医学正常范围之外的数据；所述生理信息识别单元通过基于挤压激励模块与转置编码模块的多通道注意力网络模型实现行为分类和异常行为的预警；其中，行为分类指的是人类行为识别；所述定位信息处理单元针对收集到的LBS、GPS定位信号进行分析处理，实现LBS原始基站数据解析，并综合GPS和LBS的数据信息，得到数据定位；所述定位信息解码单元进行LBS数据解码，得到可见的数据信息；所述定位信息融合单元对收集到的不同来源的数据进行融合；所述超出安全区预警单元在确认定位后，与预先划定的安全区进行比对，超出安全区范围进行预警。5.根据权利要求1所述的一种基于多模数据的电力作业人员可穿戴远程实时监测系统，其特征在于，所述基于挤压激励模块与转置编码模块的多通道注意力网络模型包括串行连接的多通道特征与异常监测模块、转置编码模块、输出模块；所述多通道特征与异常监测模块包括串行连接的噪声叠加模块、数据重构模块、异常监测模块、特征向量与异常信息输出模块；所述噪声叠加模块对多通道数据随机选择通道进行叠加高斯噪声，输入数据重构模块，含有噪声的数据随后被输入数据重构模块；所述数据重构模块用于提取输入信号的更高层表达；数据重构模块包括输入层、隐藏层和输出层，输入层到隐藏层为解码，隐藏层到输出层为编码；以隐藏层的输出作为原始输入数据的特征表达，将隐藏层的特征向量输入至特征向量与异常信息输出模块，以输出层作为输入的重建数据，重建数据输出至异常监测模块；所述异常监测模块进行输入数据的异常监测；将筛选出的异常数据输入特征向量与异常信息输出模块；所述特征向量与异常信息输出模块从数据重构模块获取特征向量、从异常监测模块获取异常数据，综合两者数据，剔除输入被检测为异常的特征向量，最终将所有数据分三通道输出到转置编码模块。6.根据权利要求1所述的一种基于多模数据的电力作业人员可穿戴远程实时监测系统，其特征在于，所述转置编码模块包括串行连接的转置模块、SE模块、层归一化模块及输出模块；所述转置模块对输入数据的不通轴进行转置，从而重新分配不同的通道权重，读取三
个维度的不同信息，随后将转置后的三种通道信息输入SE模块；所述SE模块为挤压和激励网络模块；所述层归一化模块将所述SE模块的输出进行批量层归一化，将输出的数据输入输出模块；所述输出模块将SE模块的输出输入至全连接层，随后输入Softmax分类器，进行行为信息的分类识别，求出各个行为的概率，得到最大概率所对应的行为，即为基于挤压激励模块与转置编码模块的多通道注意力网络模型最终的行为识别结果。7.根据权利要求1所述的一种基于多模数据的电力作业人员可穿戴远程实时监测系统，其特征在于，所述数据展示与修正模块包括信息综合单元，信息综合单元串行连接并行的生理信息展示单元、预警信息报警单元，随后串行连接数据实时展示单元、用户操作单元，随后串行连接并行的错误信息修正单元和指令下发单元；所述信息综合单元用于综合所有的环境信息、定位信息、生理信息及其预警信息；所述生理信息展示单元用于通过网页实时展示生理信息；所述预警信息报警单元用于云服务器将预警信息告知管理员和电力作业人员；所述数据实时展示单元用于通过网页端实时展示所有环境报警信息、定位超越安全区预警信息、人体行为识别信息；所述用户操作单元用于接收用户和管理员的操作，包括数据库调用、数据库修改、数据报警阈值修改；所述指令信息下发单元用于对于管理员的指令，通过网络传输至并控制可穿戴设备。8.一种基于多模数据的电力作业人员可穿戴远程实时监测方法，通过权利要求1
‑
7任一所述的基于多模数据的电力作业人员可穿戴远程实时监测系统实现，其特征在于，包括步骤如下：步骤S1：管理人员选择监控场景管理员通过网页端向可穿戴设备发送命令，对可穿戴设备进行控制，对不同的使用场景下选择不同的收集信息和频率；步骤S2：传感器采集多模态信息在可穿戴设备上接收来自步骤S1的管理员命令，控制传感器选择性地采集用户的生理信息、环境信息以及位置信息，生理信息包括加速度传感器获取的X、Y、Z三轴的加速度数据和角速度传感...

【专利技术属性】
技术研发人员：吴石书，陈新超，李孟，宫本辉，卢晶钰，王宇豪，刘书铨，徐杰，于俊，许宏吉，魏振，孙永杰，徐国强，全凤丽，李夏川，赵燕，刘博，秦文康，
申请(专利权)人：国家电网有限公司山东大学，
类型：发明
国别省市：