一种基于姿态识别的电力物联网设备远程控制方法及系统技术方案

本发明专利技术公开了一种基于姿态识别的电力物联网设备远程控制方法及系统，包括，采集连续多帧人体姿态动作视频及电力物联网作业现场视频；利用深度学习目标检测算法对所述连续多帧人体姿态动作视频及所述电力物联网作业现场视频进行姿态识别；显示所述姿态识别预测结果，传输所述预测结果对应的控制指令；接收所述控制指令，控制电力物联网设备开关状态及动作状态，完成远程控制。本发明专利技术人机交互方式更便捷，姿态识别模型精简，本发明专利技术还利用5G模块进行远距离通信，由于5G模块具有高数据率、低时延这些特点，5G模块可以实时进行控制指令传输并从电力物联网设备端实时传输作业现场监控视频，方便操作人员及时调整操作。方便操作人员及时调整操作。方便操作人员及时调整操作。

【技术实现步骤摘要】
一种基于姿态识别的电力物联网设备远程控制方法及系统


[0001]本专利技术涉及深度学习、嵌入式的
，尤其涉及一种基于姿态识别的电力物联网设备远程控制方法及系统。

技术介绍

[0002]近年来，物联网、人工智能、机器人等技术迅速发展，由于电力作业的危险性及复杂性，越来越多的解决各种电力问题的自动化设备被设计出来，例如用无人机对电力线路及相关设备进行巡视、利用一些电力自动化设备进行线路维修及故障排查等工作，电力自动化设备的出现可以很大程度上保护电力设备维护人员的安全，同时能够更高效地实施各种电力作业。
[0003]随着进行电力作业的操作种类的增加，对人与设备的交互方式以及安全保护提出了新的要求，交互方式更简洁直观对电力线路维护人员来说变得越来越重要，目前人机交互方式大多是按钮式的交互方式，而且通信方式一般也采用近距离无线通信方式，如2.4G无线模块、WIFI模块等，维护电力设备的操作人需要经过长期专门的培训才能熟悉操作，另外，有关姿态识别方面，现有的姿态识别研究大多是做理论算法研究，很少有人将姿态识别作为电力自动化设备的人机交互方式，而且现有的姿态识别模型对于嵌入式设备来讲存储量和计算量过大，此外，很多电力作业依然需要电力线路维护人员进行现场查看，可人的视距有限。

技术实现思路

[0004]本部分的目的在于概述本专利技术的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和专利技术名称中可能会做些简化或省略以避免使本部分、说明书摘要和专利技术名称的目的模糊，而这种简化或省略不能用于限制本专利技术的范围。
[0005]鉴于上述现有存在的问题，提出了本专利技术。
[0006]因此，本专利技术解决的技术问题是：交互方式便捷性差、姿态识别模型存储量及计算量大、短距离通信方式通信距离有限。
[0007]为解决上述技术问题，本专利技术提供如下技术方案：采集连续多帧人体姿态动作视频及电力物联网作业现场视频；利用深度学习目标检测算法对所述连续多帧人体姿态动作视频及所述电力物联网作业现场视频进行姿态识别；显示所述姿态识别预测结果，传输所述预测结果对应的控制指令；接收所述控制指令，控制电力物联网设备开关状态及动作状态，完成远程控制。
[0008]作为本专利技术所述的基于姿态识别的电力物联网设备远程控制方法的一种优选方案，其中：所述深度学习目标检测算法包括LRCN网络。
[0009]作为本专利技术所述的基于姿态识别的电力物联网设备远程控制方法的一种优选方案，其中：所述控制电力物联网设备开关状态及动作状态过程包括，根据控制连接的硬件接口类型编写控制接口函数；根据接收到的所述控制指令对所述电力物联网设备进行开关控
制及动作控制。
[0010]作为本专利技术所述的基于姿态识别的电力物联网设备远程控制方法的一种优选方案，其中：所述LRCN网络包括，所述LRCN网络结合ShuffleNet、CNN、LSTM提取所述视频中人体姿态特征。
[0011]作为本专利技术所述的基于姿态识别的电力物联网设备远程控制方法的一种优选方案，其中：提取所述视频中人体姿态特征过程包括，利用所述CNN获取单帧人体姿态图像信息特征；将所述CNN的输出按时序通过所述LSTM；利用所述LRCN网络将人体姿态视频数据在时间维度和空间维度上进行表征。
[0012]作为本专利技术所述的基于姿态识别的电力物联网设备远程控制方法的一种优选方案，其中：所述ShuffleNet包括逐点群卷积和通道混洗。
[0013]作为本专利技术所述的基于姿态识别的电力物联网设备远程控制方法的一种优选方案，其中：所述CNN网络和所述LSTM网络不同深度的层级设置包括，根据不同场合对姿态识别的精度的要求不同对CNN网络和LSTM网络设置不同深度的层级。
[0014]为解决上述问题，本专利技术还提出如下技术方案：一种基于姿态识别的电力物联网设备远程控制系统，包括视频采集模块用于采集所述连续多帧人体姿态动作视频和所述电力物联网设备作业现场视频；视频处理模块与所述视频采集模块相连接用于对所述视频进行人体姿态识别；显示模块与所述视频处理模块及所述视频采集模块相连接，用于显示所述姿态识别预测结果，显示经由控制及视频处理模块、5G通信模块、所述视频处理模块反馈回来的电力物联网设备作业现场视频；5G通信模块与所述显示模块相连接，用于传输来自所述视频处理模块预测结果对应的控制指令，反馈所述视频采集模块传回的电力物联网作业现场视频；控制及视频处理模块与所述5G通信模块模块相连接，用于接收所述控制指令，对电力物联网设备开关状态及动作状态进行控制，传输所述视频采集模块采集的电力物联网作业现场视频。
[0015]作为本专利技术所述的基于姿态识别的电力物联网设备远程控制系统的一种优选方案，其中：所述视频采集模块包括，视频采集模块1用于采集所述连续多帧人体姿态动作视频；视频采集模块2用于采集所述电力物联网作业现场视频；其具体包括，USB通信单元通过摄像头与所述视频处理模块相连接进行通信，驱动单元与所述USB通信单元相连接用于调用OpenCV驱动摄像头获取原始视频，视频采集接口单元与所述驱动单元相连接用于封装视频采集接口函数，供视频处理模块获取视频。
[0016]作为本专利技术所述的基于姿态识别的电力物联网设备远程控制系统的一种优选方案，其中：所述5G通信模块包括，底层驱动单元用于编写控制指令及视频传输协议，以及构建通信收发接口函数，通信收发单元与所述底层驱动单元相连接用于发送接口函数，传输根据人体姿识别结果得到的相应的动作指令，视频传输单元连接所述通信单元用于将接收的现场作业视频传输回所述视频处理模块经所述显示模块显示。
[0017]本专利技术的有益效果：便捷的人机交互方式，本专利技术利用人体姿态交互更简便，操作人员可以通过学习形象的姿态对机器人进行控制，操作可以更进一步细化；姿态识别模型精简，本专利技术中姿态识别模型主干网络采用ShuffleNet，更适用于嵌入式设备存储资源计算资源有限这一特点；远距离实时传输控制信号及作业现场视频，本专利技术利用5G模块进行远距离通信，由于5G模块具有高数据率、低时延这些特点，5G模块可以实时进行控制指令传
输并从电力物联网设备端实时传输作业现场监控视频，方便操作人员及时调整操作。
附图说明
[0018]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：
[0019]图1为本专利技术一个实施例所述的一种基于姿态识别的电力物联网设备远程控制方法及系统的基本流程图；
[0020]图2为本专利技术一个实施例所述的一种基于姿态识别的电力物联网设备远程控制方法及系统的改进的LRCN网络结构简图；
[0021]图3为本专利技术一个实施例所述的一种基于姿态识别的电力物联网设备远程控制方法及系统的LRCN网络深度分级示意图；
[0022]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于姿态识别的电力物联网设备远程控制方法，其特性在于，包括：采集连续多帧人体姿态动作视频及电力物联网作业现场视频；利用深度学习目标检测算法对所述连续多帧人体姿态动作视频及所述电力物联网作业现场视频进行姿态识别；显示所述姿态识别预测结果，传输所述预测结果对应的控制指令；接收所述控制指令，控制电力物联网设备开关状态及动作状态，完成远程控制。2.如权利要求1所述的基于姿态识别的电力物联网设备远程控制方法，其特征在于：所述深度学习目标检测算法包括LRCN网络。3.如权利要求1所述的基于姿态识别的电力物联网设备远程控制方法，其特征在于：所述控制电力物联网设备开关状态及动作状态过程包括，根据控制连接的硬件接口类型编写控制接口函数；根据接收到的所述控制指令对所述电力物联网设备进行开关控制及动作控制。4.如权利要求1或2所述的基于姿态识别的电力物联网设备远程控制方法，其特征在于：所述LRCN网络包括，所述LRCN网络结合ShuffleNet、CNN、LSTM提取所述视频中人体姿态特征。5.如权利要求4所述的基于姿态识别的电力物联网设备远程控制方法，其特征在于：提取所述视频中人体姿态特征过程包括，利用所述CNN获取单帧人体姿态图像信息特征；将所述CNN的输出按时序通过所述LSTM；利用所述LRCN网络将人体姿态视频数据在时间维度和空间维度上进行表征。6.如权利要求4所述的基于姿态识别的电力物联网设备远程控制方法，其特征在于：所述ShuffleNet包括逐点群卷积和通道混洗。7.如权利要求4所述的基于姿态识别的电力物联网设备远程控制方法，其特征在于：所述CNN网络和所述LSTM网络不同深度的层级设置包括，根据不同场合对姿态识别的精度的要求不同对CNN网络和LSTM网络设置不同深度的层级。8.一种基...

【专利技术属性】
技术研发人员：权利要求书二页说明书七页附图六页，
申请(专利权)人：广东电网有限责任公司，
类型：发明
国别省市：