基于实时计步的电力人员安全状态智能识别方法及介质技术

本发明专利技术公开了基于实时计步的电力人员安全状态智能识别方法，方法包括：基于多目标追踪算法检测并追踪视频画面中每个人的包围框并分配人员ID号；将人的包围框内的图像输入关键点检测算法，得到人体的左右脚踝关键点和左右膝盖关键点，将左右脚踝关键点按照人员ID号关联人的包围框；通过关键点数据计算步数；步数与人员ID号一并生成人员状态信息；基于人员状态信息和预设的安全规则生成人员安全状态信息。本发明专利技术通过分析视频准确获得人体各部位关键点并获得准确的状态，有效的进行识别，对违规状态进行提醒预警，提前防止不规范的行为发生，并且只需使用摄像头拍摄相关画面，无需佩戴其他硬件，部署方便，运行速度快，适用于不同场景。

【技术实现步骤摘要】
基于实时计步的电力人员安全状态智能识别方法及介质
本专利技术涉及电力安全领域，特别涉及一种基于实时计步的电力人员安全状态智能识别方法及介质。
技术介绍
电力施工历来强调“安全第一、预防为主、综合治理”的方针，随着电力设备的运行，不可避免地存在带电施工或在带电区域附件施工，现有的安全管控方式分为理论培训和现场安全员监督管理或录视频的方式，近年来时有触电事故发生，为了更好的保证人员施工安全，现需要一种基于人员安全状态智能识别终端，通过对人员的自身状态(比如：是否带安全头盔，穿绝缘鞋，着装是否规范等)和人员的动作状态的识别(是否有违规操作，是否离开工作区域等)；实时对人员进行监控预警，保证人员规范，误入带电区域；更可靠的保证人身和财产安全。实时计步是人体动作状态识别的重要因素，准确测量行人步数对于人员行为识别具有重要意义。当前的行人计步方法大多基于传感器，即通过佩戴在人体上的传感器获取人体运动信息，通过分析该运动信息判断行人运动状态并实现计步。当前行人计步方法主要是基于传感器，例如，使用传感器收集振动数据，分析该数据获取上阈值和下阈值以提高步数检测精度；例如，提出使用摆动补偿以消除用户手臂摆动带来的影响，提高了计步精度；例如，通过分析加速度传感器的数据以判定是否向计测状态转变，提高了精度的同时降低了传感器装置的电量消耗；例如，还有一种基于单轴加速度计的自适应步数检测方法，可有效抵抗振动等干扰，实现行人步数准确计数；又例如，使用低功耗的地磁传感器检测人体行走时上升和下降运动，并进一步实现计数检测。上述方法存在以下缺点：(1)基于传感器的方法只能通过特定传感器收集身体运动状态信息间接判断人体行走状态，这会造成一定的误差且无法达到非常精准的地步；(2)为了实现检测，人体需要额外佩戴相关传感器，使用起来比较麻烦；(3)使用可穿戴传感器能收集到的信息的非常有限。目前大多数安全管控是基于安全员和视频录像的形式，这类方法存在以下缺点：(1)依赖于人员的视觉，不能全部覆盖，更不能做到实时监督查看；(2)录视频的方式不能提前预警和防止事故的发生，只能是时候分析等；(3)人员的理论知识和经验要求高，很有可能出现遗漏和监督不到位。
技术实现思路
本专利技术旨在至少解决现有技术中存在的技术问题之一。为此，本专利技术提出一种基于实时计步的电力人员安全状态智能识别方法，能够使用视觉算法对视频中的行人进行关键点检测以准确计算行人步数，并根据步数判断人员安全状态。本专利技术还提出一种实施上述方法的计算机可读存储介质。根据本专利技术的第一方面实施例的基于实时计步的电力人员安全状态智能识别方法，包括：S100、获取视频流，基于多目标追踪算法检测并追踪每帧画面中每个人的包围框，为所述人的包围框分配人员ID号；S200、将所述人的包围框内的图像输入基于卷积神经网络的关键点检测算法，得到人体的左右脚踝关键点和左右膝盖关键点，将所述左右脚踝关键点按照所述人员ID号关联所述人的包围框；S300、确定要计算步数的人的包围框并获取对应的左右脚踝关键点数据和左右膝盖关键点数据，通过关键点数据计算步数；所述步数与所述人员ID号一并生成人员状态信息；S400、基于所述人员状态信息和预设的安全规则生成人员安全状态信息。根据本专利技术的一些实施例，所述左右脚踝关键点和所述左右膝盖关键点以基于当前画面的横纵坐标表示。根据本专利技术的一些实施例，所述步骤S100包括：S110、通过OpenCV获取并解析视频流；S120、基于实时目标检测算法得到视频帧中所有包围框，保留人的包围框；S130、基于目标追踪算法对所述保留人的包围框进行追踪，并为每个所述人的包围框分配ID号。根据本专利技术的一些实施例，所述实时目标检测算法为Yolov5s算法。根据本专利技术的一些实施例，所述目标追踪算法为SORT算法。根据本专利技术的一些实施例，所述步骤S200包括：将所述每帧画面进行裁剪得到所述包围框内的图像，并将其缩放到固定尺寸。根据本专利技术的一些实施例，所述步骤S200包括：基于top-down算法中的SimpleBaseline算法检测每个所述人的包围框中的人体关键点；所述人体关键点包括左右脚踝关键点以及左右膝盖关键点。根据本专利技术的一些实施例，所述步骤S300包括：S310、记录左脚踝关键点纵坐标和右脚踝关键点纵坐标，并设置左脚标志变量和右脚标志变量，将所述左脚标志变量和右脚标志变量置1；S320、比较左脚踝关键点纵坐标和右脚踝关键点纵坐标的大小，若左脚踝关键点纵坐标小于右脚踝关键点纵坐标，则执行步骤S330；若右脚踝关键点纵坐标小于左脚踝关键点纵坐标，则执行步骤S340；S330、若左脚踝关键点纵坐标与右脚踝关键点纵坐标之差的绝对值大于第一阈值，并且左脚标志变量为1，则记录步数加1，并将左脚标志变量置为0，右脚标志变量置为1；执行步骤S350；S340、若右脚踝关键点纵坐标与左脚踝关键点纵坐标之差的绝对值大于第二阈值，并且右脚标志变量为1，则记录步数加1；将右脚标志变量置为0，左脚标志变量置为1；执行步骤S350；S350、更新左脚踝关键点纵坐标和右脚踝关键点纵坐标，返回步骤S320。根据本专利技术的一些实施例，所述第一阈值设置为基于右膝盖关键点纵坐标与右脚踝关键点纵坐标之差；所述第二阈值设置为基于左膝盖关键点纵坐标与左脚踝关键点纵坐标之差。根据本专利技术的第二方面实施例的一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本专利技术的第一方面实施例中任一项的方法。本专利技术实施例至少具有如下有益效果：本专利技术实施例基于深度卷积神经网络的人体计步方法，使用视觉算法对视频中的行人进行关键点检测以准确计算对人员状态进行实时识别。与现有技术相比，基于视觉算法的方法可以通过分析视频准确获得人体各部位关键点，并进一步获得准确的状态，有效的进行识别，对违规状态进行提醒预警，提前防止不规范的行为发生。这对人员或施工安全有重要意义。本专利技术方法只需使用摄像头拍摄相关画面，无需佩戴其他硬件，部署方便，运行速度快，适用于不同场景，因此使用价值很高。本专利技术的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。附图说明本专利技术的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：图1为本专利技术实施例的方法的流程示意图。图2为本专利技术实施例的获取并追踪人员视频画面的方法的流程示意图。图3为本专利技术实施例的实时计算步数的方法的流程示意图。具体实施方式下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本专利技术，而不能理解为对本专利技术的限制。在本专利技术的描述中，若干的含义是一个或者多个，多个的含义是两个及两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有本文档来自技高网...

【技术保护点】
1.一种基于实时计步的电力人员安全状态智能识别方法，其特征在于，包括：/nS100、获取视频流，基于多目标追踪算法检测并追踪每帧画面中每个人的包围框，为所述人的包围框分配人员ID号；/nS200、将所述人的包围框内的图像输入基于卷积神经网络的关键点检测算法，得到人体的左右脚踝关键点和左右膝盖关键点，将所述左右脚踝关键点按照所述人员ID号关联所述人的包围框；/nS300、确定要计算步数的人的包围框并获取对应的左右脚踝关键点数据和左右膝盖关键点数据，通过关键点数据计算步数；所述步数与所述人员ID号一并生成人员状态信息；/nS400、基于所述人员状态信息和预设的安全规则生成人员安全状态信息。/n

【技术特征摘要】
1.一种基于实时计步的电力人员安全状态智能识别方法，其特征在于，包括：
S100、获取视频流，基于多目标追踪算法检测并追踪每帧画面中每个人的包围框，为所述人的包围框分配人员ID号；
S200、将所述人的包围框内的图像输入基于卷积神经网络的关键点检测算法，得到人体的左右脚踝关键点和左右膝盖关键点，将所述左右脚踝关键点按照所述人员ID号关联所述人的包围框；
S300、确定要计算步数的人的包围框并获取对应的左右脚踝关键点数据和左右膝盖关键点数据，通过关键点数据计算步数；所述步数与所述人员ID号一并生成人员状态信息；
S400、基于所述人员状态信息和预设的安全规则生成人员安全状态信息。


2.根据权利要求1所述的基于实时计步的电力人员安全状态智能识别方法，其特征在于，所述左右脚踝关键点和所述左右膝盖关键点以基于当前画面的横纵坐标表示。


3.根据权利要求1所述的基于实时计步的电力人员安全状态智能识别方法，其特征在于，所述步骤S100包括：
S110、通过OpenCV获取并解析视频流；
S120、基于实时目标检测算法得到视频帧中所有包围框，保留人的包围框；
S130、基于目标追踪算法对所述保留人的包围框进行追踪，并为每个所述人的包围框分配ID号。


4.根据权利要求3所述的基于实时计步的电力人员安全状态智能识别方法，其特征在于，所述实时目标检测算法为Yolov5s算法。


5.根据权利要求3所述的基于实时计步的电力人员安全状态智能识别方法，其特征在于，所述目标追踪算法为SORT算法。


6.根据权利要求1所述的基于实时计步的电力人员安全状态智能识别方法，其特征在于，所述步骤S200包括：将所述每帧画面进行裁剪得到所述包围框内...

【专利技术属性】
技术研发人员：钟成，蔡传雄，张源，汪发军，吴波，李方明，汤伟，刘翰宇，唐太海，
申请(专利权)人：珠高电气检测有限公司，
类型：发明
国别省市：广东;44