一种基于人体关键点的异常行为识别方法及其系统技术方案

本发明专利技术公开一种基于人体关键点的异常行为识别方法及其系统，属于高空作业监测技术领域，实时获取作业人员的高空作业图片；利用关键点检测算法提取高空作业图片中关节点的位置信息，获取高空作业图片中作业人员的姿态和动作，以及高空作业图片中作业人员的姿态和动作；若高空作业图片中作业人员的身体超出电子围栏达到设定身体面积阈值，则判定作业人员超出安全范围，触发报警提示；判断高空作业图片中作业人员是否存在异常行为，若高空作业图片中作业人员存在异常行为，则触发报警提示，通知作业人员停止作业。本发明专利技术实时监测作业人员的安全状态，并及时发出警报，确保高压线电力作业的安全性。作业的安全性。作业的安全性。

【技术实现步骤摘要】
一种基于人体关键点的异常行为识别方法及其系统


[0001]本专利技术涉及一种基于人体关键点的异常行为识别方法及其系统，属于高空作业监测


技术介绍

[0002]在电力行业中作业人员需要遵守高压线安全防护规范，高压线电力作业具有高度危险性，对作业人员的安全提出了严峻要求。传统的安全监测方法往往依赖于人工巡检或有限的传感器监测，存在监测盲区和人为误判的问题。

技术实现思路

[0003]本专利技术所要解决的技术问题是克服现有技术的缺陷，提供一种基于人体关键点的异常行为识别方法及其系统，
[0004]第一方面，本专利技术提供一种基于人体关键点的异常行为识别方法，包括：
[0005]实时获取作业人员的高空作业图片；
[0006]利用关键点检测算法提取高空作业图片中关节点的位置信息；
[0007]基于高空作业图片中关节点的位置信息，获取高空作业图片中作业人员的姿态和动作；
[0008]基于高空作业图片中预先设置的电子围栏，以及高空作业图片中作业人员的姿态和动作，判断高空作业图片中作业人员的身体是否超出电子围栏，若高空作业图片中作业人员的身体超出电子围栏达到设定身体面积阈值，则判定作业人员超出安全范围，触发报警提示；
[0009]判断高空作业图片中作业人员是否存在异常行为，若高空作业图片中作业人员存在异常行为，则触发报警提示，通知作业人员停止作业。
[0010]结合第一方面，判断高空作业图片中作业人员是否存在异常行为，若高空作业图片中作业人员存在异常行为，则触发报警提示，通知作业人员停止作业，包括：
[0011]将高空作业图片输入时移模块TSM中，利用时移模块TSM预测作业人员的行为是否是异常行为，若作业人员的行为是异常行为，则触发报警提示，通知作业人员停止作业。
[0012]结合第一方面，异常行为包括作业人员坠落、作业人员摔倒、作业人员站立不稳和作业人员悬挂在高压线上。
[0013]结合第一方面，若高空作业图片中作业人员的身体超出电子围栏达到设定身体面积阈值，则判定作业人员超出安全范围，触发报警提示，通知作业人员离开危险区域或停止作业。
[0014]结合第一方面，基于高空作业图片中作业人员的姿态和动作，判断作业人员是否存在异常行为，包括：
[0015]若高空作业图片中作业人员的身体超出电子围栏达到设定身体面积阈值或作业人员的行为是异常行为，则对连续序列的高空作业图片进行细粒度行为识别。
[0016]结合第一方面，对连续序列的高空作业图片进行细粒度行为识别，包括：
[0017]利用时移模块TSM对连续序列的高空作业图片进行时间维度的建模，提取获得具有特征的行为表示。
[0018]结合第一方面，利用关键点检测算法提取高空作业图片中关节点的位置信息，包括：
[0019]高空作业图片中关节点的位置信息包括鼻子的位置、脖子的位置、右肩的位置、右手肘的位置、右手腕的位置、左肩的位置、左手肘的位置、左手腕的位置、中臀的位置、右臀的位置、右膝盖的位置、右脚踝的位置、左臀的位置、左膝盖的位置、左脚踝的位置、右眼的位置、左眼的位置、右耳的位置、左耳的位置、左大拇指的位置、右大拇指的位置、左脚跟的位置、右大拇指的位置、右小拇指的位置和右脚跟的位置。
[0020]结合第一方面，作业人员的姿态包括头部姿态、腰部姿态、腿部姿态和脚部姿态；
[0021]作业人员的动作包括头部动作、手部动作、腿部动作和脚部动作。
[0022]结合第二方面，一种基于人体关键点的异常行为识别系统，包括：
[0023]高空作业图片实时获取模块，用于实时获取作业人员的高空作业图片；
[0024]关键点检测模块，用于利用关键点检测算法提取高空作业图片中关节点的位置信息；
[0025]作业人员的姿态和动作获取模块，用于基于高空作业图片中关节点的位置信息，获取高空作业图片中作业人员的姿态和动作；
[0026]异常行为判断模块，用于基于高空作业图片中作业人员的姿态和动作，判断高空作业图片中作业人员是否存在异常行为。
[0027]第二方面，本专利技术提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第一方面任一项所述方法的步骤。
[0028]第三方面，本专利技术提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现第一方面中任一项所述方法的步骤。
[0029]本专利技术所达到的有益效果：
[0030]本专利技术包括摄像头信息获取、关键点检测算法、电子围栏检测和时移模块TSM识别细粒度行为。首先通过摄像头获取作业人员的实时信息，然后应用关键点检测算法提取关节点的位置信息，分析作业人员的姿态和动作是否存在异常行为。将作业人员的实时信息中的作业人员的位置与电子围栏进行比较，以判断作业人员是否超出安全范围。最后采用时移模块TSM(temporal shiftmodule)对连续图像序列进行细粒度行为识别，实现对作业人员行为的具体分类识别。本专利技术通过这一系列的步骤，可以实时监测作业人员的安全状态，并及时发出警报或采取必要的措施，确保高压线电力作业的安全性。
附图说明
[0031]为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0032]图1是本申请一些实施例中的流程图；
[0033]图2是本申请一些实施例中作业人员的高空作业图片的示意图；
[0034]附图标记含义，1
‑
电子围栏。
具体实施方式
[0035]为便于对申请的技术方案进行，以下首先在对本申请所涉及到的一些概念进行说明。
[0036]参见图1，本专利技术提供一种基于人体关键点的异常行为识别方法，包括：实时获取作业人员的高空作业图片；利用关键点检测算法提取高空作业图片中关节点的位置信息；基于高空作业图片中关节点的位置信息，获取高空作业图片中作业人员的姿态和动作；基于高空作业图片中预先设置的电子围栏，以及高空作业图片中作业人员的姿态和动作，判断高空作业图片中作业人员的身体是否超出电子围栏，若高空作业图片中作业人员的身体超出电子围栏达到设定身体面积阈值，则判定作业人员超出安全范围，触发报警提示；判断高空作业图片中作业人员是否存在异常行为，若高空作业图片中作业人员存在异常行为，则触发报警提示，通知作业人员停止作业。判断高空作业图片中作业人员是否存在异常行为，若高空作业图片中作业人员存在异常行为，则触发报警提示，通知作业人员停止作业，包括：将高空作业图片输入时移模块TSM中，利用时移模块TSM预测作业人员的行为是否是异常行为，若作业人员的行为是异常行为，则触发报警提示，通知作业人员停止作业。异常行为包括作业人员坠落、作业人员摔倒、作业人员站立不稳和作业人员悬挂在高压线上。本申请本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于人体关键点的异常行为识别方法，其特征在于，包括：实时获取作业人员的高空作业图片；利用关键点检测算法提取高空作业图片中关节点的位置信息；基于高空作业图片中关节点的位置信息，获取高空作业图片中作业人员的姿态和动作；基于高空作业图片中预先设置的电子围栏，以及高空作业图片中作业人员的姿态和动作，判断高空作业图片中作业人员的身体是否超出电子围栏，若高空作业图片中作业人员的身体超出电子围栏达到设定身体面积阈值，则判定作业人员超出安全范围，触发报警提示；判断高空作业图片中作业人员是否存在异常行为，若高空作业图片中作业人员存在异常行为，则触发报警提示，通知作业人员停止作业。2.根据权利要求1所述的一种基于人体关键点的异常行为识别方法，其特征在于，判断高空作业图片中作业人员是否存在异常行为，若高空作业图片中作业人员存在异常行为，则触发报警提示，通知作业人员停止作业，包括：将高空作业图片输入时移模块TSM中，利用时移模块TSM预测作业人员的行为是否是异常行为，若作业人员的行为是异常行为，则触发报警提示，通知作业人员停止作业。3.根据权利要求2所述的一种基于人体关键点的异常行为识别方法，其特征在于，异常行为包括作业人员坠落、作业人员摔倒、作业人员站立不稳和作业人员悬挂在高压线上。4.根据权利要求3所述的一种基于人体关键点的异常行为识别方法，其特征在于，若高空作业图片中作业人员的身体超出电子围栏达到设定身体面积阈值，则判定作业人员超出安全范围，触发报警提示，通知作业人员离开危险区域或停止作业。5.根据权利要求4所述的一种基于人体关键点的异常行为识别方法，其特征在于，基于高空作业图片中作业人员的姿态和动作，判断作业人员是否存在异常行为，包括：若高空作业图片中作业人员的身体超出电子围栏达到设定身体面积阈值或作业人员的行为是异常行为，则对连续序列的高空作...

【专利技术属性】
技术研发人员：普碧才，宋登峰，赵正平，杨永森，霍智锋，赵丹，佘有明，李振弘，刘镇，苏慧，代礼琴，陈乐，陆建锋，金春仙，党璐璐，马文亮，张颖，李均宏，杨征鸿，张玉梅，杨向娟，蒋孝敬，宋明明，和正美，杨杰，徐正国，杨永平，和春元，杜海燕，耿怀旭，秦建明，王啸虎，冯建辉，孔碧光，英自才，刘绍正，耿座学，李圣，刘凡波，张铁斌，
申请(专利权)人：云南电网有限责任公司怒江供电局，
类型：发明
国别省市：