一种肢体接触行为的识别方法、装置及电子设备制造方法及图纸

本发明专利技术提供了一种肢体接触行为的识别方法、装置及电子设备，属于视频监控的技术领域，解决了现有技术中存在的识别精度低、速度慢的问题。该方法包括：利用OpenPose模型，对视频帧图像进行检测，获取人体目标的人体骨架关键点及所在位置；基于人体骨架关键点及所在位置，利用DeepSort算法进行人体目标跟踪，获取人体目标的人体骨架时序图；利用目标框聚堆算法，获取人体目标的聚集区域；利用ST

【技术实现步骤摘要】
一种肢体接触行为的识别方法、装置及电子设备


[0001]本专利技术涉及视频监控
，尤其是涉及一种肢体接触行为的识别方法、装置及电子设备。

技术介绍

[0002]随着人工智能技术的发展和进步，目标识别已在诸多领域应用。目标识别技术除了用于识别目标的类别，还能够识别目标的行为。
[0003]目前，识别肢体接触行为的算法，通常通过帧差或光流进行建模，存在精度低、速度慢的问题。

技术实现思路

[0004]本专利技术的目的在于提供一种肢体接触行为的识别方法、装置及电子设备，解决了现有技术中存在的识别精度低、速度慢的问题。
[0005]第一方面，本专利技术提供一种肢体接触行为的识别方法，包括：
[0006]利用OpenPose模型，对视频帧图像进行检测，获取人体目标的人体骨架关键点及所在位置；
[0007]基于人体骨架关键点及所在位置，利用DeepSort算法进行人体目标跟踪，获取人体目标的人体骨架时序图；
[0008]利用目标框聚堆算法，获取人体目标的聚集区域；
[0009]利用ST
‑
GCN网络模型识别人体骨架时序图中的肢体接触行为，获得识别结果；
[0010]对识别结果及聚集区域的判断结果进行综合判断，获得肢体接触输出结果。
[0011]进一步的，利用OpenPose模型，对视频帧图像进行检测，获取人体目标的人体骨架关键点及所在位置的步骤，包括：
[0012]利用OpenPose模型，采用自下而上的关键点检测方法，对视频帧图像中的人体目标进行检测，获取人体目标的人体骨架关键点及所在位置。
[0013]进一步的，基于人体骨架关键点及所在位置，利用DeepSort算法进行人体目标跟踪，获取人体目标的人体骨架时序图的步骤，包括：
[0014]基于人体骨架关键点及所在位置，利用DeepSort多目标跟踪算法，获取人体目标的历史轨迹及人体关键点变化过程，得到人体目标的人体骨架时序图。
[0015]进一步的，所述ST
‑
GCN网络模型的训练过程，包括：
[0016]由肢体接触人体骨架样本与正常活动人体骨架样本，构建深度学习训练集与测试集；
[0017]搭建ResNet
‑
50构建的ST
‑
GCN初始网络模型；
[0018]配置训练参数，利用训练集和测试集训练ST
‑
GCN初始网络模型；
[0019]获得训练后的ST
‑
GCN网络模型。
[0020]进一步的，配置训练参数，利用训练集和测试集训练ST
‑
GCN初始网络模型的步骤，
包括：
[0021]设置初始学习率为0.001，利用自适应时刻估计算法进行迭代训练，使网络训练最终输出的损失值下降至预设值。
[0022]进一步的，所述人体骨架关键点包括头部、颈部、右肩、右手肘、右手腕、左肩、左手肘、左手腕、右臀、右膝、右脚腕、左臀、左膝、左脚腕。
[0023]第二方面，本专利技术还提供一种肢体接触行为的识别装置，包括：
[0024]检测模块，用于利用OpenPose模型，对视频帧图像进行检测，获取人体目标的人体骨架关键点及所在位置；
[0025]跟踪模块，用于基于人体骨架关键点及所在位置，利用DeepSort算法进行人体目标跟踪，获取人体目标的人体骨架时序图；
[0026]聚堆模块，用于利用目标框聚堆算法，获取人体目标的聚集区域；
[0027]识别模块，用于利用ST
‑
GCN网络模型识别人体骨架时序图中的肢体接触行为，获得识别结果；
[0028]输出模块，用于对识别结果及聚集区域的判断结果进行综合判断，获得肢体接触输出结果。
[0029]第三方面，本专利技术还提供一种电子设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
[0030]第四方面，本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可运行指令，所述计算机可运行指令在被处理器调用和运行时，所述计算机可运行指令促使所述处理器运行所述方法。
[0031]本专利技术提供的肢体接触行为的识别方法，首先获取视频帧中人体目标的人体骨架关键点及所在位置，利用DeepSort算法进行人体目标跟踪，获取人体目标的人体骨架时序图，再利用ST
‑
GCN网络模型识别人体骨架时序图中的肢体接触行为，获得识别结果。同时，利用目标框聚堆算法，获取人体目标的聚集区域，对识别结果及聚集区域的判断结果进行综合判断，获得肢体接触输出结果，提高了肢体接触行为识别的精度，实现监控领域的实时检测，解决了现有技术中存在的识别精度低、速度慢的问题。
[0032]相应地，本专利技术实施例提供的肢体接触行为的识别装置、电子设备及计算机可读存储介质，也同样具有上述技术效果。
附图说明
[0033]为了更清楚地说明本专利技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0034]图1为本专利技术实施例提供的肢体接触行为的识别方法的流程图；
[0035]图2为本专利技术实施例提供的肢体接触行为的识别方法的另一流程图；
[0036]图3为本专利技术实施例中人体骨架关键点的示意图；
[0037]图4为本专利技术实施例提供的肢体接触行为的识别装置的示意图。
具体实施方式
[0038]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0039]本专利技术实施例中所提到的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括其他没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0040]如图1和图2所示，本专利技术提供一种肢体接触行为的识别方法，包括：
[0041]S1：利用OpenPose模型，对视频帧图像进行检测，获取人体目标的人体骨架关键点及所在位置。
[0042]S2：基于人体骨架关键点及所在位置，利用DeepSort算法进行人体目标跟踪，获取人体目标的人体骨架时序图。
[0043]S3：利用目标框聚堆算法，获取人体目标的聚集区域。
[0044]S4：利用ST
‑...

【技术保护点】

【技术特征摘要】
1.一种肢体接触行为的识别方法，其特征在于，包括：利用OpenPose模型，对视频帧图像进行检测，获取人体目标的人体骨架关键点及所在位置；基于人体骨架关键点及所在位置，利用DeepSort算法进行人体目标跟踪，获取人体目标的人体骨架时序图；利用目标框聚堆算法，获取人体目标的聚集区域；利用ST
‑
GCN网络模型识别人体骨架时序图中的肢体接触行为，获得识别结果；对识别结果及聚集区域的判断结果进行综合判断，获得肢体接触输出结果。2.根据权利要求1所述的方法，其特征在于，利用OpenPose模型，对视频帧图像进行检测，获取人体目标的人体骨架关键点及所在位置的步骤，包括：利用OpenPose模型，采用自下而上的关键点检测方法，对视频帧图像中的人体目标进行检测，获取人体目标的人体骨架关键点及所在位置。3.根据权利要求1所述的方法，其特征在于，基于人体骨架关键点及所在位置，利用DeepSort算法进行人体目标跟踪，获取人体目标的人体骨架时序图的步骤，包括：基于人体骨架关键点及所在位置，利用DeepSort多目标跟踪算法，获取人体目标的历史轨迹及人体关键点变化过程，得到人体目标的人体骨架时序图。4.根据权利要求1所述的方法，其特征在于，所述ST
‑
GCN网络模型的训练过程，包括：由肢体接触人体骨架样本与正常活动人体骨架样本，构建深度学习训练集与测试集；搭建ResNet
‑
50构建的ST
‑
GCN初始网络模型；配置训练参数，利用训练集和测试集训练ST
‑
GCN初始网络模型...

【专利技术属性】
技术研发人员：于宏志，张鹏超，王洪涛，董承恩，周湘平，王宁，
申请(专利权)人：天津天地伟业智能安全防范科技有限公司，
类型：发明
国别省市：