一种移动端的多人人体骨架识别方法及装置制造方法及图纸

本发明专利技术公开了一种移动端的多人人体骨架识别方法及装置，方法包括：S1.从视频中解码获取图像帧；S2.从所述图像帧中识别出人体区域，生成人体子图；S3.将所述人体子图进行识别调度，分配给所述移动端的CPU和/或GPU进行识别，通过所述CPU和/或GPU分别运行预设的骨架识别模型，识别出人体骨架。本发明专利技术具有识别速度快、延迟低，识别精度高等优点。

【技术实现步骤摘要】
一种移动端的多人人体骨架识别方法及装置
本专利技术涉及移动计算领域，尤其涉及一种移动端的多人人体骨架识别方法及装置。
技术介绍
随着移动设备性能的发展，人体姿态估计的应用领域越来越广，比如动作识别，通过追踪一段时间内一个人姿态的变化，从而实现对人体动作的解读，这可以用于检测一个人是否摔倒或者疾病，也可以用于健身体育和舞蹈的自动教学。目前，基于深度学习的人体姿态估计模型在资源受限的移动端设备上很难取得令人满意的效果。目前最新的模型虽然能取得较高的精确度，但是带来的却是巨大的计算任务量，在移动设备运行这些模型给造成很大的计算延迟，从而带来极差的用户体验。如文献SUN，K.，XIAO，B.，LIU，D.，ANDWANG，J.Deephigh-resolutionrepresentationlearningforhumanposeestimation.arXivpreprintarXiv:1902.09212(2019).所公开的技术方案，其单人姿态估计模型在MPII数据集上取得了较高的精度，其PCKh值(Head-normalizedPercentageofCorrectKeypoints)为92.3，但是将模型运行到移动端设备上时，即使在移动设备GPU的支持下，对一个视频帧进行典型的CNN处理也需要600毫秒，因此，该技术方案难以在移动端实施且取得较好的效果。而谷歌公司提出的适用于移动端运行的姿态识别模型PoseNet，通过深度学习模型压缩的方法，设计出了适用于移动端的人体姿态识别模型。PoseNet中将传统的卷积操作(CNN)替换成具有更少计算量的深度可分离卷积(DepthwiseCNN)，并且用深度可分离卷积逐级堆叠成单支网络结构。PoseNet在Snapdragon845SoC上运行单人姿态识别模型，在CPU上运行的延迟缩减到只有60ms。但是这仅仅是单人姿态估计，如果是多人姿态估计，其延时将会随着人数的增加呈线性增长，并且压缩过后的模型精度损失较大，比如PoseNet在MPII数据集的PCKh的值只有80.3。因此，在移动端对人体骨架进行识别，特别是对多人的人体骨架识别中，如何既能保证识别的速度，降低延迟，又保证识别的精度，仍是一个亟待解决的问题。
技术实现思路
本专利技术要解决的技术问题就在于：针对现有技术存在的技术问题，本专利技术提供一种识别速度快、延迟低，识别精度高的移动端的多人人体骨架识别方法及装置。为解决上述技术问题，本专利技术提出的技术方案为：一种移动端的多人人体骨架识别方法，包括如下步骤：S1.从视频中解码获取图像帧；S2.从所述图像帧中识别出人体区域，生成人体子图；S3.将所述人体子图进行识别调度，分配给所述移动端的CPU和/或GPU进行识别，通过所述CPU和/或GPU分别运行预设的骨架识别模型，识别出人体骨架。进一步地，所述步骤S1中的图像帧包括关键帧和追踪帧；所述关键帧为所述视频中的第一预定帧，所述追踪帧为所述视频中的第二预定帧；或者：所述关键帧为根据预定的参考点，若当前图像帧中所述参考点相对于前一所述关键帧中所述参考点的位移大于预设阈值时，则当前图像帧为关键帧，否则当前图像帧为跟踪帧。进一步地，所述步骤S2具体包括：针对所述关键帧，通过细粒度人体识别模型识别人体区域，生成所述关键帧的人体子图；针对所述追踪帧，通过基于运动矢量的人体识别模型识别人体区域，生成所述追踪帧的人体子图。进一步地，所述步骤S3具体包括：当待识别的所述人体子图数量满足h≥k+a时，监控所述移动端的CPU和GPU的空闲线程情况，当存在空闲线程时，为所述空闲线程分配一个待识别的所述人体子图，进行人体骨架识别，其中，h为待识别的所述人体子图数量，k为预设的分配参数，a为所述移动端的CPU的最大线程数。进一步地，所述步骤S3具体包括：当待识别的所述人体子图数量满足h<k+a时，先将个待识别的所述人体子图分配给GPU；再判断剩余待识别的所述人体子图的数量，当满足时，监控所述移动端的CPU的空闲线程情况，当存在空闲线程时，为所述空闲线程分配一个待识别的所述人体子图，否则，将一个待识别的所述人体子图分配给一个以上的线程。进一步地，所述预设的分配参数根据所述移动端的CPU运算延迟与GPU运算延迟的比值确定。进一步地，步骤S3中所述预设的骨架识别模型为卷积神经网络模型，所述卷积神经网络模型的神经网络层包含至少1个倒置残差卷积层和至少1个增强倒置残差卷积层；所述倒置残差卷积层采用ReLU6非线性激活函数；所述增强倒置残差卷积层采用SqueezeandExcitation模块和H-Swish激活函数。进一步地，所述卷积神经网络模型的最里层神经网络包含2个或2个以上的增强倒置残差卷积层。进一步地，所述卷积神经网络的输入层与第一个神经网络层之间还设置有预处理层；所述预处理层包括至少1个第一倒置残差模型和至少1个第二倒置残差模型；所述第一倒置残差模型和所述第二倒置残差模型的步长不相等。一种移动端的多人人体骨架识别装置，包含处理器和存储器，所述处理器用于执行所述存储器中的应用程序，所述存储器内存储有被执行时可实现如上任一项所述人体骨架识别方法的应用程序。与现有技术相比，本专利技术的优点在于：1、本专利技术通过将人体子图的骨架识别任务调度给CPU和/或GPU进行骨架识别，可有效的利用CPU和GPU的运算能力，采用并行化的处理策略，特别是在涉及多人的人体骨架识别时，可有效提高人体骨架识别的速度，降低骨架识别的延迟。2、本专利技术的卷积神经网络模型中，对神经网络层设置倒置残差卷积层和增强倒置残差卷积层，使得卷积神经网络模型兼顾了高精度和低延时，有效降低了卷积神经网络模型的计算量。3、本专利技术将视频分解为关键帧和追踪帧，并且，对于关键帧，采用细粒度的人体识别模型识别人体区域，对于追踪帧采用基于运动矢量的人体识别模型识别人体区域，有效利用了细粒度的人体识别模型的精确性和基于运动矢量的人体识别模型的高效性，可以快速、高效的从连续的视频帧中确定人体区域，有效的提高了人体区域框定的效率和速度，降低了人体区域识别的计算量。附图说明图1为本专利技术具体实施例的处理流程示意图。图2为本专利技术具体实施例的人体关节点及宏块划分示意图。图3为本专利技术具体实施例的通过连续运动帧确定关节点示意图。图4为本专利技术具体实施例的卷积神经网络模型结构示意图。图5为本专利技术具体实施例的延时效果对比分析图。图6为本专利技术具体实施例的识别准确度对比分析图。具体实施方式以下结合说明书附图和具体优选的实施例对本专利技术作进一步描述，但并不因此而限制本专利技术的保护范围。如图1所示，本实施例的移动端的多人人体骨架识别方法，包括如下步骤：S1.从视频中解码获取图像帧；S2.从图像帧中识别出人体区域，生成人体子图；S3.将人体子图进行识别调度，分配给移动端的CPU和/或G本文档来自技高网...

【技术保护点】
1.一种移动端的多人人体骨架识别方法，其特征在于，包括如下步骤：/nS1.从视频中解码获取图像帧；/nS2.从所述图像帧中识别出人体区域，生成人体子图；/nS3.将所述人体子图进行识别调度，分配给所述移动端的CPU和/或GPU进行识别，通过所述CPU和/或GPU分别运行预设的骨架识别模型，识别出人体骨架。/n

【技术特征摘要】
1.一种移动端的多人人体骨架识别方法，其特征在于，包括如下步骤：
S1.从视频中解码获取图像帧；
S2.从所述图像帧中识别出人体区域，生成人体子图；
S3.将所述人体子图进行识别调度，分配给所述移动端的CPU和/或GPU进行识别，通过所述CPU和/或GPU分别运行预设的骨架识别模型，识别出人体骨架。


2.根据权利要求1所述的移动端的多人人体骨架识别方法，其特征在于：所述步骤S1中的图像帧包括关键帧和追踪帧；
所述关键帧为所述视频中的第一预定帧，所述追踪帧为所述视频中的第二预定帧；
或者：所述关键帧为根据预定的参考点，若当前图像帧中所述参考点相对于前一所述关键帧中所述参考点的位移大于预设阈值时，则当前图像帧为关键帧，否则当前图像帧为跟踪帧。


3.根据权利要求2所述的移动端的多人人体骨架识别方法，其特征在于：所述步骤S2具体包括：针对所述关键帧，通过细粒度人体识别模型识别人体区域，生成所述关键帧的人体子图；针对所述追踪帧，通过基于运动矢量的人体识别模型识别人体区域，生成所述追踪帧的人体子图。


4.根据权利要求1至3任一项所述的移动端的多人人体骨架识别方法，其特征在于：所述步骤S3具体包括：
当待识别的所述人体子图数量满足h≥k+a时，监控所述移动端的CPU和GPU的空闲线程情况，当存在空闲线程时，为所述空闲线程分配一个待识别的所述人体子图，进行人体骨架识别，其中，h为待识别的所述人体子图数量，k为预设的分配参数，a为所述移动端的CPU的最大线程数。


5.根据权利要求4所述的移动端的多人人体骨架识别方法，其特征在于：所述步骤S3具体包括：
当待识别的所述人体子图...

【专利技术属性】
技术研发人员：张德宇，章晋睿，许晓晖，贾富程，张尧学，
申请(专利权)人：中南大学，
类型：发明
国别省市：湖南;43