一种基于模型剪枝的轻量化人体关键点检测方法及装置制造方法及图纸

本发明专利技术公开了一种基于模型剪枝的轻量化人体关键点检测方法及装置，包括以下步骤：

【技术实现步骤摘要】
一种基于模型剪枝的轻量化人体关键点检测方法及装置


[0001]本专利技术属于计算机视觉中的人体关键点检测领域，尤其是涉及一种基于模型剪枝的轻量化人体关键点检测方法及装置
。

技术介绍

[0002]人体关键点检测，是人工智能领域的一个重要的基础任务，可以为人体动作识别
、
训练机器人
、
增强现实
、
人机交互中的行为捕捉等领域提供基础技术支持
。
[0003]人体关键点将人体表示为若干个关节如：脖子
、
鼻子
、
左右眼
、
左右耳
、
左右肩
、
左右肘
、
左右腕
、
左右臀
、
左右膝
、
左右脚踝等
。
人体关键点检测任务通过使用算法和模型对图像或视频中行人的肢体部件和主要关节进行识别和分类来捕捉一组坐标，进而这些坐标可以用来在图像和视频中描述一个或多个人的人体姿态
。
[0004]研究人体关键点检测算法在医学诊断和康复方面
、
安防领域
、
人机交互
、
自动驾驶领域都有很大的应用价值：总之，人体关键点检测的研究具有重要的理论和实际意义
。
[0005]人体关键点检测任务根据图像中人物数量分为两种：单人检测和多人检测
。
前者是基于给定边界框的裁剪图像预测人体关键点的单人位姿估计，后者需要进一步识别一个图像中所有人的全身姿态的多人位姿估计
。
如公开号为
CN110084161A
的中国专利文献公开了一种人体骨骼关键点的快速检测方法及系统，实现单人的骨骼关键点检测
。
公开号为
CN109255783A
的中国专利文献公开了一种多人图像上的人体骨骼关键点的位置排布检测方法
。
[0006]单人姿态检测的重点在于检测模型的精度，随着各种结构的模型被不断挖掘完善，检测准确率提升空间已经越来越小
。
多人关键点检测分为自底向上和自顶向下两种技术路线
。
自底向上算法的研究侧重在于检测出图像中多人不同的部位后部位之间的拼接问题，随着研究的深入，各种人体模型相关的算法被提出，这些算法提升了检测精度和速度，其中的许多模型也为人体追踪
、
姿态捕捉
、3D
人体检测方法提供了灵感
。
自顶向下算法，需要先对每个人物对象检测出单个人像框，再对每个检测框进行单人姿态估计，因而很多算法基于单人姿态估计任务而来，区别之处在于：
1)
多人估计需要考虑不同尺度的人像框，这就要求一个模型能够对多个尺度上的人物进行很好的计算，对于拥挤的图片尺度之间的跨度可能会更大，需要更好的提供一种算法能满足各个尺度上的检测精度；
2)
模型需要对一幅图像中的每一个人物进行检测，多人关键点检测模型的效率至关重要
。
[0007]随着各种多尺度检测模型的提出，相关任务的准确率也持续上升，虽然还存在增长的空间，但随着模型准确率越来越高
、
检测速度已变得越来越慢，相关领域的研究已经开始提前关注精度和模型大小之间的平衡，近几年关于相关模型轻量化的问题，逐渐成为了研究的热点
。

技术实现思路

[0008]本专利技术提供了一种基于模型剪枝的轻量化人体关键点检测方法及装置，使得网络
可以自适应的调整裁剪比例和降低模型的参数量，从而使检测结果的准确率和参数之间达到一种平衡，达到有效的提升准确率和降低模型参数的效果
。
[0009]一种基于模型剪枝的轻量化人体关键点检测方法，包括以下步骤：
[0010](1)
对原始图像进行一系列卷积操作，再进行连续的下采样，得到不同尺度的低分辨率图像；
[0011](2)
构建多分支的卷积神经网络，将不同分辨率图像分别输入卷积神经网络的分支网络，并在不同的分支网络间设置信息融合层，使得不同分辨率间的信息进行相互融合；
[0012](3)
对卷积神经网络中的每一个卷积块添加一个全连接层作为线性分类器，训练并计算线性分类器的检测准确率；利用线性分类器的准确率计算每个卷积块的贡献度；
[0013](4)
对所有卷积块的贡献度进行排序，根据剪枝比率将贡献度低的卷积块从网络中删除，得到剪枝网络；
[0014](5)
对剪枝网络和原始卷积神经网络一起采用知识蒸馏方法训练；
[0015](6)
将待检测的图像输入训练后的剪枝网络，得到人体关键点的检测结果
。
[0016]步骤
(1)
中，进行连续的下采样具体包括
1/2、1/4
和
1/8
倍的下采样
。
[0017]步骤
(2)
中，每个分支网络由
16
个卷积块堆叠构成，每个卷积块由3×3卷积核
、
归一化函数和激活函数构成
。
[0018]步骤
(2)
中，在不同的分支网络间设置信息融合层，使得不同分辨率间的信息进行相互融合具体包括：
[0019]在不同的分支网络之间加入两个多尺度信息融合模块，两个信息融合模块首先对过程中各个分支网络的中间结果进行直接的上采样和下采样；并将不同分支网络中上采样和下采样后的中间结果直接相加到各个分支网络中
。
[0020]步骤
(3)
中，将卷积块的贡献度定义为：其中，和分别表示卷积块
b
i
和
b
i
‑1对应的线性分类器的检测准确率
。
[0021]步骤
(4)
中，根据剪枝比率计算出需要裁剪掉的卷积块的数量，并找到对应数量的贡献最少的卷积块并进行直接删除
。
[0022]步骤
(5)
的具体过程如下：
[0023](5
‑
1)
将原始卷积神经网络作为教师模型，将剪枝网络作为学生模型，训练过程中，教室模型和学生模型计算每个人体关键点的热度图；
[0024](5
‑
2)
计算原始卷积神经网络的损失函数；
[0025](5
‑
3)
计算剪枝网络的损失函数；
[0026](5
‑
4)
计算总损失函数：损失函数计算公式为
Loss
total
＝
α
Loss
stu
+
β
Loss
tea
，其中，
Loss
tea
是原始网络的损失值，
Loss...

【技术保护点】

【技术特征摘要】
1.
一种基于模型剪枝的轻量化人体关键点检测方法，其特征在于，包括以下步骤：
(1)
对原始图像进行一系列卷积操作，再进行连续的下采样，得到不同尺度的低分辨率图像；
(2)
构建多分支的卷积神经网络，将不同分辨率图像分别输入卷积神经网络的分支网络，并在不同的分支网络间设置信息融合层，使得不同分辨率间的信息进行相互融合；
(3)
对卷积神经网络中的每一个卷积块添加一个全连接层作为线性分类器，训练并计算线性分类器的检测准确率；利用线性分类器的准确率计算每个卷积块的贡献度；
(4)
对所有卷积块的贡献度进行排序，根据剪枝比率将贡献度低的卷积块从网络中删除，得到剪枝网络；
(5)
对剪枝网络和原始卷积神经网络一起采用知识蒸馏方法训练；
(6)
将待检测的图像输入训练后的剪枝网络，得到人体关键点的检测结果
。2.
根据权利要求1所述的基于模型剪枝的轻量化人体关键点检测方法，其特征在于，步骤
(1)
中，进行连续的下采样具体包括
1/2、1/4
和
1/8
倍的下采样
。3.
根据权利要求1所述的基于模型剪枝的轻量化人体关键点检测方法，其特征在于，步骤
(2)
中，每个分支网络由
16
个卷积块堆叠构成，每个卷积块由3×3卷积核
、
归一化函数和激活函数构成
。4.
根据权利要求1所述的基于模型剪枝的轻量化人体关键点检测方法，其特征在于，步骤
(2)
中，在不同的分支网络间设置信息融合层，使得不同分辨率间的信息进行相互融合具体包括：在不同的分支网络之间加入两个多尺度信息融合模块，两个信息融合模块首先对过程中各个分支网络的中间结果进行直接的上采样和下采样；并将不同分支网络中上采样和下采样后的中间结果直接相加到各个分支网络中
。5.
根据权利要求1所述的基于模型剪枝的轻量化人体关键点检测方法，其特征在于，步骤
(3)
中，将卷积块的贡献度定义为：其中，和分别表示卷积块

【专利技术属性】
技术研发人员：李科，陈征，陈思颢，王闻箫，林彬彬，
申请(专利权)人：宁波弗浪科技有限公司，
类型：发明
国别省市：