一种基于深度图像的轻量级多人关键点检测方法技术

本发明专利技术公开了一种基于深度图像的轻量级多人关键点检测方法，通过提取深度图像不同层次不同尺寸下的特征，可以对多目标人体框和关键点坐标同时准确地预测。本发明专利技术针对深度图像数据采用分层法提取不同通道特征，较好的获取了人体区域的信息，去除了冗余背景信息，增加了特征的有效信息含有量，同时减少了采用神经网络提取特征的计算量；本发明专利技术提供的检测方法，对深度图像中多人的人体框和关键点同时识别，无需额外的模型预先提取人体框，算法流程简便，运算量低，满足各种低算力设备的轻量化部署要求。部署要求。部署要求。

【技术实现步骤摘要】
一种基于深度图像的轻量级多人关键点检测方法


[0001]本专利技术涉及一种针对深度图像的轻量级多人关键点检测方法，属于计算机视觉


技术介绍

[0002]人体关键点检测是计算机视觉领域的重要研究课题，近年来越来越多的生活场景使用人体关键点检测算法为人们提供更加便利的服务。而基于深度图像的人体关键点检测是最近的研究趋势，深度图像可以克服传统光学图像存在的光照和阴影问题造成的识别不准确的缺陷。与传统光学图像相比，深度图像避免了对人体面部细节等隐私信息的采集，能够应用在智能家居、智能安防、养老陪护等领域中。
[0003]当前基于深度图像的多人关键点检测方法存在预测准确度不高、算法流程繁重等问题。如中国专利202010175838.X仅仅检测深度图像中是否出现人体以及人体的位置，并未对人体关键点进行识别检测。中国专利202111082447.4利用传统图像处理提取深度图像特征，进而采用OpenCV开源库算法进行人体检测，算法的识别准确度有限。中国专利CN202010410104.5训练两个神经网络，先用一个模型提取人体框作为人体识别区域本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度图像的轻量级多人关键点检测方法，其特征在于，包括以下步骤：步骤1：分离所输入的所有深度图像的多通道，将不同通道按照深度值进行分层，去除不同通道下的前后景冗余数据，获得不同深度范围下的多通道深度图；步骤2：对多通道深度图进行清洗；步骤3：利用基础卷积神经网络提取上一步所获得的深度图像的细节特征，并将不同尺度下的特征进行采样和拼接，获取深度图像的多尺度融合特征，具体包括以下步骤：步骤3
‑
1：采用卷积神经网络结构进行底层特征抽取，将经过上一步预处理的深度图像输入到6个串行的深度可分离卷积神经元组件中，分别得到6层不同尺寸下的特征表示{f1，f2，f3，f4，f5，f6}；步骤3
‑
2：针对6个不同层的特征，选取中间k层特征作为融合备选层，然后分别将下一层的待融合特征进行反卷积上采样操作，得到和上一层特征尺寸相同的特征，将二者相加得到相邻上下层的新特征，对所获得的所有新特征求和计算得到整体融合特征F；步骤3
‑
3：将得到的融合特征F输入到卷积神经元，进一步地融合不同层不同尺寸的特征得到最终的融合特征F；步骤4：将上一步获得的融合特征F分别输入到人体框坐标预测网络和人体关键点坐标预测网络，得到人体框和关键点的坐标预测值，具体包括以下步骤：步骤4
‑
1：将上一步获得的融合特征F输入到人体框坐标预测网络中，经过一组1*1卷积得到人体框特征向量f
bbox
；步骤4
‑
2：将人体框特征向量f
bbox
输入到一组1*1卷积神经网络中提取人体中心点的特征向量f
center
，经过Softmax函数得到人体中心点预测结果，表示对该特征点处为人体的中心点位置；步骤4
‑
3：将人体框特征向量f
bbox
输入到一组1*1卷积神经网络中提取人体框宽高尺寸特征向量f
wh
，经过Softmax函数得到人体框宽度和高度的预测值，由此即可得到人体框区域；步骤4
‑
4：将融合特征F输入到人体关键点坐标预测网络中，经过一组卷积神经网络提取得到人体关键点特征向量f
kps
；步骤4
‑
5：根据人体关键点特征向量f
kps
，利用一组卷积通道数为34的卷积神经网络提取人体关键点坐标向量f
coord
，经过Softmax函数得到人体关键点坐标的预测结果，分别表示人体若干个关键点的横纵坐标；步骤4
‑
6：将人体关键点特征向量f
kps
输入到一组卷积通道数为2的卷积神经网络，再经过Softmax函数得到人体关键点坐标值的偏移量，将其叠加在步骤4
‑
5所获得的人体若干个关键点的横纵坐标上；步骤5：对坐标预测值进行后处理和矫正，得到原始图像尺寸下的人体框坐标和关键点坐标...

【专利技术属性】
技术研发人员：付越，王浪，张鹏龙，杨佐鹏，伍国星，张敬谊，汪林荟，郑少秋，
申请(专利权)人：万达信息股份有限公司，
类型：发明
国别省市：