一种基于实例分割的多人体姿态估计检测及分割优化方法及装置制造方法及图纸

本发明专利技术公开了一种基于实例分割的多人体姿态估计检测及分割优化方法及装置，包括以下步骤：步骤1：每隔一定时间采集一帧图像，利用实例分割对图像进行预处理；步骤2：基于实例分割用不同颜色的掩码标注不同的人体个体，并且标记人体姿态的关键点，对人体的姿态进行估计检测；通过基于实例分割用不同颜色的掩码标注不同的人体个体，并且标记人体姿态的关键点，对人体的姿态进行估计检测，并且连续用对应颜色的掩码标注不同的人体个体，并且继续标记人体姿态的关键点，直到可以进行人体姿态估计检测，最后将人体姿态估计检测结果进行差异性判断，得出人体姿态估计检测结果，对人体姿态进行动态检测，提高了检测精度。提高了检测精度。提高了检测精度。

A method and device for multi human body pose estimation detection and segmentation optimization based on instance segmentation

【技术实现步骤摘要】
一种基于实例分割的多人体姿态估计检测及分割优化方法及装置


[0001]本专利技术属于多人体姿态估计检测
，具体涉及一种基于实例分割的多人体姿态估计检测及分割优化方法及装置。

技术介绍

[0002]目标检测或定位是数字图像从粗到细的一个渐进过程。它不仅提供了图像对象的类，还提供了已分类图像中对象的位置。位置以边框或中心的形式给出。语义分割通过对输入图像中每个像素的标签进行预测，给出了较好的推理。每个像素都根据其所在的对象类进行标记。为了进一步发展，实例分割为属于同一类的对象的单独实例提供了不同的标签；因此，实例分割可以定义为同时解决目标检测问题和语义分割问题的技术；实例分割已成为机器视觉研究中比较重要、复杂和具有挑战性的领域之一；为了预测对象类标签和特定于像素的对象实例掩码，它对各种图像中出现的对象实例的不同类进行本地化；实例分割的目的主要是帮助机器人，自动驾驶，监视等。
[0003]人体姿态估计是计算机视觉中的一个重要任务，也是计算机理解人类动作、行为必不可少的一步；在多人体姿态估计检测时，先检测人体，再做单人姿态估计，但是在面对本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于实例分割的多人体姿态估计检测及分割优化方法，其特征在于：包括以下步骤：步骤1：每隔一定时间采集一帧图像，利用实例分割对图像进行预处理；步骤2：基于实例分割用不同颜色的掩码标注不同的人体个体，并且标记人体姿态的关键点，对人体的姿态进行估计检测；步骤3：基于实例分割连续用对应颜色的掩码标注不同的人体个体，并且继续标记人体姿态的关键点，直到可以进行人体姿态估计检测；步骤4：根据人体姿态估计检测结果进行差异性判断，得出人体姿态估计检测结果。2.根据权利要求1所述的一种基于实例分割的多人体姿态估计检测及分割优化方法，其特征在于：所述步骤1包括以下步骤：步骤1.1：对采集的图像进行分帧处理，再通过存储器对图像数据进行存储；步骤1.2：在分帧后的图像上识别对应的特征点，并且保留特征点；步骤1.3：将分帧处理的图像输入CNN，进行特征提取；步骤1.4：对提取的特征进行微调；步骤1.5：用FPN生成建议窗口，每张图片生成N个建议窗口，把建议窗口映射到CNN的最后一层卷积feature map上；步骤1.6：通过RoI Align层使每个RoI生成固定尺寸的feature map，对每一个ROI使用ROIAlign进行像素校正，然后对每一个ROI使用设计的FCN框架进行预测不同的实例所属分类，最终得到图像实例分割结果。3.根据权利要求1所述的一种基于实例分割的多人体姿态估计检测及分割优化方法，其特征在于：所述步骤2包括以下步骤：步骤2.1：当检测到图像实例分割结果有人体特征时对人体身上每一个关键点的位置进行独热编码，对应人体每一关键点生成一个掩码；步骤2.2：根据生成的掩码进行关节点拼接；步骤2.3：由于图片中人数不确定，同时伴随遮挡、变形等问题，因此只使用上述计算关节对相似度，只能保证局部最优，因此需要不同人体的某个关节点的点集与其他不同的点集进行唯一匹配，如：一群表示手肘的点集和手腕的点集，两点集中的点必须存在唯一匹配，由于关节点之间的相关性PAF已知，将关键点作为图的顶点，将关键点之间的相关性PAF看为图的边权，则将多人检测问题转化为二分图匹配问题，并用匈牙利算法求得相连关键点最优匹配。4.根据权利要求1所述的一种基于实例分割的多人体姿态估计检测及分割优化方法，其特征在于：所述步骤3包括以下步骤：步骤3.1：将步骤1.2中保留的特征点输入CNN，进行特征比较；步骤3.2：将后续图像中相似度较高的特征点进行提取；步骤3.3：基于提取的特征点将对应颜色的掩码进行匹配，对新识别的特征点对应生成新的掩码；步骤3.4：按照步骤2再次进行关节拼接和匹配；步骤3.5：对具有新生成掩码的人体进行姿态估计。5.根据权利要求1所述的一种基于实例分割的多人体姿态估计检测及分割优化方法，
其特征在于：所述步骤4包括以下步骤：步骤4.1：获取若干个第一次估计的人体姿态结果{x1,x2,x3......x
n
}，获取若干个第二次估计的人体姿态结果{x'1,x'2,x'3......x'
n
}；步骤4.2：将两次估计结果一一对应进行对比，根据结果的变化情况对姿态进行估计；步骤4.3：以此类推，将若干个第m次估计的人体姿态结果与第m
‑
1次估计的人体姿态结果进行对比。6.根据权利要求2所述的一种基于实例分割的多人体姿态估计检测及分割优化方法，其特征在于：所述步骤1.4包括以下步骤：步骤1.4.1：对于N个顶点{x
i
|i＝1.......N}，首先构造每个顶点的特征向量，顶点x
i
的特征f
i
为对应的网络特征和顶点坐标的concate[F(x
i
)；x
′
i
]，其中F为主干网络输出的特征图，F(x
i
)为顶点x
i...

【专利技术属性】
技术研发人员：薛素金，杨焜，
申请(专利权)人：厦门农芯数字科技有限公司，
类型：发明
国别省市：