一种融合人体关键点检测的人像分割方法技术

本发明专利技术公开了一种融合人体关键点检测的人像分割方法，首先利用人体关键点检测算法计算出人体关节位置，基于关节位置生成人体关节连接图；然后将关节连接图和待分割图像拼接到一起，送入快速分割网络中得到人体的掩膜。本发明专利技术利用人像关键点检测出的人体关节联通信息作为先验知识以提升人像分割网络的鲁棒性，可以同时得到人体关键点的位置和人像分割的掩膜，并且在对不同场景，各种大姿态动作都具有很强的鲁棒性，对不同场景的人像分割具有良好的分割精度；本发明专利技术具有较高的分割准确率，可以应对人体的大姿态变化和不同的明暗，清晰度等变化，并且具有实时的速度，能够应用于视频或者图像中的人体精准定位、背景剔除等需求。

【技术实现步骤摘要】
一种融合人体关键点检测的人像分割方法
本专利技术属于图像处理
，特别涉及一种融合了人体关键点检测的快速人像分割方法。
技术介绍
智能监控和手机应用的很多场合都需要对人像的前景和背景进行分割，很多实际场景都需要在手机或者客户端上进行计算，由此对于算法的速度和计算量提出了要求。同时，由于人像不是刚体，人像的外观存在千变万化的差异性，并且要求处理的视频或者图片的场景各不相同，由此需要模型对于人像的特征具有很强的判别能力。同时人像本身存在非常大的姿态变化，传统的分割方法无法解决各种不同的姿态变化。
技术实现思路
本专利技术的目的在于提供一种融合人体关键点检测的人像分割方法，以解决上述技术问题。本专利技术能够针对不同场景、不同动作的人像都具有很高的分割准确度和鲁棒性。相对于现有技术，本专利技术采用如下技术方案：一种融合人体关键点检测的人像分割方法，包括以下步骤：1)采集若干不同姿态的人像照片，将人像部分像素标注为1，将背景部分像素标注为0，把图像和标注剪裁为512×512大小；2)获取MSCOCO人体关键点开源数据集、百度人像分割开源数据集，把图像和标注剪裁为512×512大小，和步骤1)中的数据一同构成关键点检测数据集；3)搭建快速人体关键点检测网络，并且在步骤2)中的关键点检测数据集上训练；4)搭建快速人像分割网络，把步骤3)中网络的关键点检测网络预测的关节连接图和步骤2)中的人像分割训练图片拼接成四通道的图片当作快速人像分割网络的输入进行训练；r>5)使用步骤3)训练的人体关键点检测网络预测待测试图片的关键点位置，并且连接各个关键点得到人体关节连接图；6)将步骤5)中的人体关节连接图和待测试图片拼接成四通道的图片输入步骤4)中训练的快速人像分割网络进行预测，得到人像的前景/背景分割掩膜；掩膜中值为1的像素表示前景人像，值为0的像素表示背景。进一步的，所述步骤1)中采集的人像照片均为单人图片，并且采集的人像身体部分不允许有遮挡。进一步的，所述步骤3)中搭建的快速人体关键点检测网络将OpenPose中的主干网络换成了MobileNet后的OpenPose。进一步的，所述步骤4)中的快速分割网络使用了残差网络中的跨层连接和BottleNeck结构。进一步的，所述步骤4)中训练的具体步骤是：4.1)在人像分割数据集上统计每一张图片的均值和标准差，求出数据集上图像均值和标准差的平均数；利用统计得到的均值和标准差将训练集上的每一张训练图像归一化；4.2)将步骤3)中得到的人体关节连接图进行二值化处理，关键点和关节点之间的连接数值取1，其他的背景像素数值取0。将关节连接图和归一化的图片拼接成四通道的图片当作训练样本；4.3)训练的过程中，使用随机在线扩充的方法获取更多的训练样本，对于每一张训练图片随机顺时针或逆时针旋转0-45度，随机水平翻转，随机颜色增强，随机亮度调整，随机模糊；4.4)训练中每一次迭代的批次大小为16，一共进行40000次迭代，梯度优化方法为随机梯度下降算法；初始学习率为0.01；训练中使用的损失函数为逐像素的二元交叉熵损失。进一步的，所述步骤5)中的人体关节连接图按照步骤4.2)中同样的方法进行二值化处理。进一步的，所述步骤6)的待测图片使用步骤4.1)中所统计的全数据集的图片均值和方差进行归一化。相对于现有技术，本专利技术具有以下有益效果：本专利技术利用人像关键点检测出的人体关节联通信息作为先验知识以提升人像分割网络的鲁棒性，可以同时得到人体关键点的位置和人像分割的掩膜，并且在对不同场景，各种大姿态动作都具有很强的鲁棒性，对不同场景的人像分割具有良好的分割精度；本专利技术步骤4)中的网络使用了BottleNeck结构，特征图经过卷积先降低通道数，然后在下一层重新恢复通道数，并且利用跨层连接把输入特征图和输出特征图相加得到最终的结果，该结构在保证分割准确率的同时可以显著降低计算量，提升运行速度，具有实时的运行速度。附图说明构成本申请的一部分的说明书附图用来提供对本专利技术的进一步理解，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：图1为步骤4)中训练的快速关键点检测网络的结果示意图。图2为算法的总体步骤流程图。图3(a)为分割网络的具体结构示意图；图3(b)为BottleNeck结构示意图。图4为步骤5)中训练的快速分割网络的结果示意图。具体实施方式下面结合附图及具体实施例对本专利技术作进一步详细说明。一种融合人体关键点检测的人像分割方法，包括以下步骤：1)采集实际运用场景中的不同姿态的人像照片，将人像部分像素标注为1，将背景部分像素标注为0，把图像和标注剪裁为512×512大小；2)获取MSCOCO人体关键点开源数据集、百度人像分割开源数据集，把图像和标注剪裁为512×512大小，和步骤1)中的数据一同构成关键点检测数据集，作为训练数据集。3)按照搭建快速人体关键点检测网络，并且在步骤2)中的关键点检测数据集上训练。训练的关键点网络效果示意图如图1。一共检测18个关键点，包含背景标注一共19类，顺序如下：鼻子-0,脖子-1，右肩-2，右肘-3，右手腕-4，左肩-5，左肘-6，左手腕-7，右臀-8，右膝盖-9，右脚踝-10，左臀-11，左膝盖-12，左脚踝-13，右眼-14，左眼-15，有耳朵-16，左耳朵-17，背景-18；根据检测出的关键点的位置和人体关节的连接关系。4)搭建快速人像分割网络，把步骤3)中网络的关键点检测网络预测的关节连接图和步骤2)中的人像分割训练图片拼接成四通道的图片当做输入进行训练。整体算法的流程图如图2所示。分割网络的具体结构如图3(a)：图像先经过一系列卷积降低特征图的大小，得到高层语义信息；然后通过上采样逐步提升特征图的大小，利用跨层连接逐步与底层信息结合。底层特征具有丰富的位置信息，高层特征具有丰富的语义信息，利用跨层连接逐步融合高层、底层特征图使得结果同时具有语义和位置信息。步骤4)中的网络使用了如图3(b)所示的BottleNeck结构，特征图经过卷积先降低通道数，然后在下一层重新恢复通道数，并且利用跨层连接把输入特征图和输出特征图相加得到最终的结果。该结构在保证分割准确率的同时可以显著降低计算量，提升运行速度。5)使用步骤3)训练的人体关键点检测网络预测待测试图片的关键点位置，并且连接各个关键点得到关节连接图。6)将步骤5)中的关节连接图和待测试图片拼接成四通道的图片输入步骤4)中训练的网络进行预测，得到人像的前景/背景分割掩膜。掩膜中值为1的像素表示前景人像，值为0的像素表示背景。本专利技术利用人像关键点检测出的人体关节联通信息作为先验知识以提升人像分割网络的鲁棒性，可以同时得到人体关键点的位置和人像分割的掩膜，并且在对不同场景，各种大姿态动作都具有很强的鲁棒性。对不同场景的人像分割结果如图4，本文档来自技高网...

【技术保护点】
1.一种融合人体关键点检测的人像分割方法，其特征在于，包括以下步骤：/n1)采集若干不同姿态的人像照片，将人像部分像素标注为1，将背景部分像素标注为0，把图像和标注剪裁为512×512大小；/n2)获取MSCOCO人体关键点开源数据集、百度人像分割开源数据集，把图像和标注剪裁为512×512大小，和步骤1)中的数据一同构成关键点检测数据集；/n3)搭建快速人体关键点检测网络，并且在步骤2)中的关键点检测数据集上训练；/n4)搭建快速人像分割网络，把步骤3)中网络的关键点检测网络预测的关节连接图和步骤2)中的人像分割训练图片拼接成四通道的图片当作快速人像分割网络的输入进行训练；/n5)使用步骤3)训练的人体关键点检测网络预测待测试图片的关键点位置，并且连接各个关键点得到人体关节连接图；/n6)将步骤5)中的人体关节连接图和待测试图片拼接成四通道的图片输入步骤4)中训练的快速人像分割网络进行预测，得到人像的前景/背景分割掩膜；掩膜中值为1的像素表示前景人像，值为0的像素表示背景。/n

【技术特征摘要】
1.一种融合人体关键点检测的人像分割方法，其特征在于，包括以下步骤：
1)采集若干不同姿态的人像照片，将人像部分像素标注为1，将背景部分像素标注为0，把图像和标注剪裁为512×512大小；
2)获取MSCOCO人体关键点开源数据集、百度人像分割开源数据集，把图像和标注剪裁为512×512大小，和步骤1)中的数据一同构成关键点检测数据集；
3)搭建快速人体关键点检测网络，并且在步骤2)中的关键点检测数据集上训练；
4)搭建快速人像分割网络，把步骤3)中网络的关键点检测网络预测的关节连接图和步骤2)中的人像分割训练图片拼接成四通道的图片当作快速人像分割网络的输入进行训练；
5)使用步骤3)训练的人体关键点检测网络预测待测试图片的关键点位置，并且连接各个关键点得到人体关节连接图；
6)将步骤5)中的人体关节连接图和待测试图片拼接成四通道的图片输入步骤4)中训练的快速人像分割网络进行预测，得到人像的前景/背景分割掩膜；掩膜中值为1的像素表示前景人像，值为0的像素表示背景。


2.根据权利要求1所述的一种融合人体关键点检测的人像分割方法，其特征在于：所述步骤1)中采集的人像照片均为单人图片，并且采集的人像身体部分不允许有遮挡。


3.根据权利要求1所述的一种融合人体关键点检测的人像分割方法，其特征在于：所述步骤3)中搭建的快速人体关键点检测网络将OpenPose中的主干网络换成了MobileNet后的OpenPose。


4.根据权利要求1所述的一种融合人体关键点检测的人像分割方法，其特征在于：所述步骤4)中的快速分割网络使用了残差网络中的跨层连接和BottleNeck结构。


5.根据权利要求1所述的一种融合人体关...

【专利技术属性】
技术研发人员：赵锴，黄玲，冯浩，郑静媛，齐冬莲，闫云风，陈汐，韩译锋，王恩华，吴天齐，
申请(专利权)人：国网北京市电力公司，国家电网有限公司，杭州远鉴信息科技有限公司，
类型：发明
国别省市：北京;11