一种识别图片中人物的皮肤区域的方法和装置以及设备制造方法及图纸

本发明专利技术公开了一种识别图片中人物的皮肤区域的方法和装置以及设备。其中，所述方法包括：获取不同的包含人物和皮肤的图像，对每张图像分别标注原始图片、第一人物特征区域以及第一皮肤特征区域，并生成训练样本集；分别构建基于第一人物特征区域以及第一皮肤特征区域的人物识别模型和皮肤识别模型；利用训练样本集对人物识别模型和皮肤识别模型进行联合训练；根据训练后的人物识别模型和皮肤识别模型提取待识别图像的皮肤区域。本发明专利技术将原本的单一皮肤模型的流程拆分依序人物识别和皮肤识别两个步骤，用两个步骤先识别人物在识别皮肤。可以理解的是，人物识别模型用于对图片进行一个初筛，再利用皮肤识别模型来精确筛选皮肤区域。肤区域。肤区域。

【技术实现步骤摘要】
一种识别图片中人物的皮肤区域的方法和装置以及设备


[0001]本专利技术涉及皮肤区域检测
，尤其涉及一种识别图片中人物的皮肤区域的方法和装置以及设备。

技术介绍

[0002]当前的图像识别大多只能识别整个人体区域，或者识别的皮肤区域不够准确，遮罩边缘不够准确且不能区分较为复杂的环境背景和其他人物附属物，如衣服等。同时提取人物作为多任务时，模型容易变成一个简单的颜色筛选器；在正常情况下的皮肤是同种颜色，可一旦遇到光照情况不同时，就会出现不同区域的皮肤颜色不同，同时还有一些跟颜色相近的衣服的误导。

技术实现思路

[0003]有鉴于此，本专利技术的目的在于提出一种识别图片中人物的皮肤区域的方法和装置以及设备，能够准确的识别出人物的皮肤区域，边缘相对准确且能区分较为复杂的环境背景和其他人物附属物。
[0004]根据本专利技术的一个方面，提供一种识别图片中人物的皮肤区域的方法，包括：
[0005]获取不同的包含人物和皮肤的图像，对每张图像分别标注原始图片、第一人物特征区域以及第一皮肤特征区域，并生成训练样本集；
[0006]分别构建基于第一人物特征区域以及第一皮肤特征区域的人物识别模型和皮肤识别模型；
[0007]利用训练样本集对人物识别模型和皮肤识别模型进行联合训练；
[0008]根据训练后的人物识别模型和皮肤识别模型提取待识别图像的皮肤区域。
[0009]在上述技术方案中，为了解决当前的图像识别大多只能识别整个人体区域，或者识别的皮肤区域不够准确，遮罩边缘不够准确且不能区分较为复杂的环境背景和其他人物附属物，如衣服等的技术问题，将原本的单一皮肤模型的流程拆分依序人物识别和皮肤识别两个步骤，用两个步骤先识别人物在识别皮肤。可以理解的是，人物识别模型用于对图片进行一个初筛，再利用皮肤识别模型来精确筛选皮肤区域。与现有技术相比，当前算法可以准确的识别出人物的皮肤区域，边缘相对准确且能区分较为复杂的环境背景和其他人物附属物。简单来说，如果原始图片里的人物穿着肉色衣服亦或者在某一光线角度下，图像中的人物的色调是呈现出整体类肤色的状态，传统的单一皮肤提取模型则容易把图像中的类肤色区域进行提取。而本案中倾向于想了解图片中人物的位置以及四肢，在基于这种识别出来的结果进一步提取肤色区域，进而实现精准识别。
[0010]在一些实施例中，利用训练样本集对人物识别模型和皮肤识别模型进行联合训练，具体的：
[0011]原始图片输入人物识别模型获得第二人物特征区域，并根据第一人物特征区域和第二人物特征区域求得第一损失梯度，并将第一损失梯度回传至人物识别模型进行反向传
播迭代；
[0012]将第二人物特征区域输入皮肤识别模型获得第二皮肤特征区域，并根据第一皮肤特征区域和第二皮肤特征区域求得第二损失梯度和第三损失梯度，并将损失梯度回传至人物识别模型和皮肤识别模型进行反向传播迭代。
[0013]在本实施例中，在训练过程中为了进一步提高算法的精准度，依然采用两步式的联合训练法，即先利用人物识别模型提取人物特征区域，再将人物特征区域输入皮肤识别模型提取皮肤特征区域。同时在人物识别部分采取梯度反向传播来对人物识别模型进行迭代更新，在皮肤识别部分计算两个损失梯度并反向传播至人物识别模型和皮肤识别模型进行迭代更新。利用三个梯度函数、分布反向传播的方法，可以高效地计算模型中每个参数的梯度，从而加速两个模型联训的训练过程。
[0014]在一些实施例中，所述第一损失梯度通过CE损失函数进行计算；
[0015]所述第二损失梯度通过L2损失函数计算得到；
[0016]所述第三损失梯度通过CE损失函数计算得到。
[0017]在上述技术方案中，L2损失函数的边缘过渡方面会优于CE损失函数，在最终结果中希望有一个较为自然的边缘过渡，更加符合实际情况，而人物识别模型只是为了初步筛选，不需要这个边缘过渡，所以只用CE损失函数，CE损失函数会使模型更加果断的判断。而在皮肤识别模型需要有较为自然的边缘过渡(即皮肤遮罩边缘)L2损失和CE损失一起使用能得到一个平衡而较好的结果第二损失梯度和第三损失梯度都要回传到人物识别模型和皮肤识别模型进行更新，本质上是因为模型本身是为了识别分割出皮肤区域，而这里的损失是只针对皮肤区域的，整个模型都应该为这个任务服务，所以要回传到两个部分模型。人物识别模型分割实际只跟人物识别模型相关，跟皮肤识别模型无关，因此第一损失梯度也回传不回去。
[0018]在一些实施例中，根据训练后的人物识别模型和皮肤识别模型提取待识别图像的皮肤区域，具体的：
[0019]将待识别的图像输入人物识别模型进行识别获得人物特征区域；
[0020]将人物特征区域输入皮肤识别模型提取皮肤特征区域；
[0021]将皮肤特征区域进行高分辨率放大并输出放大后的皮肤区域特征。
[0022]在上述技术方案中，在识别的过程当中依然采用两步识别，人物识别模型用于对图片进行一个初筛，再利用皮肤识别模型来精确筛选皮肤区域。与现有技术相比，当前算法可以准确的识别出人物的皮肤区域，边缘相对准确且能区分较为复杂的环境背景和其他人物附属物。识别得到结果后再对图像进行高分辨率放大，输出最佳的结果。
[0023]在一些实施例中，利用训练样本集对人物识别模型和皮肤识别模型进行联合训练，具体的：
[0024]原始图片输入人物识别模型获得第二人物特征区域，并根据第一人物特征区域和第二人物特征区域求得第一损失梯度，并将第一损失梯度回传至人物识别模型进行反向传播迭代；
[0025]若第二人物特征区域小于预定阈值；
[0026]则基于第二人物特征区域裁切原始图片得到人物特征图片，并输入人物识别模型获得第三人物特征区域，并根据第一人物特征区域和第三人物特征区域求得第四损失梯
度，并将第四损失梯度回传至人物识别模型进行反向传播迭代；
[0027]将第三人物特征区域输入皮肤识别模型获得第三皮肤特征区域，并根据第一皮肤特征区域和第三皮肤特征区域求得第四损失梯度和第五损失梯度，并将损失梯度回传至人物识别模型和皮肤识别模型进行反向传播迭代
[0028]将第二人物特征区域输入皮肤识别模型获得第二皮肤特征区域，并根据第一皮肤特征区域和第二皮肤特征区域求得第二损失梯度和第三损失梯度，并将损失梯度回传至人物识别模型和皮肤识别模型进行反向传播迭代；
[0029]将第三皮肤特征区域与第二皮肤特征区域进行融合得到第四皮肤特征区域。
[0030]在上述技术方案中，判断人物占比低的原因在于有些人物占比很小的场景，就比如拍人的远景，如果没有裁出来的话，模型的识别效果会降低，因为模型实际处理的不是原图，一般是缩小之后的原图。所以人物会很糊，裁下来做效果会更好。同时为了提高模型对于人物占比低的图像的识别精确度，分别两次输入皮肤识别模型，并两次进行反向传播迭代，能够更高效精准地训练模型。进一步地，由于分辨率问题，模型实际处理的不是原图，一般是缩小之后的原图，那么两本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种识别图片中人物的皮肤区域的方法，其特征在于，包括：获取不同的包含人物和皮肤的图像，对每张图像分别标注原始图片、第一人物特征区域以及第一皮肤特征区域，并生成训练样本集；分别构建基于第一人物特征区域以及第一皮肤特征区域的人物识别模型和皮肤识别模型；利用训练样本集对人物识别模型和皮肤识别模型进行联合训练；根据训练后的人物识别模型和皮肤识别模型提取待识别图像的皮肤区域。2.如权利要求1所述的识别图片中人物的皮肤区域的方法，其特征在于，利用训练样本集对人物识别模型和皮肤识别模型进行联合训练，具体的：原始图片输入人物识别模型获得第二人物特征区域，并根据第一人物特征区域和第二人物特征区域求得第一损失梯度，并将第一损失梯度回传至人物识别模型进行反向传播迭代；将第二人物特征区域输入皮肤识别模型获得第二皮肤特征区域，并根据第一皮肤特征区域和第二皮肤特征区域求得第二损失梯度和第三损失梯度，并将损失梯度回传至人物识别模型和皮肤识别模型进行反向传播迭代。3.如权利要求2所述的一种识别图片中人物的皮肤区域的方法，其特征在于，所述第一损失梯度通过CE损失函数进行计算；所述第二损失梯度通过L2损失函数计算得到；所述第三损失梯度通过CE损失函数计算得到。4.如权利要求1所述的一种识别图片中人物的皮肤区域的方法，其特征在于，根据训练后的人物识别模型和皮肤识别模型提取待识别图像的皮肤区域，具体的：将待识别的图像输入人物识别模型进行识别获得人物特征区域；将人物特征区域输入皮肤识别模型提取皮肤特征区域；将皮肤特征区域进行高分辨率放大并输出放大后的皮肤区域特征。5.如权利要求1所述的一种识别图片中人物的皮肤区域的方法，其特征在于，利用训练样本集对人物识别模型和皮肤识别模型进行联合训练，具体的：原始图片输入人物识别模型获得第二人物特征区域，并根据第一人物特征区域和第二人物特征区域求得第一损失梯度，并将第一损失梯度回传至人物识别模型进行反向传播迭代；若第二人物特征区域小于预定阈值；则基于第二人物特征区域裁切原始图片得到人物特征图片，并输入人物识别模型获得第三人物特征区域，并根据第一人物特征区域和第三人物特征区域求得第四损失梯度，并将第四损失梯度回传至人物识别模型进行反向传播迭代；将第三人物特征区域输入皮肤识别模型获得第三皮肤特征区域，并根据第一皮肤特征区域和第三皮肤特征区域求得第四损失梯度和第五损失梯度，并将损失梯度回传至人物识别模型和皮肤识别模型...

【专利技术属性】
技术研发人员：林冠宇，柯凌捷，施荣晓，
申请(专利权)人：厦门真景科技有限公司，
类型：发明
国别省市：