人像分割方法、装置及电子设备制造方法及图纸

技术编号:25398661 阅读:11 留言:0更新日期:2020-08-25 23:03
本申请提供了一种人像分割方法、装置及电子设备,该方法包括:获取目标人像图片;将目标人像图片输入预设的人像分割模型;其中,人像分割模型的训练方式包括基于人像边缘信息和全局人像概率分布信息的约束训练;通过人像分割模型对目标人像图片进行像素级分割;基于分割结果确定目标人像图片中的人像区域。通过基于人像边缘信息和全局人像概率分布信息的约束训练得到的人像分割模型,对目标人像图片进行像素级分割,可以将目标人像图片中的人像和背景进行精确的分割,提高图片的分割准确性。

【技术实现步骤摘要】
人像分割方法、装置及电子设备
本申请涉及行人重识别
,尤其涉及一种人像分割方法、装置及电子设备。
技术介绍
在很多对人像图片有要求的应用场景中,对人像分割的精度要求越来越高。现有的语义分割技术,都是粗糙地寻找对象在图像中大致像素,侧重点在于找到不同的对象实例,实现语义层面理解图像的内容信息,无法满足人像整体和边缘精细分割的要求。人视觉上对头发、耳朵、脸等部位比较敏感,分割不全或边缘不精细时会造成比较负面的观感体验。
技术实现思路
有鉴于此,本申请实施例提供一种人像分割方法、装置及电子设备,解决现有技术中人像分割精度不够的技术问题,提高用户的观感体验。根据本申请的一个方面,提供一种人像分割方法,所述方法包括:获取目标人像图片;将所述目标人像图片输入预设的人像分割模型;其中,所述人像分割模型的训练方式包括基于人像边缘信息和全局人像概率分布信息的约束训练;通过所述人像分割模型对所述目标人像图片进行像素级分割;基于分割结果确定所述目标人像图片中的人像区域。在一些实施例中,所述人像分割模型的训练过程,包括:获取人像图片样本集;其中,所述样本集中的每个人像样本图片均标注有像素标识;所述像素标识用于表征每个像素对应的人像区域标识或背景区域标识;根据每个人像样本图片标注的所述像素标识,确定每个人像样本图片对应的人像边缘信息及多个所述人像样本图片对应的全局人像概率分布信息;所述全局人像概率分布信息包括每个像素属于人像区域的概率值;应用所述人像图片样本集,并以所述全局人像概率分布信息和每个所述人像样本图片的人像边缘信息为约束条件,训练预设的深度学习语义分割初始模型,得到人像分割模型。在一些实施例中,根据每个人像图片标注的所述像素标识,确定每个人像图片对应的人像边缘信息的步骤,包括:逐一将每个所述人像样本图片作为所述当前人像样本图片;基于当前人像样本图片的像素标识和边缘检测算子计算当前人像样本图片对应的人像边缘;将所述当前人像样本图片对应的人像边缘向内扩展预设个数的像素,得到所述当前人像样本图片的人像边缘区域;将所述人像边缘区域及所述人像边缘区域中每个像素对应的预设权重,作为所述当前人像样本图片对应的人像边缘信息。在一些实施例中,根据每个人像样本图片标注的所述像素标识,确定多个所述人像样本图片对应的全局人像概率分布信息的步骤,包括:统计多个人像样本图片中每个相同像素位置对应的人像区域标识的数量;将每个相同像素位置对应的人像区域标识的数量除以所述人像图片的数量,得到每个像素位置对应的概率值;基于每个所述像素位置对应的概率值,得到多个所述人像图片对应的全局人像概率分布信息。在一些实施例中,应用所述人像图片样本集,并以所述全局人像概率分布信息和每个所述人像样本图片的人像边缘信息为约束条件,训练预设的深度学习语义分割初始模型的步骤,包括:从所述人像图片样本集中选取人像样本图片组;将所述人像样本图片组输入所述深度学习语义分割初始模型进行预测,得到所述人像样本图片组中每个人像样本图片的预测结果;所述预测结果包括每个像素对应的像素预测标识;所述像素预测标识包括人像区域标识或背景区域标识;对于每个所述人像样本图片,判断所述人像样本图片的预测结果中是否存在有与所述人像样本图片的像素标识不相同的像素预测标识;如果存在,将所述像素预测标识对应的像素作为差异像素;基于差异像素、所述人像样本图片的人像边缘信息及所述全局人像概率分布信息调整所述深度学习语义分割模型的损失函数;基于调整后的损失函数计算所述人像样本图片对应的损失值;基于所述人像样本图片组中每个所述人像图片对应的损失值判断所述损失函数是否收敛;如果否,基于每个所述人像图片对应的损失值调整所述深度学习语义分割模型的参数继续训练;如果是,停止训练。在一些实施例中,基于差异像素、所述人像样本图片的人像边缘信息及所述全局人像概率分布信息调整所述深度学习语义分割模型的损失函数的步骤,包括:从所述全局人像概率分布信息中查找所述差异像素对应的概率值,将所述差异像素对应的概率值作为全局人像概率分布信息的权重;判断所述差异像素是否在所述人像样本图片对应的人像边缘信息的人像边缘区域内;如果是,从所述人像边缘信息中查找到所述差异像素在人像边缘区域内对应的权重;基于所述全局人像概率分布信息的权重、所述差异像素在人像边缘区域内对应的权重,对所述损失函数进行调整;如果否,则基于所述全局人像概率分布信息的权重对所述损失函数进行调整。在一些实施例中,所述损失函数为交叉熵损失函数;基于所述全局人像概率分布信息的权重、所述差异像素在人像边缘区域内对应的权重,对所述损失函数进行调整的步骤,包括:通过以下算式对所述损失函数进行调整:CEL’=CEL*(1+W1+W2);其中,CEL’表示调整后的损失函数;CEL表示交叉熵损失函数;W1表示全局人像概率分布信息的权重;W2表示差异像素在人像边缘区域内对应的权重;基于所述全局人像概率分布信息的权重对所述损失函数进行调整的步骤,包括:通过以下算式对所述损失函数进行调整:CEL’=CEL*(1+W1);其中,CEL’表示调整后的损失函数;CEL表示交叉熵损失函数;W1表示全局人像概率分布信息的权重。在一些实施例中,基于分割结果确定所述目标人像图片中的人像区域的步骤,包括:对分割后的所述目标人像图片进行单连通域检测;如果检测结果包括一个单连通域,则将所述单连通域作为所述目标人像图片的人像区域;如果检测结果包括多个单连通域,则将多个单连通域中面积最大的区域作为所述目标人像图片的人像区域。在一些实施例中,基于分割结果确定所述目标人像图片的人像区域的步骤之后,还包括:将所述人像区域之外的区域确定为所述目标人像图片的背景区域;将所述背景区域中的像素值转换为预设的像素值。在一些实施例中,所述人像分割模型的训练方式还包括以预设属性为约束的训练;所述预设属性包括以下:人像方向、人像性别和头发长度属性;所述人像分割模型的训练过程还包括:获取所述人像图片样本集中每个所述人像样本图片的标签信息;所述标签信息包括以下:人像方向、人像性别和头发长度属性;将包含所述标签信息的人像样本图片输入所述深度学习语义分割模型中进行多任务训练。在一些实施例中,获取所述人像图片样本集中每个所述人像样本图片的标签信息的步骤,包括:逐一将每个所述人像样本图片作为所述当前人像样本图片;将所述当前人像样本图片中的人像调整为正向人像;对所述当前人像样本图片中的正向人像进行多个预设角度的旋转,得到每个所述预设角度对应的人像样本图片和包含有人像方向的标签信息。在一些实施例中,基于分割结果确定所述目标人像图片的人像区域的步骤之后,还包括:从分割结果中提取所述目标人像图片对应的标签信息;根据提取到的所述标签信息中的人像方向判断所述人像区域是否为正向;如果否,将所述人像区域调整为正向。在一些实施例中,所述方法还包括:判断所述人像区域是否在所述目标人像图片的中心区域;如果否,对所述人像区域进行居中处理。在一本文档来自技高网...

【技术保护点】
1.一种人像分割方法,其特征在于,包括:/n获取目标人像图片;/n将所述目标人像图片输入预设的人像分割模型;其中,所述人像分割模型的训练方式包括基于人像边缘信息和全局人像概率分布信息的约束训练;/n通过所述人像分割模型对所述目标人像图片进行像素级分割;/n基于分割结果确定所述目标人像图片中的人像区域。/n

【技术特征摘要】
1.一种人像分割方法,其特征在于,包括:
获取目标人像图片;
将所述目标人像图片输入预设的人像分割模型;其中,所述人像分割模型的训练方式包括基于人像边缘信息和全局人像概率分布信息的约束训练;
通过所述人像分割模型对所述目标人像图片进行像素级分割;
基于分割结果确定所述目标人像图片中的人像区域。


2.根据权利要求1所述的方法,其特征在于,所述人像分割模型的训练过程,包括:
获取人像图片样本集;其中,所述样本集中的每个人像样本图片均标注有像素标识;所述像素标识用于表征每个像素对应的人像区域标识或背景区域标识;
根据每个人像样本图片标注的所述像素标识,确定每个人像样本图片对应的人像边缘信息及多个所述人像样本图片对应的全局人像概率分布信息;所述全局人像概率分布信息包括每个像素属于人像区域的概率值;
应用所述人像图片样本集,并以所述全局人像概率分布信息和每个所述人像样本图片的人像边缘信息为约束条件,训练预设的深度学习语义分割初始模型,得到人像分割模型。


3.根据权利要求2所述的方法,其特征在于,根据每个人像图片标注的所述像素标识,确定每个人像图片对应的人像边缘信息的步骤,包括:
逐一将每个所述人像样本图片作为当前人像样本图片;
基于当前人像样本图片的像素标识和边缘检测算子计算所述当前人像样本图片对应的人像边缘;
将所述当前人像样本图片对应的人像边缘向内扩展预设个数的像素,得到所述当前人像样本图片的人像边缘区域;
将所述人像边缘区域及所述人像边缘区域中每个像素对应的预设权重,作为所述当前人像样本图片对应的人像边缘信息。


4.根据权利要求2所述的方法,其特征在于,根据每个人像样本图片标注的所述像素标识,确定多个所述人像样本图片对应的全局人像概率分布信息的步骤,包括:
统计多个人像样本图片中每个相同像素位置对应的人像区域标识的数量;
将每个相同像素位置对应的人像区域标识的数量除以所述人像图片的数量,得到每个像素位置对应的概率值;
基于每个所述像素位置对应的概率值,得到多个所述人像图片对应的全局人像概率分布信息。


5.根据权利要求2所述的方法,其特征在于,应用所述人像图片样本集,并以所述全局人像概率分布信息和每个所述人像样本图片的人像边缘信息为约束条件,训练预设的深度学习语义分割初始模型的步骤,包括:
从所述人像图片样本集中选取人像样本图片组;
将所述人像样本图片组输入所述深度学习语义分割初始模型进行预测,得到所述人像样本图片组中每个人像样本图片的预测结果;所述预测结果包括每个像素对应的像素预测标识;所述像素预测标识包括人像区域标识或背景区域标识;
对于每个所述人像样本图片,判断所述人像样本图片的预测结果中是否存在有与所述人像样本图片的像素标识不相同的像素预测标识;如果存在,将所述像素预测标识对应的像素作为差异像素;基于差异像素、所述人像样本图片的人像边缘信息及所述全局人像概率分布信息调整所述深度学习语义分割模型的损失函数;基于调整后的损失函数计算所述人像样本图片对应的损失值;
基于所述人像样本图片组中每个所述人像图片对应的损失值判断所述损失函数是否收敛;如果否,基于每个所述人像图片对应的损失值调整所述深度学习语义分割模型的参数继续训练;如果是,停止训练。


6.根据权利要求5所述的方法,其特征在于,基于差异像素、所述人像样本图片的人像边缘信息及所述全局人像概率分布信息调整所述深度学习语义分割模型的损失函数的步骤,包括:
从所述全局人像概率分布信息中查找所述差异像素对应的概率值,将所述差异像素对应的概率值作为全局人像概率分布信息的权重;
判断所述差异像素是否在所述人像样本图片对应的人像边缘信息的人像边缘区域内;
如果是,从所述人像边缘信息中查找到所述差异像素在人像边缘区域内对应的权重;基于所述全局人像概率分布信息的权重、所述差异像素在人像边缘区域内对应的权重,对所述损失函数进行调整;
如果否,则基于所述全局人像概率分布信息的权重对所述损失函数进行调整。


7.根据权利要求6所述的方法,其特征在于,所述损失函数为交叉熵损失函数;
基于所述全局人像概率分布信息的权重、所述差异像素在人像边缘区域内对应的权重,对所述损失函数进行调整的步骤,包括:
通过以下算式对所述损失函数进行调整:
CEL’=CEL*(1+W1+W2);
其中,CEL’表示调整后的损失函数;CEL表示交叉熵损失函数;W1表示全局人像概率分布信息的权重;W2表示差异像素在人像边缘区域内对应的权重;
基于所述全局人像概率分布信息的权重对所述损失函数进行调整的步骤,包括:
通过以下算式对所述损失函数进行调整:
CEL’=CEL*(1+W1);
其中,CEL’表示调整后的损失函数;CEL表示交叉熵损失函数;W1表示全局人像概率分布信息的权重。


8.根据权利要求1所述的方法,其特征在于,基于分割结果确定所述目标人像图片中的人像区域的步骤,包括:
对分割后的所述目标人像图片进行单连通域检测;
如果检测结果包括一个单连通域,则将所述单连通域作为所述目标人像图片的人像区域;
如果检测结果包括多个单连通域,则将多个单连通域中面积最大的区域作为所述目标人像图片的人像区域。


9.根据权利要求1所述的方法,其特征在于,基于分割结果确定所述目标人像图片的人像区域的步骤之后,还包括:
将所述人像区域之外的区域确定为所述目标人像图片的背景区域;
将所述背景区域中的像素值转换为预设的像素值。


10.根据权利要求2所述的方法,其特征在于,所述人像分割模型的训练方式还包括以预设属性为约束的训练;所述预设属性至少包括以下之一:人像方向、人像性别和头发长度属性;
所述人像分割模型的训练过程还包括:
获取所述人像图片样本集中每个所述人像样本图片的标签信息;所述标签信息至少包括以下之一:人像方向、人像性别和头发长度属性;
将包含所述标签信息的人像样本图片输入所述深度学习语义分割模型中进行多任务训练。


11.根据权利要求10所述的方法,其特征在于,获取所述人像图片样本集中每个所述人像样本图片的标签信息的步骤,包括:
逐一将每个所述人像样本图片作为所述当前人像样本图片;
将所述当前人像样本图片中的人像调整为正向人像;
对所述当前人像样本图片中的正向人像进行多个预设角度的旋转,得到每个所述预设角度对应的人像样本图片和包含有人像方向的标签信息。


12.根据权利要求10所述的方法,其特征在于,基于分割结果确定所述目标人像图片的人像区域的步骤之后,还包括:
从分割结果中提取所述目标人像图片对应的标签信息;
根据提取到的所述标签信息中的人像方向判断所述人像区域是否为正向;
如果否,将所述人像区域调整为正向。


13.根据权利要求1-12任一项所述的方法,其特征在于,所述方法还包括:
判断所述人像区域是否在所述目标人像图片的中心区域;
如果否,对所述人像区域进行居中处理。


14.根据权利要求13所述的方法,其特征在于,对所述人像区域进行居中处理的步骤,包括:
确定所述人像区域的人脸中心位置;
以所述人脸中心位置为所述目标人像图片的中心位置,扩展和/或裁剪所述目标人像图片,以使所述人像区域在所述目标人像图片的中心区域。


15.一种人像分割装置,其特征在于,包...

【专利技术属性】
技术研发人员:王智恒
申请(专利权)人:北京嘀嘀无限科技发展有限公司
类型:发明
国别省市:北京;11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1