【技术实现步骤摘要】
嘴部关键点的标注方法、装置、电子设备及存储介质
本公开涉及计算机
，尤其涉及嘴部关键点的标注方法、装置、电子设备及存储介质。
技术介绍
深度学习具有自动学习及持续学习的能力，其已经成功应用到面部识别、图像识别与分析、语音识别和自然语言处理等很多领域，且在这些方面都带来了很多显著的效果。对于其中的面部识别领域，关键一步是基于深度学习的面部关键点（比如眉毛关键点和眼睛关键点）进行面部部位检测。这一步也是诸如自动面部识别、表情分析、三维面部重建以及其他面部相关问题的前提和突破口。为了实现基于深度学习的面部部位检测，需要大量的面部部位的关键点的标注数据来训练模型。其中，面部部位的关键点包括眼睛关键点、眉毛关键点、鼻子关键点和嘴部关键点。为了获取嘴部关键点，在相关技术中，通常采用人工标注的方式对嘴部关键点进行标注，形成嘴部关键点的标注数据。但是，人工标注嘴部关键点具有标注成本比较高以及标注效率比较低的问题。而且，由于不同标注人员对同一部位的标注结果会有差异。因此，在利用标注人员标注的嘴部关键点来训练模型时，会导致...
【技术保护点】
1.一种嘴部关键点的标注方法，其特征在于，包括：/n获取第一人脸图像；/n确定所述第一人脸图像上的第一上嘴唇区域和第一下嘴唇区域，所述第一上嘴唇区域包括上嘴唇外部区域以及上嘴唇内部区域，所述第一下嘴唇区域包括下嘴唇外部区域以及下嘴唇内部区域；/n根据所述第一上嘴唇区域和所述第一下嘴唇区域，确定目标嘴部区域集合，所述目标嘴部区域集合包括所述第一上嘴唇区域与所述第一下嘴唇区域的第一交集；/n当所述目标嘴部区域集合为空时，确定外嘴角关键点包括所述第一上嘴唇区域与所述第一下嘴唇区域的并集中的最左侧点和最右侧点；当所述目标嘴部区域集合不为空时，确定外嘴角关键点包括所述目标嘴部区域集合...
【技术特征摘要】
1.一种嘴部关键点的标注方法，其特征在于，包括：
获取第一人脸图像；
确定所述第一人脸图像上的第一上嘴唇区域和第一下嘴唇区域，所述第一上嘴唇区域包括上嘴唇外部区域以及上嘴唇内部区域，所述第一下嘴唇区域包括下嘴唇外部区域以及下嘴唇内部区域；
根据所述第一上嘴唇区域和所述第一下嘴唇区域，确定目标嘴部区域集合，所述目标嘴部区域集合包括所述第一上嘴唇区域与所述第一下嘴唇区域的第一交集；
当所述目标嘴部区域集合为空时，确定外嘴角关键点包括所述第一上嘴唇区域与所述第一下嘴唇区域的并集中的最左侧点和最右侧点；当所述目标嘴部区域集合不为空时，确定外嘴角关键点包括所述目标嘴部区域集合中的最左侧点和最右侧点；
根据所述外嘴角关键点，进行嘴部关键点的标注。
2.根据权利要求1所述的方法，其特征在于，所述根据所述第一上嘴唇区域和所述第一下嘴唇区域，确定目标嘴部区域集合，包括：
获取所述第一人脸图像中的人脸的俯仰角以及上嘴唇渲染图像和下嘴唇渲染图像，所述上嘴唇渲染图像是利用仅包括上嘴唇的纹理图像渲染得到，所述下嘴唇渲染图像是利用仅包括下嘴唇的纹理图像渲染得到；
当所述俯仰角大于第一角度阈值时，确定所述第一上嘴唇区域与所述下嘴唇渲染图像中的第二下嘴唇区域之间的第二交集；将所述第二交集以及所述第一交集的并集确定为所述目标嘴部区域集合，其中，所述第二下嘴唇区域包括所述下嘴唇外部区域以及所述下嘴唇内部区域；
当所述俯仰角小于第二角度阈值时，确定所述第一下嘴唇区域与所述上嘴唇渲染图像中的第二上嘴唇区域之间的第三交集，将所述第三交集以及所述第一交集的并集确定为所述目标嘴部区域集合，其中，所述第二上嘴唇区域包括所述上嘴唇外部区域以及所述上嘴唇内部区域，所述第一角度阈值大于所述第二角度阈值；
当所述俯仰角大于或等于所述第二角度阈值，且小于或等于所述第一角度阈值时，将所述第一交集确定为所述目标嘴部区域集合。
3.根据权利要求1所述的方法，其特征在于，所述获取第一人脸图像之前，所述方法还包括：
获取第二人脸图像，所述第二人脸图像中的人脸相对于竖直方向倾斜第一角度；
所述获取第一人脸图像，包括：
将所述第二人脸图像向竖直方向旋转所述第一角度，得到所述第一人脸图像。
4.根据权利要求3所述的方法，其特征在于，所述外嘴角关键点包括左侧外嘴角关键点和右侧外嘴角关键点；
所述根据所述外嘴角关键点，进行嘴部关键点的标注，包括：
针对所述第一人脸图像和所述第二人脸图像中的任意一个目标人脸图像，根据所述目标人脸图像确定第一偏移方向和偏移距离，其中，所述第一偏移方向为左侧内嘴角关键点相对于所述左侧外嘴角关键点的偏移方向，所述偏移距离是所述左侧外嘴角关键点和所述右侧外嘴角关键点之间的距离与预定系数相乘得到；
在所述目标人脸图像中，获取所述第一偏移方向上的、且与所述左侧外嘴角关键点的距离为所述偏移距离的所述左侧内嘴角关键点，以及获取在第二偏移方向上的、且与所述右侧外嘴角关键点的距离为所述偏移距离的右侧内嘴角关键点，所述第二偏移方向为所述第一偏移方向的相反方向；
根据所述左侧内嘴角关键点以及所述右侧内嘴角关键点，进行嘴部关键点的标注。
5.根据权利要求4所述的方法，其特征在于，所述根据所述目标人脸图像确定第一偏移方向，包括：
当所述目标人脸图像为所述第一人脸图像时，确定所述第一偏移方向为水平向右的方向；
当所述目标人脸图像为所述第二人脸图像，且所述第二人脸图像中的人脸向左倾斜时，将水平向右的方向逆时针旋转所述第一角度，得到所述第一偏移方向；
当所述目标人脸图像为所述第二人脸图像，且所述第二人脸图像中的人脸向右倾斜时，将水平向右的方向顺时针旋转所述第一角度，得到所述第一偏移方向。
6.根据权利要求4所述的方法，其特征在于，还包括：
获取三维人脸图像上的M个嘴部点，所述M个嘴部点是嘴部轮廓线上除外嘴角轮廓点和内嘴角轮廓点之外的点，所述三维人脸图像用于渲染出所述第二人脸图像，M为大于或等于1的整数；
将所述M个嘴部点中的每个嘴部点分别投影到所述第二人脸图像上，得到M个投影点；
对于所述M个投影点中的任意一个第一投影点，根据所述第一投影点在所述第二人脸图像上的深度值与所述第二人脸图像上像素点的最小深度值之间的大小关系，确定所述第二人脸图像上的第一嘴部关键点；
根据所述第一嘴部关键点，进行嘴部关键点的标注。
7.根据权利要求6所述的方法，其特征在于，所述根据所述第一投影点在所述第二人脸图像上的深度值与所述第二人脸图像上像素点的最小深度值之间的大小关系，确定所述第二人脸图像上的第一嘴部关键点，包括：
当所述第一投影点在所述第二人脸图像上的深度值大于或等于所述最小深度值时，获取所述第一投影点沿第二偏移方向上的直线与目标嘴部轮廓线的至少一个交点，所述第二偏移方向为与竖直方向的夹角为所述第一角度的方向；
在所述至少一个交点中，确定所述第一嘴部关键点；
其中，当所述第一投影点是由上嘴唇的上轮廓线的点或上嘴唇的下轮廓线上的点进行投影得到时，所述目标嘴部轮廓线包括所述第二人脸图像上的上嘴唇区域轮廓线；当所述第一投影点是由下嘴唇的上轮廓线上的点或下嘴唇的下轮廓线上的点进行投影得到时，所述目标嘴部轮廓线包括第二人脸图像上的下嘴唇区域轮廓线。
8.根据权利要求7所述的方法，其特征在于，所述在所述至少一个交点中，确定所述第一嘴部关键点，包括：
当所述第一投影点是由上嘴唇的上轮廓线上的点或者下嘴唇的上轮廓线上的点进行投影得到时，确定所述第一嘴部关键点为所述至少一个交点中的最上端的点；
当所述第一投影点是由上嘴唇的下轮廓线上的点或者下嘴唇的下轮廓线上的点进行投影得到时，确定所述第一嘴部关键点为所述至少一个交点中的最下端的点。
9.根据权利要求6所述的方法，其特征在于，所述根据所述第一投影点在所述第二人脸图像上的深度值与所述第二人脸图像上像素点的最小深度值之间的大小关系，确定所述第二人脸图像上的第一嘴部关键点，包括：
当所述第一投影点在所述第二人脸图像上的深度值大于或等于所述最小深度值，并且所述第一投影点沿所述第二偏移方向上的直线与所述目标嘴部轮廓线之间不存在交点时，将所述目标嘴部轮廓线上的距离所述第一投影点最近的轮廓点确定为所述第一嘴部关键点。
10.根据权利要求6所述的方法，其特征在于，所述根据所述第一投影点在所述第二人脸图像上的深度值与所述第二人脸图像上像素点的最小深度值之间的大小关系，确定所述第二人脸图像上的第一嘴部关键点，包括：
当所述第一投影点在所述第二人脸图像上的深度值小于所述最小深度值时，将所述第一投影点确定为所述第一嘴部关键点。
11.根据权利要求6所述的方法，其特征在于，所述根据所述第一嘴部关键点，进行嘴部关键点的标注，包括：
获取所述第二人脸图像上的两个嘴部关键点，所述两个嘴部关键点的其中一个嘴部关键点为所述第一嘴部关键点，另一个嘴部关键点为所述左侧外嘴角关键点、所述左侧内嘴角关键点、所述右侧外嘴角关键点以及所述右侧内嘴角关键点中与所述第一嘴部关键点对应的关键点；
根据所述两个嘴部关键点，在所述第二人脸图像的嘴部轮廓线上获取至少一个嘴部关键点，所述至少一个嘴部关键点与所述两个嘴部关键点在嘴部轮廓线上等距分布；
对所述第二人脸图像上的所述至少一个嘴部关键点进行标注。
12.一种嘴部关键点的标注装置，其特征在于，包括：
第一图像获取模块，被配置为获取第一人脸图像；
第一确定模块，被配置为确定所述第一人脸图像上的第一上嘴唇区域和第一下嘴唇区域，所述第一上嘴唇区域包括上嘴唇外部区域以及上嘴唇内部区域，所述第一下嘴...
【专利技术属性】
技术研发人员：张博宁，张国鑫，马里千，刘晓强，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。