图像处理方法和装置制造方法及图纸

本申请实施例提供一种图像处理方法和装置。本申请的图像处理方法，包括：获取人脸图像；根据人脸图像分别获取左脸图像和右脸图像；将左脸图像输入至第一目标关键点卷积神经网络模型，输出第一左脸关键点的坐标，第一目标关键点卷积神经网络模型为使用具有关键点信息的左脸图像对关键点卷积神经网络模型进行训练后获取的；将右脸图像输入至第二目标关键点卷积神经网络模型，输出第一右脸关键点的坐标，第二目标关键点卷积神经网络模型为使用具有关键点信息的右脸图像对关键点卷积神经网络模型进行训练后获取的；根据第一左脸关键点的坐标和第一右脸关键点的坐标，获取人脸图像的人脸关键点的坐标。本申请实施例可以提升人脸关键点定位的精度。

【技术实现步骤摘要】
图像处理方法和装置
本申请实施例涉及图像处理技术，尤其涉及一种图像处理方法和装置。
技术介绍
随着科技的发展，近年来关于人脸的相关应用层出不穷，例如，人脸识别、三维人脸重建、活体检测、人脸美颜以及情感估计等。各种人脸相关的应用的基础是人脸关键点检测。人脸关键点检测(也可以称之为人脸对齐)指的是输入一张人脸图像，通过计算机视觉算法得到预先定义的关键点坐标，比如眼角、嘴角、鼻尖、脸部轮廓等，即对该人脸图像进行处理以预测出眼睛，鼻子，嘴巴等一些关键点的位置。从人脸图像得到关键点坐标可以使用各式各样的算法，例如，基于回归的方法、基于神经网络的方法等。其中，通过卷积神经网络实现上述过程得到广泛应用。然而，在实际场景中，所获取的人脸图像中大多数是姿态幅度很大或者有一定程度的遮挡，通过卷积神经网络对该人脸姿态较大或有一定遮挡的人脸图像进行人脸关键点检测存在不准确的问题，即无法准确确定人脸关键点的坐标。
技术实现思路
本申请实施例提供一种图像处理方法和装置，以提升人脸关键点定位的精度。第一方面，本申请实施例提供一种图像处理方法，该方法可以包括：获取人脸图像；根据人脸图像分别获取左脸图像和右脸图像，左脸图像和右脸图像的尺寸与人脸图像的尺寸相同；将左脸图像输入至第一目标关键点卷积神经网络模型，输出第一左脸关键点的坐标，第一目标关键点卷积神经网络模型为使用具有关键点信息的左脸图像对关键点卷积神经网络模型进行训练后获取的；将右脸图像输入至第二目标关键点卷积神经网络模型，输出第一右脸关键点的坐标，第二目标关键点卷积神经网络模型为使用具有关键点信息的右脸图像对关键点卷积神经网络模型进行训练后获取的；根据第一左脸关键点的坐标和第一右脸关键点的坐标，获取人脸图像的人脸关键点的坐标。本实现方式，利用第一目标关键点卷积神经网络模型对左脸图像进行处理，利用第二目标关键点卷积神经网络模型对右脸图像进行处理，半脸定位精度高，并且其可以利用人脸的结构化特征，提升人脸关键点的定位精度。在一种可能的设计中，具有关键点信息的左脸图像和具有关键点信息的右脸图像为根据不同姿态信息的人脸图像获取的，不同姿态信息的人脸图像具有对应的关键点信息，不同姿态信息的人脸图像包括第一姿态信息的人脸图像、第二姿态信息的人脸图像和第三姿态信息的人脸图像，所述第一姿态信息用于表示人脸的偏转角度的方向为向左的姿态信息，所述第二姿态信息用于表示人脸的偏转角度的方向为正向的姿态信息，所述第三姿态信息用于表示人脸的偏转角度的方向为右向的姿态信息。本实现方式中，由于第一目标关键点卷积神经网络模型和第二目标关键点卷积神经网络模型是使用不同姿态信息的人脸图像对关键点卷积神经网络模型进行训练后获取的，从而可以平衡不同姿态信息的人脸图像对于关键点卷积神经网络模型优化的影响，有效地提升人脸关键点定位的精度。在一种可能的设计中，根据所述第一左脸关键点的坐标和所述第一右脸关键点的坐标，获取人脸图像的人脸关键点的坐标，可以包括：根据第一左脸关键点的坐标确定第一仿射变换矩阵；根据第一仿射变换矩阵和所述左脸图像获取矫正后的左脸图像；将矫正后的左脸图像输入至第三目标关键点卷积神经网络模型，输出矫正后的第一左脸关键点的坐标；根据矫正后的第一左脸关键点的坐标和第一仿射变换矩阵的逆变换，获取第二左脸关键点的坐标；根据第二左脸关键点的坐标和第一右脸关键点的坐标，获取人脸图像的人脸关键点的坐标。本实现方式中，利用第一目标关键点卷积神经网络模型对左脸图像进行处理，根据第一目标关键点卷积神经网络模型的输出结果对左脸图像进行矫正，利用第三目标关键点卷积神经网络模型对矫正后的左脸图像进行处理，可以提升左脸关键点的定位精度，进而提升人脸关键点定位的精度。在一种可能的设计中，根据第一左脸关键点的坐标和第一右脸关键点的坐标，获取人脸图像的人脸关键点的坐标，可以包括：根据第一右脸关键点的坐标确定第二仿射变换矩阵；根据第二仿射变换矩阵和右脸图像获取矫正后的右脸图像；将矫正后的右脸图像输入至第四目标关键点卷积神经网络模型，输出矫正后的第一右脸关键点的坐标；根据矫正后的第一右脸关键点的坐标和所述第二仿射变换矩阵的逆变换，获取第二右脸关键点的坐标；根据第二右脸关键点的坐标和第一左脸关键点的坐标，获取人脸图像的人脸关键点的坐标。本实现方式中，利用第二目标关键点卷积神经网络模型对右脸图像进行处理，根据第二目标关键点卷积神经网络模型的输出结果对右脸图像进行矫正，利用第四目标关键点卷积神经网络模型对矫正后的右脸图像进行处理，可以提升右脸关键点的定位精度，进而提升人脸关键点定位的精度。一种可能的设计中，根据第一左脸关键点的坐标和第一右脸关键点的坐标，获取人脸图像的人脸关键点的坐标，可以包括：根据第一左脸关键点的坐标确定第一仿射变换矩阵，根据所述第一右脸关键点的坐标确定第二仿射变换矩阵；根据第一仿射变换矩阵和左脸图像获取矫正后的左脸图像，根据第二仿射变换矩阵和所述右脸图像获取矫正后的右脸图像；将矫正后的左脸图像输入至第三目标关键点卷积神经网络模型，输出矫正后的第一左脸关键点的坐标，将矫正后的右脸图像输入至第四目标关键点卷积神经网络模型，输出矫正后的第一右脸关键点的坐标；根据矫正后的第一左脸关键点的坐标和第一仿射变换矩阵的逆变换，获取第二左脸关键点的坐标，根据矫正后的第一右脸关键点的坐标和所述第二仿射变换矩阵的逆变换，获取第二右脸关键点的坐标；根据第二左脸关键点的坐标和第二右脸关键点的坐标，获取人脸图像的人脸关键点的坐标。本实现方式，利用第一目标关键点卷积神经网络模型对左脸图像进行处理，根据第一目标关键点卷积神经网络模型的输出结果对左脸图像进行矫正，利用第三目标关键点卷积神经网络模型对矫正后的左脸图像进行处理，可以提升左脸关键点的定位精度，利用第二目标关键点卷积神经网络模型对右脸图像进行处理，根据第二目标关键点卷积神经网络模型的输出结果对右脸图像进行矫正，利用第四目标关键点卷积神经网络模型对矫正后的右脸图像进行处理，可以提升右脸关键点的定位精度，进而提升人脸关键点定位的精度，从而提升人脸关键点定位的精度。在一种可能的设计中，该方法还可以包括：基于姿态信息对多个训练样本进行分类，获取s个训练样本集合，训练样本包括具有关键点信息的人脸图像；从s个训练样本集合中至少三个集合中选取多个训练样本，作为训练数据；使用训练数据对两个关键点卷积神经网络模型进行训练，获取第一目标关键点卷积神经网络模型和第二目标关键点卷积神经网络模型；其中，s为大于等于3的任意整数。本实现方式，训练数据的选取可以提升模型的收敛速度，提升模型的训练速度，基于姿态信息的训练数据的选取使得训练数据可以平衡各个角度的人脸对于模型优化的影响，提升人脸关键点的定位精度。例如，可以提升对偏转角度大的人脸图像的关键点的定位精度。在一种可能的设计中，获取人脸图像，可以包括：通过终端的拍照功能或拍摄功能采集待处理图像；在所述待处理图像中截取所述人脸图像。在一种可能的设计中，该方法还可以包括：根据所述人脸关键点本文档来自技高网...

【技术保护点】
1.一种图像处理方法，其特征在于，包括：/n获取人脸图像；/n根据所述人脸图像分别获取左脸图像和右脸图像，所述左脸图像和所述右脸图像的尺寸与所述人脸图像的尺寸相同；/n将所述左脸图像输入至第一目标关键点卷积神经网络模型，输出第一左脸关键点的坐标，所述第一目标关键点卷积神经网络模型为使用具有关键点信息的左脸图像对关键点卷积神经网络模型进行训练后获取的；/n将所述右脸图像输入至第二目标关键点卷积神经网络模型，输出第一右脸关键点的坐标，所述第二目标关键点卷积神经网络模型为使用具有关键点信息的右脸图像对关键点卷积神经网络模型进行训练后获取的；/n根据所述第一左脸关键点的坐标和所述第一右脸关键点的坐标，获取人脸图像的人脸关键点的坐标。/n

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：
获取人脸图像；
根据所述人脸图像分别获取左脸图像和右脸图像，所述左脸图像和所述右脸图像的尺寸与所述人脸图像的尺寸相同；
将所述左脸图像输入至第一目标关键点卷积神经网络模型，输出第一左脸关键点的坐标，所述第一目标关键点卷积神经网络模型为使用具有关键点信息的左脸图像对关键点卷积神经网络模型进行训练后获取的；
将所述右脸图像输入至第二目标关键点卷积神经网络模型，输出第一右脸关键点的坐标，所述第二目标关键点卷积神经网络模型为使用具有关键点信息的右脸图像对关键点卷积神经网络模型进行训练后获取的；
根据所述第一左脸关键点的坐标和所述第一右脸关键点的坐标，获取人脸图像的人脸关键点的坐标。


2.根据权利要求1所述的方法，其特征在于，所述具有关键点信息的左脸图像和所述具有关键点信息的右脸图像为根据不同姿态信息的人脸图像获取的，所述不同姿态信息的人脸图像具有对应的关键点信息，所述不同姿态信息的人脸图像包括第一姿态信息的人脸图像、第二姿态信息的人脸图像和第三姿态信息的人脸图像，所述第一姿态信息用于表示人脸的偏转角度的方向为向左的姿态信息，所述第二姿态信息用于表示人脸的偏转角度的方向为正向的姿态信息，所述第三姿态信息用于表示人脸的偏转角度的方向为右向的姿态信息。


3.根据权利要求1或2所述的方法，其特征在于，所述根据所述第一左脸关键点的坐标和所述第一右脸关键点的坐标，获取人脸图像的人脸关键点的坐标，包括：
根据所述第一左脸关键点的坐标确定第一仿射变换矩阵；
根据所述第一仿射变换矩阵和所述左脸图像获取矫正后的左脸图像；
将所述矫正后的左脸图像输入至第三目标关键点卷积神经网络模型，输出矫正后的第一左脸关键点的坐标；
根据所述矫正后的第一左脸关键点的坐标和所述第一仿射变换矩阵的逆变换，获取第二左脸关键点的坐标；
根据所述第二左脸关键点的坐标和所述第一右脸关键点的坐标，获取人脸图像的人脸关键点的坐标。


4.根据权利要求1或2所述的方法，其特征在于，所述根据所述第一左脸关键点的坐标和所述第一右脸关键点的坐标，获取人脸图像的人脸关键点的坐标，包括：
根据所述第一右脸关键点的坐标确定第二仿射变换矩阵；
根据所述第二仿射变换矩阵和所述右脸图像获取矫正后的右脸图像；
将所述矫正后的右脸图像输入至第四目标关键点卷积神经网络模型，输出矫正后的第一右脸关键点的坐标；
根据所述矫正后的第一右脸关键点的坐标和所述第二仿射变换矩阵的逆变换，获取第二右脸关键点的坐标；
根据所述第二右脸关键点的坐标和所述第一左脸关键点的坐标，获取人脸图像的人脸关键点的坐标。


5.根据权利要求1或2所述的方法，其特征在于，所述根据所述第一左脸关键点的坐标和所述第一右脸关键点的坐标，获取人脸图像的人脸关键点的坐标，包括：
根据所述第一左脸关键点的坐标确定第一仿射变换矩阵，根据所述第一右脸关键点的坐标确定第二仿射变换矩阵；
根据所述第一仿射变换矩阵和所述左脸图像获取矫正后的左脸图像，根据所述第二仿射变换矩阵和所述右脸图像获取矫正后的右脸图像；
将所述矫正后的左脸图像输入至第三目标关键点卷积神经网络模型，输出矫正后的第一左脸关键点的坐标，将所述矫正后的右脸图像输入至第四目标关键点卷积神经网络模型，输出矫正后的第一右脸关键点的坐标；
根据所述矫正后的第一左脸关键点的坐标和所述第一仿射变换矩阵的逆变换，获取第二左脸关键点的坐标，根据所述矫正后的第一右脸关键点的坐标和所述第二仿射变换矩阵的逆变换，获取第二右脸关键点的坐标；
根据所述第二左脸关键点的坐标和所述第二右脸关键点的坐标，获取人脸图像的人脸关键点的坐标。


6.根据权利要求2至5任一项所述的方法，其特征在于，所述方法还包括：
基于姿态信息对多个训练样本进行分类，获取s个训练样本集合，所述训练样本包括具有关键点信息的人脸图像；
从所述s个训练样本集合中至少三个集合中选取多个训练样本，作为训练数据；
使用所述训练数据对两个关键点卷积神经网络模型进行训练，获取所述第一目标关键点卷积神经网络模型和所述第二目标关键点卷积神经网络模型；
其中，s为大于等于3的任意整数。


7.根据权利要求1至6任一项所述的方法，其特征在于，所述获取人脸图像，包括：
通过终端的拍照功能或拍摄功能采集待处理图像；
在所述待处理图像中截取所述人脸图像。


8.根据权利要求7所述的方法，其特征在于，所述方法还包括：
根据所述人脸关键点的坐标确定驾驶员行为，根据所述驾驶员行为确定是否发出告警信号。


9.根据权利要求7所述的方法，其特征在于，所述方法还包括：
根据所述人脸关键点的坐标和美颜效果参数对所述待处理图像进行调整，在图像预览界面显示调整后的待处理图像；
所述美颜效果参数包括虚拟装饰参数、瘦脸参数、眼睛大小调整参数、磨皮去痘参数、皮肤美白参数、牙齿美白参数和腮红参数中至少一项或其组合。


10.根据权利要求9所述的方法，其特征在于，在显示调整后的待处理图像之前，所述方法还包括：
根据所述人脸关键点的坐标和所述人脸图像，获取关键点人脸图像，所述关键点人脸图像中标记有所述人脸关键点；
在所述图像预览界面显示关键点人脸图像；
接收用户输入的关键点调整指令，所述关键点调整指令用于指示调整后的人脸关键点；
所述根据所述人脸关键点的坐标和美颜效果参数对所述待处理图像进行调整，包括：
根据所述调整后的人脸关键点和美颜效果参数对所述待处理图像进行调整。


11.根据权利要求7所述的方法，其特征在于，所述方法还包括：
根据所述人脸关键点的坐标进行人脸识别。


12.根据权利要求11所述的方法，其特征在于，所述根据所述人脸关键点的坐标进行人脸识别，包括：
根据所述人脸关键点的坐标对所述人脸图像进行特征提取，获取人脸图像特征；
将所述人脸图像特征与数据库中的特征模板进行匹配，输出识别结果。


13.一种图像处理方法，其特征在于，包括：
根据不同姿态信息的人脸图像获取具有关键点信息的左脸图像和具有关键点信息的右脸图像，所述不同姿态信息的人脸图像具有对应的关键点信息；
使用所述具有关键点信息的左脸图像对关键点卷积神经网络模型进行训练，获取第一目标关键点卷积神经网络模型，所述第一目标关键点卷积神经网络模型用于对输入的左脸图像进行处理，输出左脸关键点的坐标；
使用所述具有关键点信息的右脸图像对关键点卷积神经网络模型进行训练，获取第二目标关键点卷积神经网络模型，所述第二目标关键点卷积神经网络模型用于对输入的右脸图像进行处理，输出右脸关键点的坐标；
其中，所述姿态信息用于反映人脸的偏转角度。


14.根据权利要求13所述的方法，其特征在于，所述不同姿态信息的人脸图像包括第一姿态信息的人脸图像、第二姿态信息的人脸图像和第三姿态信息的人脸图像，所述第一姿态信息用于表示人脸的偏转角度的方向为向左的姿态信息，所述第二姿态信息用于表示人脸的偏转角度的方向为正向的姿态信息，所述第三姿态信息用于表示人脸的偏转角度的方向为右向的姿态信息。


15.根据权利要求14所述的方法，其特征在于，所述方法还包括：
基于姿态信息对多个训练样本进行分类，获取s个训练样本集合，所述训练样本包括具有关键点信息的人脸图像；
从所述s个训练样本集合中至少三个集合中选取多个训练样本，作为所述不同姿态信息的人脸图像；
其中，s为大于等于3的任意整数。


16.一种图像处理装置，其特征在于，包括：
获取模块，用于获取人脸图像；
处理模块，根据所述人脸图像分别获取左脸图像和右脸图像，所述左脸图像和所述右脸图像的尺寸与所述人脸图像的尺寸相...

【专利技术属性】
技术研发人员：杨赟，李松江，遇冰，冯柏岚，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东;44