图像处理方法、装置及计算机设备、存储介质、程序产品制造方法及图纸

本申请实施例提供了一种图像处理方法、装置及计算机设备、存储介质、程序产品，可以应用于人工智能技术中的计算机视觉技术领域。该图像处理方法包括：获取待处理人脸图像；对待处理人脸图像进行人脸特征点预测，得到待处理人脸图像的人脸特征点，并基于人脸特征点对待处理人脸图像进行人脸校准处理，得到目标人脸图像；人脸校准处理用于将待处理人脸图像与标准人脸进行对齐；基于人脸特征点，在目标人脸图像中确定眼部区域图像；对眼部区域图像进行眼部特征点预测，得到眼部区域图像的眼部特征点。采用本申请实施例，可以较为准确地从人脸图像中提取眼部特征点。图像中提取眼部特征点。图像中提取眼部特征点。

【技术实现步骤摘要】
图像处理方法、装置及计算机设备、存储介质、程序产品


[0001]本申请涉计算机
，尤其涉及人工智能
，具体涉及一种图像处理方法、一种图像处理装置、一种计算机设备、一种计算机可读存储介质、以及一种计算机可读程序产品。

技术介绍

[0002]随着人工智能技术的快速发展，基于人工智能技术从人脸图像中提取的眼部特征点被广泛应用于游戏、社交、电影、AR(Augmented Reality，增强现实)、VR(Virtual Reality，虚拟现实)、XR(Extended Reality，扩展现实)、虚拟人、以及数字人等诸多领域。目前，眼部特征点的提取方式为：使用端到端的CNN(Convolutional Neural Network，卷积神经网络)模型预测人脸图像中的全部人脸特征点(包括眼睛、眉毛、鼻子、嘴巴、脸颊等部位的特征点)的方式来提取眼部特征点；在该方式中，关注的是全部人脸特征点的整体准确性，而对于眼睛、眉毛、鼻子、嘴巴、脸颊等中任一部位的特征点，是很难保证其准确性的；特别地，对于眼睛这一部位，在半睁眼、脸部侧转角度较大等情况下，眼睛在整个人脸中的占比很小，预测的全部人脸特征点中眼部特征点的准确性非常低。可见，目前的眼部特征点提取方案难以准确地从人脸图像中提取眼部特征点。

技术实现思路

[0003]本申请实施例提供了一种图像处理方法、装置及计算机设备、存储介质、程序产品，可以较为准确地从人脸图像中提取眼部特征点。
[0004]一方面，本申请实施例提供了一种图像处理方法，该图像处理方法包括：
[0005]获取待处理人脸图像；
[0006]对待处理人脸图像进行人脸特征点预测，得到待处理人脸图像的人脸特征点，并基于人脸特征点对待处理人脸图像进行人脸校准处理，得到目标人脸图像；人脸校准处理用于将待处理人脸图像与标准人脸进行对齐；
[0007]基于人脸特征点，在目标人脸图像中确定眼部区域图像；
[0008]对眼部区域图像进行眼部特征点预测，得到眼部区域图像的眼部特征点。
[0009]相应地，本申请实施例提供了一种图像处理装置，该图像处理装置包括：
[0010]获取单元，用于获取待处理人脸图像；
[0011]处理单元，用于对待处理人脸图像进行人脸特征点预测，得到待处理人脸图像的人脸特征点，并基于人脸特征点对待处理人脸图像进行人脸校准处理，得到目标人脸图像；人脸校准处理用于将待处理人脸图像与标准人脸进行对齐；
[0012]处理单元，还用于基于人脸特征点，在目标人脸图像中确定眼部区域图像；
[0013]处理单元，还用于对眼部区域图像进行眼部特征点预测，得到眼部区域图像的眼部特征点。
[0014]在一种实现方式中，处理单元，用于对待处理人脸图像进行人脸特征点预测，得到
待处理人脸图像的人脸特征点，并基于人脸特征点对待处理人脸图像进行人脸校准处理，得到目标人脸图像时，具体用于执行如下步骤：
[0015]对待处理人脸图像进行人脸特征点预测，得到待处理人脸图像的第一人脸特征点；
[0016]基于第一人脸特征点对待处理人脸图像进行人脸校准处理，得到参考人脸图像；
[0017]对参考人脸图像进行人脸特征点预测，得到参考人脸图像的第二人脸特征点；
[0018]基于第二人脸特征点对参考人脸图像进行人脸校准处理，得到目标人脸图像。
[0019]在一种实现方式中，处理单元，用于基于第一人脸特征点对待处理人脸图像进行人脸校准处理，得到参考人脸图像时，具体用于执行如下步骤：
[0020]获取标准人脸的标准特征点；
[0021]基于第一人脸特征点与标准特征点，将待处理人脸图像中的人脸与标准人脸对齐，得到参考人脸图像。
[0022]在一种实现方式中，处理单元，用于基于第一人脸特征点与标准特征点，将待处理人脸图像中的人脸与标准人脸进行对齐，得到参考人脸图像时，具体用于执行如下步骤：
[0023]根据第一人脸特征点与标准特征点之间的差异，计算用于对待处理人脸图像进行旋转变换的旋转信息；
[0024]按照旋转信息对待处理人脸图像进行旋转变换，得到参考人脸图像。
[0025]在一种实现方式中，眼部特征点预测由眼部特征点提取模型执行；
[0026]处理单元，用于对眼部区域图像进行眼部特征点预测，得到眼部区域图像的眼部特征点时，具体用于执行如下步骤：
[0027]获取眼部区域图像的眼部方向；
[0028]若眼部区域图像的眼部方向与眼部特征点提取模型提取的眼部方向一致，则调用眼部特征点提取模型提取眼部区域图像的眼部特征点。
[0029]在一种实现方式中，处理单元，用于对眼部区域图像进行眼部特征点预测，得到眼部区域图像的眼部特征点时，还用于执行如下步骤：
[0030]若眼部区域图像的眼部方向与眼部特征点提取模型提取的眼部方向不一致，则对眼部区域图像进行翻转处理，得到翻转眼部图像；
[0031]调用眼部特征点提取模型提取翻转眼部图像的眼部特征点；
[0032]对翻转眼部图像的眼部特征点进行翻转处理，得到眼部区域图像的眼部特征点。
[0033]在一种实现方式中，眼部特征点预测由眼部特征点提取模型执行，眼部特征点提取模型包括眼睑特征点提取子模型和虹膜特征点提取子模型；
[0034]处理单元，用于对眼部区域图像进行眼部特征点预测，得到眼部区域图像的眼部特征点时，具体用于执行如下步骤：
[0035]调用眼睑特征点提取子模型提取眼部区域图像的眼睑特征点；
[0036]调用虹膜特征点提取子模型提取眼部区域图像的虹膜特征点；
[0037]对眼部区域图像的眼睑特征点和眼部区域图像的虹膜特征点进行组合，得到眼部区域图像的眼部特征点。
[0038]在一种实现方式中，眼部特征点预测由眼部特征点提取模型执行，眼部特征点提取模型包括眼睑特征点提取子模型和虹膜特征点提取子模型；眼部特征点提取模型的训练
过程包括：
[0039]获取训练样本数据，训练样本数据包括眼睑样本图像和虹膜样本图像；
[0040]调用眼睑特征点提取子模型提取眼睑样本图像的预测眼睑特征点，并基于预测眼睑特征点确定眼睑特征点提取子模型的损失信息；
[0041]调用虹膜特征点提取子模型提取虹膜样本图像的预测虹膜特征点，并基于预测虹膜特征点确定虹膜特征点提取子模型的损失信息；
[0042]对眼睑特征点提取子模型的损失信息和虹膜特征点提取子模型的损失信息进行求和处理，确定眼部特征点提取模型的损失信息；
[0043]按照减小眼部特征点提取模型的损失信息的方向，更新眼部特征点提取模型的参数，以对眼部特征点提取模型进行训练。
[0044]在一种实现方式中，处理单元，用于调用眼睑特征点提取子模型提取眼睑样本图像的预测眼睑特征点时，具体用于执行如下步骤：
[0045]对眼睑样本图像进行像素增强处理，得到第一像素增本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：获取待处理人脸图像；对所述待处理人脸图像进行人脸特征点预测，得到所述待处理人脸图像的人脸特征点，并基于所述人脸特征点对所述待处理人脸图像进行人脸校准处理，得到目标人脸图像；所述人脸校准处理用于将所述待处理人脸图像中的人脸与标准人脸进行对齐；基于所述人脸特征点，在所述目标人脸图像中确定眼部区域图像；对所述眼部区域图像进行眼部特征点预测，得到所述眼部区域图像的眼部特征点。2.如权利要求1所述的方法，其特征在于，所述对所述待处理人脸图像进行人脸特征点预测，得到所述待处理人脸图像的人脸特征点，并基于所述人脸特征点对所述待处理人脸图像进行人脸校准处理，得到目标人脸图像，包括：对所述待处理人脸图像进行人脸特征点预测，得到所述待处理人脸图像的第一人脸特征点；基于所述第一人脸特征点对所述待处理人脸图像进行人脸校准处理，得到参考人脸图像；对所述参考人脸图像进行人脸特征点预测，得到所述参考人脸图像的第二人脸特征点；基于所述第二人脸特征点对所述参考人脸图像进行人脸校准处理，得到目标人脸图像。3.如权利要求2所述的方法，其特征在于，所述基于所述第一人脸特征点对所述待处理人脸图像进行人脸校准处理，得到参考人脸图像，包括：获取所述标准人脸的标准特征点；基于所述第一人脸特征点与所述标准特征点，将所述待处理人脸图像中的人脸与所述标准人脸进行对齐，得到参考人脸图像。4.如权利要求3所述的方法，其特征在于，所述基于所述第一人脸特征点与所述标准特征点，将所述待处理人脸图像中的人脸与所述标准人脸进行对齐，得到参考人脸图像，包括：根据所述第一人脸特征点与所述标准特征点之间的差异，计算用于对所述待处理人脸图像进行旋转变换的旋转信息；按照所述旋转信息对所述待处理人脸图像进行旋转变换，得到参考人脸图像。5.如权利要求1所述的方法，其特征在于，所述眼部特征点预测由眼部特征点提取模型执行；所述对所述眼部区域图像进行眼部特征点预测，得到所述眼部区域图像的眼部特征点，包括：获取所述眼部区域图像的眼部方向；若所述眼部区域图像的眼部方向与所述眼部特征点提取模型提取的眼部方向一致，则调用所述眼部特征点提取模型提取所述眼部区域图像的眼部特征点。6.如权利要求5所述的方法，其特征在于，所述对所述眼部区域图像进行眼部特征点预测，得到所述眼部区域图像的眼部特征点，还包括：若所述眼部区域图像的眼部方向与所述眼部特征点提取模型提取的眼部方向不一致，则对所述眼部区域图像进行翻转处理，得到翻转眼部图像；
调用所述眼部特征点提取模型提取所述翻转眼部图像的眼部特征点；对所述翻转眼部图像的眼部特征点进行翻转处理，得到所述眼部区域图像的眼部特征点。7.如权利要求1所述的方法，其特征在于，所述眼部特征点预测由眼部特征点提取模型执行，所述眼部特征点提取模型包括眼睑特征点提取子模型和虹膜特征点提取子模型；所述对所述眼部区域图像进行眼部特征点预测，得到所述眼部区域图像的眼部特征点，包括：调用所述眼睑特征点提取子模型提取所述眼部区域图像的眼睑特征点；调用所述虹膜特征点提取子模型提取所述眼部区域图像的虹膜特征点；对所述眼部区域图像的眼睑特征点和所述眼部区域图像的虹膜特征点进行组合，得到所述眼部区域图像的眼部特征点。8.如权利要求1所述的方法，其特征在于，所述眼部特征点预测由眼部特征点提取模型执行，所述眼部特征点提取模型包括眼睑特征点提取子模型和虹膜特征点提取子模型；所述眼部特征点提取模型的训练过程包括：获取训练样本数据，所述训练样本数据包括眼睑样本图像和虹膜样本图像；调用所述眼睑特征点提取子模型提取所述眼睑样本图像的预测眼睑特征点，并基于所述预测眼睑特征点确定所述眼睑特征点提取子模型的损失信息；调用所述虹膜特征点提取子模型提取所述虹膜样本图像的预测虹膜特征点，并基于所述预测虹膜特征点确定所述虹膜特征点提取子模型的损失信息；对所述眼睑特征点提取子模型的损失信息和所述虹膜特征点提取子模型的损失信息进行求和处理，确定所述眼部特征点提...

【专利技术属性】
技术研发人员：叶慎林，陈玉琨，高江涛，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：