图像处理方法、装置、电子设备、存储介质及程序制造方法及图纸

本申请实施方式公开了一种图像处理方法、装置、电子设备、存储介质及程序，其中的图像处理方法主要包括：获取至少包括眼睛区域的待处理图像；基于神经网络从所述待处理图像中提取虹膜关键点信息，所述虹膜关键点信息用于描述虹膜在待处理图像中的位置。

Image processing method, device, electronic device, storage medium and program

The embodiment of this application discloses an image processing method, device, electronic device, storage medium and program, in which the image processing method mainly includes: acquiring the image to be processed including at least the eye area; extracting iris key point information from the image to be processed based on neural network, and the iris key point message. It is used to describe the location of iris in the image to be processed.

【技术实现步骤摘要】
图像处理方法、装置、电子设备、存储介质及程序
本申请涉及计算机视觉技术，尤其是涉及一种图像处理方法、图像处理装置、电子设备、计算机可读存储介质以及计算机程序。
技术介绍
人脸关键点是人脸识别等诸多应用中不可或缺的一部分。准确的确定出人脸关键点，尤其是准确精细的确定出人脸中的相应器官的关键点，不仅有利于增强人脸的语义信息，而且有利于提高人脸关键点的应用范围。
技术实现思路
本申请实施方式提供一种图像处理技术方案。根据本申请实施方式其中一个方面，提供了一种图像处理方法，该方法包括：获取至少包括眼睛区域的待处理图像；基于神经网络从所述待处理图像中提取虹膜关键点信息，所述虹膜关键点信息用于描述虹膜在待处理图像中的位置。在本申请一实施方式中，所述虹膜关键点包括：虹膜轮廓关键点和/或虹膜中心关键点。在本申请又一实施方式中，所述虹膜关键点包括：处于被遮挡位置处的虹膜关键点，和/或，处于未被遮挡位置处的虹膜关键点。在本申请再一实施方式中，所述虹膜轮廓关键点包括：虹膜轮廓处的16-24个关键点。在本申请再一实施方式中，所述待处理图像包括：基于预定侧单眼的待处理图像；或者，基于双侧单眼的待处理图像；或者，基于双眼的待处理图像。在本申请再一实施方式中，所述获取至少包括眼睛区域的待处理图像包括：确定待处理人脸图像中的眼睛区域；根据所述眼睛区域对所述待处理人脸图像进行切割，所述切割出的眼睛区域的图像块被作为所述待处理图像。在本申请再一实施方式中，所述获取至少包括眼睛区域的待处理图像包括：确定待处理人脸图像中的眼睛区域；根据所述眼睛区域对所述待处理人脸图像进行切割，得到单眼区域的图像块；将所述单眼区域的图像块进行镜像处理，所述单眼区域的图像块和/或镜像处理后的图像块被作为所述待处理图像。在本申请再一实施方式中，所述确定人脸图像中的眼睛区域包括：基于神经网络获取所述待处理人脸图像的初始人脸关键点信息；根据所述初始人脸关键点信息确定所述待处理人脸图像中的眼睛区域。在本申请再一实施方式中，所述方法还包括：将所述虹膜关键点信息中的基于待处理图像的坐标信息转换为基于待处理人脸图像的坐标信息。在本申请再一实施方式中，所述神经网络是基于带有虹膜关键点标注数据的样本数据集训练而得。在本申请再一实施方式中，所述虹膜关键点标注数据采用以下步骤获取：获取眼睛图像样本中的虹膜轮廓的曲线控制点；根据所述曲线控制点形成曲线；采用插值方式在所述曲线中插入多个点，所述插入的点的信息为所述虹膜关键点标注数据。在本申请再一实施方式中，所述眼睛图像样本通过下述步骤获得：确定人脸图像样本中的眼睛区域；根据所述眼睛区域对所述人脸图像样本进行切割，所述切割出的眼睛区域的图像块被作为所述眼睛图像样本。在本申请再一实施方式中，所述眼睛图像样本通过下述步骤获得：确定人脸图像样本中的眼睛区域；根据所述眼睛区域对所述人脸图像样本进行切割，得到单眼区域的图像块；将所述单眼区域的图像块进行镜像处理，所述单眼区域的图像块和/或镜像处理后的图像块被作为所述眼睛图像样本。在本申请再一实施方式中，所述眼睛图像样本的获得过程还包括：对所述作为眼睛图像样本的图像块进行变换处理；根据所述变换处理对所述图像块的虹膜关键点标注数据进行处理；将变换处理后的图像块作为所述眼睛图像样本，所述眼睛图像样本的虹膜关键点标注数据为所述处理后的虹膜关键点标注数据。在本申请再一实施方式中，所述变换处理包括：平移、旋转以及缩放处理中的一个或者多个。在本申请再一实施方式中，所述方法还包括：根据所述虹膜关键点信息进行以下至少之一处理：人脸的图像渲染、变脸处理、美颜处理、美妆处理、人脸识别、人脸状态检测、表情检测、视线跟踪。根据本申请实施方式其中另一个方面，提供了一种图像处理装置，该装置包括：输入图像模块，用于获取至少包括眼睛区域的待处理图像；获取关键点模块，用于基于神经网络从所述待处理图像中提取虹膜关键点信息；其中，所述虹膜关键点信息用于描述虹膜在待处理图像中的位置。在本申请一实施方式中，所述装置还包括：训练模块，用于基于样本数据集训练所述神经网络；其中，所述样本数据集包括：虹膜关键点标注数据。在本申请又一实施方式中，所述装置还包括：标注模块，所述标注模块用于：获取眼睛图像样本中的虹膜轮廓的曲线控制点；根据所述曲线控制点形成曲线；采用插值方式在所述曲线中插入多个点，所述插入的点的信息为所述虹膜关键点标注数据。在本申请再一实施方式中，所述装置还包括：第一样本模块，用于：确定人脸图像样本中的眼睛区域；根据所述眼睛区域对所述人脸图像样本进行切割，将所述切割出的眼睛区域的图像块作为所述眼睛图像样本。在本申请再一实施方式中，所述装置还包括：第二样本模块，用于：确定人脸图像样本中的眼睛区域；根据所述眼睛区域对所述人脸图像样本进行切割，得到单眼区域的图像块；将所述单眼区域的图像块进行镜像处理，将所述单眼区域的图像块和/或镜像处理后的图像块作为所述眼睛图像样本。在本申请再一实施方式中，所述装置还包括：变换处理模块，用于：对作为眼睛图像样本的图像块进行变换处理；根据所述变换处理对所述作为眼睛图像样本的图像块的虹膜关键点标注数据进行处理；将变换处理后的图像块作为所述眼睛图像样本，所述眼睛图像样本的虹膜关键点标注数据为所述处理后的虹膜关键点标注数据。在本申请再一实施方式中，所述装置还包括：处理模块，用于：根据所述虹膜关键点信息进行以下至少之一处理：人脸的图像渲染、变脸处理、美颜处理、美妆处理、人脸识别、人脸状态检测、表情检测、视线跟踪。根据本申请实施方式的再一个方面，提供了一种电子设备，包括：存储器，用于存储计算机程序；处理器，用于执行所述存储器中存储的计算机程序，且所述计算机程序被执行时，实现本申请任一实施方式的图像处理方法中的步骤。根据本申请实施方式的再一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现本申请任一实施方式的图像处理方法中的步骤。根据本申请实施方式的再一个方面，提供一种计算机程序，包括计算机指令，当所述计算机指令在设备的处理器中运行时，实现本申请任一实施方式的图像处理方法中的步骤。基于本申请提供的图像处理方法、图像处理装置、电子设备以及计算机可读存储介质，本申请通过利用神经网络提取待处理图像中的虹膜关键点信息(例如，虹膜轮廓关键点和/或者虹膜中心关键点信息)，这样，可以利用虹膜关键点信息有效的描述出虹膜在待处理图像中的精细位置，因此，本申请提供的技术方案可以应用于需要确定人的视线方向，以进一步确定人的状态、以及针对虹膜和/或者虹膜之外的眼球区域进行美化处理等多种应用场景中。由此可知，本申请不仅有利于增强人脸的语义信息，而且有利于提高人脸关键点的应用范围。下面通过附图和实施方式，对本申请的技术方案做进一步的详细描述。附图说明构成说明书的一部分的附图描述了本申请的实施方式，并且连同描述一起用于解释本申请的原理。参照附图，根据下面的详细描述，可以更加清楚地理解本申请，其中：图1为本申请方法一个实施方式的流程图；图2为本申请的虹膜关键点的示意图；图3为本申请的训练神经网络的流程图；图4为本申请的标注人脸图像样本的流程图；图5为本申请装置一个实施方式的结构示意图；图6为实现本申请实施方式本文档来自技高网...

【技术保护点】
1.一种图像处理方法，其特征在于，包括：获取至少包括眼睛区域的待处理图像；基于神经网络从所述待处理图像中提取虹膜关键点信息，所述虹膜关键点信息用于描述虹膜在待处理图像中的位置。

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：获取至少包括眼睛区域的待处理图像；基于神经网络从所述待处理图像中提取虹膜关键点信息，所述虹膜关键点信息用于描述虹膜在待处理图像中的位置。2.根据权利要求1所述的方法，其特征在于，所述虹膜关键点包括：虹膜轮廓关键点和/或虹膜中心关键点。3.根据权利要求1至2中任一所述的方法，其特征在于，所述虹膜关键点包括：处于被遮挡位置处的虹膜关键点，和/或，处于未被遮挡位置处的虹膜关键点。4.根据权利要求2至3中任一所述的方法，其特征在于，所述虹膜轮廓关键点包括：虹膜轮廓处的16-24个关键点。5.根据权利要求1至4中任一所述的方法，其特征在于，所述待处理图像包括：基于预定侧单眼的待处理图像；或者基于双侧单眼的待处理图像；或者基于双眼的待处理图像。6.根据权利要求1至5中任一所述的方法，其特征在于，所述获取至少包括眼睛区域的待处理图像包括：确定待处理...

【专利技术属性】
技术研发人员：王权，王飞，钱晨，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：北京,11