基于人眼关键点的眼瞳替换方法及装置制造方法及图纸

本发明专利技术提出了一种基于人眼关键点的眼瞳替换方法及装置，其中该方法包括：获取人脸图像，并对其进行人眼关键点检测以获取上眼皮关键点、下眼皮关键点以及人眼区域；根据上眼皮关键点和下眼皮关键点分别进行贝塞尔曲线拟合以获得上眼皮曲线和下眼皮曲线；对人眼区域进行图像处理以获得眼瞳的mask；根据上眼皮曲线、下眼皮曲线和眼瞳的mask提取眼瞳与眼皮的交界区域，并计算交界区域的羽化参数；获取模板眼瞳，并根据眼瞳的mask对模板眼瞳进行调整；将调整后的模板眼瞳与人眼区域进行融合，并在融合过程中根据羽化参数对超出交界区域的模板眼瞳进行羽化处理；由此，本发明专利技术只需要少量的人工辅助就可以快速地完成眼瞳替换，大大提高了图像处理的效率。

Method and Device of Pupil Replacement Based on Key Points of Human Eye

【技术实现步骤摘要】
基于人眼关键点的眼瞳替换方法及装置
本专利技术涉及图像处理
，特别涉及一种基于人眼关键点的眼瞳替换方法、一种基于人眼关键点的眼瞳替换装置以及一种计算机可读存储介质和计算机设备。
技术介绍
人物照片由于其拍摄的光线不佳或者人物本身精气神不足的原因，通常会出现两眼浑浊无光，需要对眼睛进行替换的情况。目前常用的眼瞳替换方法，是采用Photoshop等软件进行处理，但是，采用该方式的操作过程较为复杂，需要较长时间学习和使用才能熟练操作；即使操作者能熟练操作也需要具有一定的耐心和细心才可完成，导致整个处理过程费时费力。
技术实现思路
本专利技术旨在至少在一定程度上解决上述技术中的技术问题之一。为此，本专利技术的一个目的在于提出一种基于人眼关键点的眼瞳替换方法，只需要少量的人工辅助就可以快速地完成眼瞳替换，大大提高了图像处理的效率。本专利技术的第二个目的在于提出一种计算机可读存储介质。本专利技术的第三个目的在于提出一种计算机设备。本专利技术的第四个目的在于提出一种基于人眼关键点的眼瞳替换装置。为达到上述目的，本专利技术第一方面实施例提出了一种基于人眼关键点的眼瞳替换方法，该方法包括以下步骤：获取待处理的人脸图像，并对所述人脸图像进行人眼关键点检测以获取上眼皮关键点、下眼皮关键点以及人眼区域；根据所述上眼皮关键点和所述下眼皮关键点分别进行贝塞尔曲线拟合以获得上眼皮曲线和下眼皮曲线；对所述人眼区域进行图像处理以获得眼瞳的mask；根据所述上眼皮曲线、所述下眼皮曲线和所述眼瞳的mask提取眼瞳与眼皮的交界区域，并计算所述交界区域的羽化参数；获取模板眼瞳，并根据所述眼瞳的mask对所述模板眼瞳进行调整；将调整后的模板眼瞳与所述人眼区域进行融合，并在融合过程中根据所述羽化参数对超出所述交界区域的模板眼瞳进行羽化处理。根据本专利技术实施例的基于人眼关键点的眼瞳替换方法，首先获取待处理的人脸图像，并对人脸图像进行人眼关键点检测以获取上眼皮关键点、下眼皮关键点以及人眼区域；再根据上眼皮关键点和下眼皮关键点分别进行贝塞尔曲线拟合以获得上眼皮曲线和下眼皮曲线；并对人眼区域进行图像处理以获得眼瞳的mask；接着根据上眼皮曲线、下眼皮曲线和眼瞳的mask提取眼瞳与眼皮的交界区域，并计算交界区域的羽化参数；并获取模板眼瞳，并根据眼瞳的mask对模板眼瞳进行调整；然后将调整后的模板眼瞳与人眼区域进行融合，并在融合过程中根据羽化参数对超出交界区域的模板眼瞳进行羽化处理。由此，本专利技术能够通过半自动化的方式实现眼瞳的替换处理，只需简单的对模板眼瞳位置与大小进行确认微调，即可有效地完成眼瞳替换，极大程度地提高了图像处理的效率，同时也节省了人力资源和时间成本。另外，根据本专利技术上述实施例提出的基于人眼关键点的眼瞳替换方法还可以具有如下附加的技术特征：可选地，对所述人眼区域进行图像处理以获得眼瞳的mask，包括：对所述人眼区域进行二值化处理以获得二值化图像；对所述二值化图像进行开闭运算与连通域检索以获得所述眼瞳的mask。可选地，根据以下公式计算所述交界区域的羽化参数：r1=r0*（H1/H0），其中，r1为所述羽化参数，r0为预设的边缘羽化数值，H0为参考眼瞳高度，H1为当前眼瞳高度。可选地，根据所述眼瞳的mask对所述模板眼瞳进行调整，包括：取C/(A+B-C)的最大值，以调整所述模板眼瞳的大小与位置，其中，A为所述眼瞳的mask所对应的区域，B为所述模板眼瞳对应的区域，C为A与B的交叉重叠区域。为达到上述目的，本专利技术第二方面实施例提出了一种计算机可读存储介质，其上存储有基于人眼关键点的眼瞳替换程序，该基于人眼关键点的眼瞳替换程序被处理器执行时实现如上述的基于人眼关键点的眼瞳替换方法。根据本专利技术实施例的计算机可读存储介质，通过存储基于人眼关键点的眼瞳替换程序，这样基于人眼关键点的眼瞳替换程序被处理器执行时实现如上述的基于人眼关键点的眼瞳替换方法，从而能够通过半自动化的方式实现眼瞳的替换处理，只需简单的对模板眼瞳位置与大小进行确认微调，即可有效地完成眼瞳替换，极大程度地提高了图像处理的效率，同时也节省了人力资源和时间成本。为达到上述目的，本专利技术第三方面实施例提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如上述的基于人眼关键点的眼瞳替换方法。根据本专利技术实施例的计算机设备，通过存储器存储基于人眼关键点的眼瞳替换程序，这样基于人眼关键点的眼瞳替换程序被处理器执行时实现如上述的基于人眼关键点的眼瞳替换方法，从而能够通过半自动化的方式实现眼瞳的替换处理，只需简单的对模板眼瞳位置与大小进行确认微调，即可有效地完成眼瞳替换，极大程度地提高了图像处理的效率，同时也节省了人力资源和时间成本。为达到上述目的，本专利技术第四方面实施例提出了一种基于人眼关键点的眼瞳替换装置，包括：第一获取模块，用于获取待处理的人脸图像；人眼关键点检测模块，用于对所述人脸图像进行人眼关键点检测以获取上眼皮关键点、下眼皮关键点以及人眼区域；曲线拟合模块，用于根据所述上眼皮关键点和所述下眼皮关键点分别进行贝塞尔曲线拟合以获得上眼皮曲线和下眼皮曲线；图像处理模块，用于对所述人眼区域进行图像处理以获得眼瞳的mask；计算模块，用于根据所述上眼皮曲线、所述下眼皮曲线和所述眼瞳的mask提取眼瞳与眼皮的交界区域，并计算所述交界区域的羽化参数；第二获取模块，用于获取模板眼瞳；调整模块，用于根据所述眼瞳的mask对所述模板眼瞳进行调整；融合模块，用于将调整后的模板眼瞳与所述人眼区域进行融合，并在融合过程中根据所述羽化参数对超出所述交界区域的模板眼瞳进行羽化处理。根据本专利技术实施例提供的基于人眼关键点的眼瞳替换装置，通过第一获取模块获取待处理的人脸图像；再通过曲线拟合模块根据上眼皮关键点和下眼皮关键点分别进行贝塞尔曲线拟合以获得上眼皮曲线和下眼皮曲线；并通过图像处理模块对人眼区域进行图像处理以获得眼瞳的mask；接着采用计算模块根据上眼皮曲线、下眼皮曲线和眼瞳的mask提取眼瞳与眼皮的交界区域，并计算交界区域的羽化参数；并通过第二获取模块获取模板眼瞳；然后通过调整模块根据眼瞳的mask对模板眼瞳进行调整；最后采用融合模块将调整后的模板眼瞳与人眼区域进行融合，并在融合过程中根据羽化参数对超出交界区域的模板眼瞳进行羽化处理。由此，本专利技术能够通过半自动化的方式实现眼瞳的替换处理，只需简单的对模板眼瞳位置与大小进行确认微调，即可有效地完成眼瞳替换，极大程度地提高了图像处理的效率，同时也节省了人力资源和时间成本。另外，根据本专利技术上述实施例提出的基于人眼关键点的眼瞳替换装置还可以具有如下附加的技术特征：可选地，所述图像处理模块进一步用于，对所述人眼区域进行二值化处理以获得二值化图像，并对所述二值化图像进行开闭运算与连通域检索以获得所述眼瞳的mask。可选地，所述计算模块根据以下公式计算所述交界区域的羽化参数：r1=r0*（H1/H0），其中，r1为所述羽化参数，r0为预设的边缘羽化数值，H0为参考眼瞳高度，H1为当前眼瞳高度。可选地，所述调整模块进一步用于，取C/(A+B-C)的最大值，以调整所述模板眼瞳的大小与位置，其中，A为所述眼瞳的mask所对应的区域，B为所述模板眼本文档来自技高网...

【技术保护点】
1.一种基于人眼关键点的眼瞳替换方法，其特征在于，包括以下步骤：获取待处理的人脸图像，并对所述人脸图像进行人眼关键点检测以获取上眼皮关键点、下眼皮关键点以及人眼区域；根据所述上眼皮关键点和所述下眼皮关键点分别进行贝塞尔曲线拟合以获得上眼皮曲线和下眼皮曲线；对所述人眼区域进行图像处理以获得眼瞳的mask；根据所述上眼皮曲线、所述下眼皮曲线和所述眼瞳的mask提取眼瞳与眼皮的交界区域，并计算所述交界区域的羽化参数；获取模板眼瞳，并根据所述眼瞳的mask对所述模板眼瞳进行调整；将调整后的模板眼瞳与所述人眼区域进行融合，并在融合过程中根据所述羽化参数对超出所述交界区域的模板眼瞳进行羽化处理。

【技术特征摘要】
1.一种基于人眼关键点的眼瞳替换方法，其特征在于，包括以下步骤：获取待处理的人脸图像，并对所述人脸图像进行人眼关键点检测以获取上眼皮关键点、下眼皮关键点以及人眼区域；根据所述上眼皮关键点和所述下眼皮关键点分别进行贝塞尔曲线拟合以获得上眼皮曲线和下眼皮曲线；对所述人眼区域进行图像处理以获得眼瞳的mask；根据所述上眼皮曲线、所述下眼皮曲线和所述眼瞳的mask提取眼瞳与眼皮的交界区域，并计算所述交界区域的羽化参数；获取模板眼瞳，并根据所述眼瞳的mask对所述模板眼瞳进行调整；将调整后的模板眼瞳与所述人眼区域进行融合，并在融合过程中根据所述羽化参数对超出所述交界区域的模板眼瞳进行羽化处理。2.如权利要求1所述的基于人眼关键点的眼瞳替换方法，其特征在于，对所述人眼区域进行图像处理以获得眼瞳的mask，包括：对所述人眼区域进行二值化处理以获得二值化图像；对所述二值化图像进行开闭运算与连通域检索以获得所述眼瞳的mask。3.如权利要求1或2所述的基于人眼关键点的眼瞳替换方法，其特征在于，根据以下公式计算所述交界区域的羽化参数：r1=r0*（H1/H0），其中，r1为所述羽化参数，r0为预设的边缘羽化数值，H0为参考眼瞳高度，H1为当前眼瞳高度。4.如权利要求1或2所述的基于人眼关键点的眼瞳替换方法，其特征在于，根据所述眼瞳的mask对所述模板眼瞳进行调整，包括：取C/(A+B-C)的最大值，以调整所述模板眼瞳的大小与位置，其中，A为所述眼瞳的mask所对应的区域，B为所述模板眼瞳对应的区域，C为A与B的交叉重叠区域。5.一种计算机可读存储介质，其特征在于，其上存储有基于人眼关键点的眼瞳替换程序，该基于人眼关键点的眼瞳替换程序被处理器执行时实现如权利要求1-4中任一项所述的基于人眼关键点的眼瞳替换方法。6.一种计算机设备，包括存储器、处理器及存储在...

【专利技术属性】
技术研发人员：李文镇，林杰兴，
申请(专利权)人：厦门欢乐逛科技股份有限公司，
类型：发明
国别省市：福建,35