一种眼部图像生成系统及方法技术方案

本发明专利技术属于换脸和数字人生成技术领域，具体为一种眼部图像生成系统及方法，包括：图像预处理模块；眼部特征点检测模块；眼部区域提取模块；眼部区域变换模块；眼球检测模块；眼球生成模块；眼部融合模块；眼部区域生成模块。本发明专利技术提出一种眼部图像生成的系统及方法，通过眼部生理特征，对眼部区域进行精细划分，将眼部区域分为不同子区域进行生成，提高眼部区域生成的真实性和自然程度，使其能够适用于换脸和数字人生成等应用领域。可以实现真实人眼任意视线方向的眼球图像生成，无需大量的数据和计算即可实现眼球区域的生成；对眼部不同区域，分区域处理，并对眼部重要的眼球特征特别做了处理，能够使眼部整体效果真实。能够使眼部整体效果真实。能够使眼部整体效果真实。

【技术实现步骤摘要】
一种眼部图像生成系统及方法


[0001]本专利技术涉及换脸和数字人生成
，具体为一种眼部图像生成系统及方法。

技术介绍

[0002]眼部图像生成，指的是在图像/视频或者三维模型的人脸贴图中，将图像中的眼部区域用另一个人的人眼生成具有其眼部真实质感的眼部图像或贴图。眼部图像生成是人脸图像生成中一个重要的组成部分。随着计算机和网络技术的发展和人们生活水平的不断提高，大众娱乐消费领域的应用层出不穷，人脸图像生成在人脸换脸、数字人生成等领域都得到了广泛应用。眼睛是人脸的重要组成部分，眼睛区域的生成效果直接影响整个人脸区域的真实感、自然感。
[0003]现有的眼部图像生成技术，主要是基于图像区域分割和深度学习方法。基于图像区域分割的方法，是利用图像分割、目标检测、语义分割的方法识别眼部区域，提取眼部区域并贴到目标人脸图像或目标贴图中眼部区域。基于深度学习的方法，主流是将整张人脸区域进行处理，通过对抗式生成网络生成与目标人脸感官一致自然的眼部图像。
[0004]基于图像分割的方法存在眼部整体区域与人脸区域衔接不自然，眼部区域和人脸区域纹理差异较大。基于深度学习的方法，能够在一定程度上解决眼部区域不自然的情况，但是生成的眼部区域一般不够真实，与真实目标的眼睛差距较大，真实感较差。同时这两种方法都未考虑真实目标人眼区域眼球的视线问题，因此无法准确表达通过眼球视线传达的人物内在情感信息。

技术实现思路

[0005]本专利技术的目的在于提供一种眼部图像生成系统及方法，以解决上述
技术介绍
中提出的问题。
[0006]为实现上述目的，本专利技术提供如下技术方案：一种眼部图像生成系统，包括：
[0007]图像预处理模块，用于获得第一眼部图像和第二眼部图像，并对所述第一眼部图像和所述第二眼部图像进行预处理后得到第三眼部图像和第四眼部图像；
[0008]眼部特征点检测模块，用于对所述第三眼部图像和所述第四眼部图像进行特征点检测，提取所述第三眼部图像和所述第四眼部图像的眼部特征点集；
[0009]眼部区域提取模块，用于根据所述第三眼部图像的眼部特征点集和所述第四眼部图像的眼部特征点集生成第三眼部区域图像和第四眼部区域图像；
[0010]眼部区域变换模块，用于将所述第四眼部区域图像和所述第四眼部图像的眼部特征点集变换到所述第一眼部图像坐标空间中，生成第五眼部变换图像和第五眼部变换图像的眼部特征点集；
[0011]眼球检测模块，用于提取所述第五眼部变换图像和所述第一眼部图像的眼球区域及眼球边界特征点；
[0012]眼球生成模块，用于根据所述第五眼部变换图像的眼球区域和所述眼球边界特征
点生成第五眼部变换图像的眼球区域；
[0013]眼部融合模块，用于将第一眼部图像的眼部区域和第五眼部变换图像的眼部区域进行融合，得到第六眼部融合图像；
[0014]眼部区域生成模块，用于将第六眼球融合图像和第一眼部图像进行纹理融合和边界处理，生成第七眼部生成图像。
[0015]优选的，所述眼部区域提取模块，根据所述眼部特征点集确定眼部边界候选区域，并利用图像处理方法确定眼部边界区域。
[0016]优选的，所述眼部区域提取模块，根据眼部特征点的不同物理含义，确定眼部候选边界，并根据图像的灰度特征和几何特征优化候选边界。
[0017]优选的，所述眼部区域变换模块，根据所述第三人脸图像和第四人脸图像的眼部特征点集和眼部边界区域，将第四眼部区域图像及所述第四眼部区域图像的眼部特征点变换到所述第一眼部图像。
[0018]优选的，所述眼部区域变换模块，基于特征点间的匹配关系进行变换，根据眼部区域的特征，采用整体变换或根据特征点进行分块变换。
[0019]优选的，所述眼球检测模块，将所述第五眼部变换图像和所述第一眼部图像进行眼球区域检测，根据眼部特征点集和图像处理方法确定眼球准确边界区域和边界点；
[0020]优选的，所述眼球检测模块，利用图像灰度信息、图像几何信息或深度学习方法结合确定眼球的边界点。
[0021]优选的，所述眼球生成模块，利用所述眼球边界点进行圆拟合，对所述第五眼部变换图像眼球部分缺失像素进行像素插值，生成所述第五眼部变换图像的眼球区域。
[0022]一种眼部图像生成方法，包括如下步骤：
[0023]1)获取第一眼部图像和第二眼部图像，并对所述第一眼部图像和所述第二眼部图像进行图像预处理，得到第三眼部图像和第四眼部图像；
[0024]2)分别对所述第三眼部图像和所述第四眼部图像进行眼部特征点检测，获得所述第三眼部图像和所述第四眼部图像的眼部特征点集；
[0025]3)分别提取所述第三眼部图像和所述第四眼部图像的眼部区域，形成第三眼部区域图像和第四眼部区域图像；
[0026]4)将所述第四眼部图像的眼部特征点集变换到所述第一眼部图像坐标空间，形成第五眼部特征点集；将所述第四眼部区域图像变换到所述第一眼部图像坐标空间，形成第五眼部变换图像；
[0027]5)对所述第五眼部变换图像和所述第一眼部图像进行眼球区域检测，得到所述第五眼部变换图像和所述第一眼部图像的眼球区域及其边界特征点；
[0028]6)根据所述第五眼部变换图像和所述第一眼部图像的眼球区域及其边界特征点，生成第五眼部变换图像的眼球区域；
[0029]7)将所述第五眼部变换图像生成的眼球区域和非眼球区域和第一眼部图像进行图像融合，得到第六眼部融合图像；
[0030]8)将所述第六眼部融合图像和所述第一眼部图像进行图像融合和边界处理，得到所述第七眼部生成图像。
[0031]优选的，所述图像预处理，包括图像画质增强，图像分辨率增强，人眼贴图正投影
操作，所述眼部特征点包括眼部内外轮廓特征点、眼球特征点、瞳孔特征点、视线追踪点，视线追踪点是人眼视线方向的一种特征表达，利用视线追踪的特征点描述人眼的视线方向信息。
[0032]与现有技术相比，本专利技术的有益效果是：
[0033]本专利技术提出一种眼部图像生成的系统及方法，通过眼部生理特征，对眼部区域进行精细划分，将眼部区域分为不同子区域进行生成，提高眼部区域生成的真实性和自然程度，使其能够适用于换脸和数字人生成等应用领域。生成的眼部区域和视线方向真实、自然，清晰度高；可以实现真实人眼任意视线方向的眼球图像生成，无需大量的数据和计算即可实现眼球区域的生成；对眼部不同区域，分区域处理，并对眼部重要的眼球特征特别做了处理，能够使眼部整体效果真实。
附图说明
[0034]图1为本专利技术生成方法流程图。
具体实施方式
[0035]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0036]在本专利技术的描述中，需要理本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种眼部图像生成系统，其特征在于，包括：图像预处理模块，用于获得第一眼部图像和第二眼部图像，并对所述第一眼部图像和所述第二眼部图像进行预处理后得到第三眼部图像和第四眼部图像；眼部特征点检测模块，用于对所述第三眼部图像和所述第四眼部图像进行特征点检测，提取所述第三眼部图像和所述第四眼部图像的眼部特征点集；眼部区域提取模块，用于根据所述第三眼部图像的眼部特征点集和所述第四眼部图像的眼部特征点集生成第三眼部区域图像和第四眼部区域图像；眼部区域变换模块，用于将所述第四眼部区域图像和所述第四眼部图像的眼部特征点集变换到所述第一眼部图像坐标空间中，生成第五眼部变换图像和第五眼部变换图像的眼部特征点集；眼球检测模块，用于提取所述第五眼部变换图像和所述第一眼部图像的眼球区域及眼球边界特征点；眼球生成模块，用于根据所述第五眼部变换图像的眼球区域和所述眼球边界特征点生成第五眼部变换图像的眼球区域；眼部融合模块，用于将第一眼部图像的眼部区域和第五眼部变换图像的眼部区域进行融合，得到第六眼部融合图像；眼部区域生成模块，用于将第六眼球融合图像和第一眼部图像进行纹理融合和边界处理，生成第七眼部生成图像。2.根据权利要求1所述的一种眼部图像生成系统，其特征在于，所述眼部区域提取模块，根据所述眼部特征点集确定眼部边界候选区域，并利用图像处理方法确定眼部边界区域。3.根据权利要求1所述的一种眼部图像生成系统，其特征在于，所述眼部区域提取模块，根据眼部特征点的不同物理含义，确定眼部候选边界，并根据图像的灰度特征和几何特征优化候选边界。4.根据权利要求1所述的一种眼部图像生成系统，其特征在于，所述眼部区域变换模块，根据所述第三人脸图像和第四人脸图像的眼部特征点集和眼部边界区域，将第四眼部区域图像及所述第四眼部区域图像的眼部特征点变换到所述第一眼部图像。5.根据权利要求1所述的一种眼部图像生成系统，其特征在于，所述眼部区域变换模块，基于特征点间的匹配关系进行变换，根据眼部区域的特征，采用整体变换或根据特征点进行分块变换。6.根据权利要求1所述的一种眼部图像生成系统，其特征在于，...

【专利技术属性】
技术研发人员：杜华，王语堂，岳宗，赵朋飞，
申请(专利权)人：兰州未来新影文化科技集团有限责任公司，
类型：发明
国别省市：