【技术实现步骤摘要】
基于自注意力的深度生成式对抗网络的人脸图像补全方法
本专利技术涉及图像处理与深度学习领域，具体而言，涉及一种基于自注意力的深度生成式对抗网络的人脸图像补全方法。
技术介绍
数字图像在网络传输、硬盘保存以及拍摄不当等时，容易造成图像不全，部分残缺或损毁等情况，所以图像补全技术可大量应用于文物样貌恢复、破损或部分污染的照片的修复、影视特技制作、图像中文本、水印、障碍物或特定物体的剔除等等方面。但是目前主流图像修补的方案仅仅通过图像搜索、匹配、滤波等传统方法进行补全，此类方案的核心就是利用图像本身的冗余性，基于patch-based图像合成，已成功应用于PhotoshopCS5及以后版本中，但更多适用于背景修复任务。此类方法假定缺失块能在背景区域的某个地方找得到，而人脸修复则是更具挑战性的情况，此时涉及到复杂的，非重复的结构的修复，并且这些方法不能抓住待修补图像的高层语义，所以应用在人脸图像时，效果很差。深度卷积神经网络拥有强大的特征表达能力，并且已经应用到图像修复领域，且取得了一定程度的成功。利用深度神经网络来学习理解图像中的高层语义特征，学习完整人脸图像的像素点概率...
【技术保护点】
1.一种基于自注意力的深度生成式对抗网络的人脸图像补全方法，其特征在于，包括如下步骤：步骤S0，构建模型：构建包括注意力循环神经网络模块、生成器网络和判别器网络的人脸图像补全模型；步骤S1，数据采集：收集海量人脸图像形成图像集，并将所述图像集分为训练集和测试集，其中训练集占98％，测试集占2％；步骤S2，图像预处理：从训练集中随机选取人脸图像并对图像预处理，使其大小适合在深度学习网络中进行处理；步骤S3，构造作为模型输入的破损人脸图像：随机生成缺失区域块，并得到对应标记矩阵M和破损人脸图像作为模型输入图像，
【技术特征摘要】
1.一种基于自注意力的深度生成式对抗网络的人脸图像补全方法，其特征在于，包括如下步骤：步骤S0，构建模型：构建包括注意力循环神经网络模块、生成器网络和判别器网络的人脸图像补全模型；步骤S1，数据采集：收集海量人脸图像形成图像集，并将所述图像集分为训练集和测试集，其中训练集占98％，测试集占2％；步骤S2，图像预处理：从训练集中随机选取人脸图像并对图像预处理，使其大小适合在深度学习网络中进行处理；步骤S3，构造作为模型输入的破损人脸图像：随机生成缺失区域块，并得到对应标记矩阵M和破损人脸图像作为模型输入图像，其中i为所得到的破损/残缺图像，Igt是训练集中的完整图像，M是和图像一样大小的标记矩阵，元素由0和1组成，1代表破损/缺失像素，0代表良好像素；步骤S4，训练模型：利用GAN框架结合多种正则化手段，直接端到端地同时训练生成器网络和判别器网络，具体为：将破损人脸图像读入内存形成多维数组或张量送入生成器网络和判别器网络，由生成器网络和判别器网络目标函数驱动整个模型进行反向传播训练，当二者达到理论上的纳什平衡时，生成器网络生成的图像也即最终的补全图像会使判别器网络无法分辨是否来自训练集样本，判别器网络输出数值接近为1/2，则模型训练完成；步骤S5，测试模型：将测试图片输入到训练好的人脸图像补全模型中，输出并拼接所得最后修复图片。2.根据权利要求1所述的人脸图像补全方法，其特征在于，所述生成器网络包括AttentiveRNN模块和编码-解码器模块，训练时，输入的破损人脸图像首先通过AttentiveRNN模块得到对应的注意力映射，然后将此注意力映射与输入的破损人脸图像做张量拼接，隐式地指导后续的编码-解码器模块补全图像，最后通过函数Tanh映射输出补全人脸图像。3.根据权利要求2所述的人脸图像补全方法，其特征在于，所述补全人脸图像输出...
【专利技术属性】
技术研发人员：刘楚波，刘晓伟，朱宁波，李肯立，陈建国，陈岑，李克勤，
申请(专利权)人：湖南大学，
类型：发明
国别省市：湖南,43
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。