一种基于多阶段注意力相关性学习的跨域人脸生成方法技术

本发明专利技术提供了一种基于多阶段注意力相关性学习的跨域人脸生成方法，包括：将热成像人脸图像输入第一对抗网络模型中，基于构建的第一注意力相关性分析模块和第一通道

【技术实现步骤摘要】
一种基于多阶段注意力相关性学习的跨域人脸生成方法


[0001]本专利技术涉及图像合成领域，尤其涉及一种基于多阶段注意力相关性学习的跨域人脸生成方法。

技术介绍

[0002]跨域人脸生成是指通过人工智能及机器学习技术，将人的面部特征应用到图像上，从而生成一个合成图像。跨域人脸生成是当今生成模型领域的热门研究课题，跨域人脸生成包括许多不同域的转换，如热成像人脸到可见光人脸，近红外人脸到可见光人脸，画像人脸到真实照片等等，是一项具有挑战性和现实性的研究课题。近年来，无论是传统方法还是深度学习方法，在跨域人脸生成方面都取得了很大的进展。传统方法通常依靠统计模型或特征表示来弥合不同领域之间的差距，一般包括三种类型:子空间学习方法，稀疏表示方法和贝叶斯推理方法。
[0003]近年来，基于深度学习模型的人脸生成方法逐渐成为跨域人脸生成的研究热点。深度学习模型包括对抗网络模型(GAN模型)，对抗网络模型由一个生成器和一个判别器组成，生成器负责生成合成图像，判别器负责判断生成图像是否真实，通过不断迭代训练，生成器和判别器相互博弈，最终生成逼真的合成图像。
[0004]现有GAN模型基于单阶段网络，由于跨域人脸生成在安防、娱乐以及医疗看护等各种实际应用领域的计算机视觉中发挥着重要的作用。然而，作为一项具有挑战性的任务，现有跨域人脸生成方法对人脸五官、面部轮廓以及色彩光照等条件的学习不够深入而存在一定的局限性，尤其是对于热成像人脸图像，其图像含义在于每个像素点指代的是温度信息，其图像与可见光人脸不能达到像素级对齐导致数据分布差异较大，因此热成像人脸图像能够提供的图像信息相对较少，故在实际应用中，上述跨域人脸生成效果一般不能达到理想的结果。

技术实现思路

[0005]本专利技术实施例的目的在于提供一种基于多阶段注意力相关性学习的跨域人脸生成方法，先通过第一对抗网络模型对抗博弈学习热成像图像到可见光人脸图像的单向跨域映射关系，再通过第二对抗网络模型学习可见光人脸图像和热成像图像组成跨域图像对的跨域特征联系，减少跨域图像对的跨域特征差异，从而达到跨域特征对齐的目的。解决了现有对抗网络模型忽略跨域人脸特征之间差异和联系造成人脸合成图像质量不高问题。
[0006]具体技术方案如下：
[0007]一种基于多阶段注意力相关性学习的跨域人脸生成方法，包括：
[0008]将热成像人脸图像输入第一对抗网络模型中，基于构建的第一注意力相关性分析模块和第一通道
‑
空间注意力交叉连接融合模块，所述第一对抗网络模型生成可见光人脸图像；
[0009]把所述可见光人脸图像和所述热成像人脸图像组成跨域图像对；
[0010]将所述跨域图像对输入第二对抗网络模型，所述第二对抗网络模型对所述跨域图像初步跨域人脸特征融合；
[0011]开启所述第一对抗网络模型和所述第二对抗网络模型的交替训练，基于构建的第二注意力相关性分析模块和第二通道
‑
空间注意力交叉连接融合模块，所述第二对抗网络模型生成跨域可见光人脸合成图像。
[0012]在本专利技术的一个实施例中，所述热成像人脸图像输入第一对抗网络模型之前，先获取热成像图像并将其预处理成所述热成像人脸图像；
[0013]热成像图像的预处理包括：调整图像大小、划分训练集和测试集、图像数据增强。
[0014]在本专利技术的一个实施例中，热成像图像的预处理过程包括：
[0015]对热成像图像调整图像大小；
[0016]对热成像图像进行标准化处理以及数据增强；
[0017]结束对热成像图像的预处理，得到训练集和测试集。
[0018]在本专利技术的一个实施例中，所述构建第一注意力相关性分析模块和第一通道
‑
空间注意力交叉连接融合模块，包括：
[0019]搭建对应第一注意力相关性分析模块中通道注意力模块和空间注意力模块的注意力分数打分，设置ACL注意力相关性损失模块计算并通过反向传播提高两个特征分数图之间的相关性；
[0020]搭建第一通道
‑
空间注意力交叉连接融合模块，在第一通道
‑
空间注意力交叉连接融合模块中将通道注意力模块和空间注意力模块得到的两个所述特征分数图进行交叉连接，提取注意力信息；
[0021]结束第一注意力相关性分析模块和第一通道
‑
空间注意力交叉连接融合模块的构建，获得第一对抗网络模型中生成器的核心模块。
[0022]在本专利技术的一个实施例中，所述第一对抗网络模型生成可见光人脸图像，包括：
[0023]所述第一对抗网络模型中输入的热成像人脸图像X，将所述第一对抗网络模型的生成器作为G，生成可见光人脸图像的公式如下：
[0024][0025]公式(1)中，G(X)表示所述第一对抗网络模型生成的所述可见光人脸图像；X为输入图像，表示所述可见光人脸图像共有n种不同分辨率，当n＝3，其中为128*128分辨率的所述可见光人脸图像，为64*64分辨率的所述可见光人脸图像，为32*32分辨率的所述可见光人脸图像；
[0026]所述第一对抗网络模型的鉴别器D有n个独立的鉴别器D
i
，i＝1...n；
[0027]所述第一对抗网络模型的生成器G与鉴别器D的对抗损失公式如下：
[0028][0029]公式(2)中，min
G
max
D
V(D，G)表示从判别器的角度令损失最大化，从生成器的角度令损失最小化，让判别器和生成器在共享损失的情况下实现对抗；其中，E表示期望，表示所有x都是真实数据时logD(x)的期望；
表示所有数据都是生成数据时log(1
‑
D(G(z))的期望；通过共享公式(2)的损失函数，所述第一对抗网络模型的生成器与判别器实现在训练过程中互相对抗。
[0030]在本专利技术的一个实施例中，把所述可见光人脸图像和所述热成像人脸图像组成跨域图像对，包括：
[0031]构建跨域融合块CDF进行初步跨域信息融合，将生成目标域图像与输入源域图像作为跨域输入对、分别作为辅助图像信息和主要图像信息在跨域融合块CDF中进行结合。
[0032]在本专利技术的一个实施例中，开启所述第一对抗网络模型和所述第二对抗网络模型的交替训练，包括：
[0033]第100轮之前，训练所述第一对抗网络模型；
[0034]从第100轮开始，对所述第一对抗网络模型和所述第二对抗网络模型交替训练；
[0035]所述第一对抗网络模型和所述第二对抗网络模型通过误差反向传播进行参数学习。
[0036]在本专利技术的一个实施例中，构建的第二注意力相关性分析模块和第二通道
‑
空间注意力交叉连接融合模块，包括：
[0037]构建所述第二对抗网络模型的第二注意力相关性分析模块，第二注意力相关性分析模块采用注意力机制和相关性分析思想结合设计而成，第二注意力相关性分析模块包括两个结构一样本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多阶段注意力相关性学习的跨域人脸生成方法，其特征在于，包括：将热成像人脸图像输入第一对抗网络模型中，基于构建的第一注意力相关性分析模块和第一通道
‑
空间注意力交叉连接融合模块，所述第一对抗网络模型生成可见光人脸图像；把所述可见光人脸图像和所述热成像人脸图像组成跨域图像对；将所述跨域图像对输入第二对抗网络模型，所述第二对抗网络模型对所述跨域图像初步跨域人脸特征融合；开启所述第一对抗网络模型和所述第二对抗网络模型的交替训练，基于构建的第二注意力相关性分析模块和第二通道
‑
空间注意力交叉连接融合模块，所述第二对抗网络模型生成跨域可见光人脸合成图像。2.根据权利要求1所述的一种基于多阶段注意力相关性学习的跨域人脸生成方法，其特征在于，所述热成像人脸图像输入第一对抗网络模型之前，先获取热成像图像并将其预处理成所述热成像人脸图像；热成像图像的预处理包括：调整图像大小、划分训练集和测试集、图像数据增强。3.根据权利要求2所述的一种基于多阶段注意力相关性学习的跨域人脸生成方法，其特征在于，热成像图像的预处理过程包括：对热成像图像调整图像大小；对热成像图像进行标准化处理以及数据增强；结束对热成像图像的预处理，得到训练集和测试集。4.根据权利要求1所述的一种基于多阶段注意力相关性学习的跨域人脸生成方法，其特征在于，所述构建第一注意力相关性分析模块和第一通道
‑
空间注意力交叉连接融合模块，包括：搭建对应第一注意力相关性分析模块中通道注意力模块和空间注意力模块的注意力分数打分，设置ACL注意力相关性损失模块计算并通过反向传播提高两个特征分数图之间的相关性；搭建第一通道
‑
空间注意力交叉连接融合模块，在第一通道
‑
空间注意力交叉连接融合模块中将通道注意力模块和空间注意力模块得到的两个所述特征分数图进行交叉连接，提取注意力信息；结束第一注意力相关性分析模块和第一通道
‑
空间注意力交叉连接融合模块的构建，获得第一对抗网络模型中生成器的核心模块。5.根据权利要求1所述的一种基于多阶段注意力相关性学习的跨域人脸生成方法，其特征在于，所述第一对抗网络模型生成可见光人脸图像，包括：所述第一对抗网络模型中输入的热成像人脸图像X，将所述第一对抗网络模型的生成器作为G，生成可见光人脸图像的公式如下：公式(1)中，G(X)表示所述第一对抗网络模型生成的所述可见光人脸图像；X为输入图像，表示所述可见光人脸图像共有n种不同分辨率，当n＝3，其中为128*128分辨率的所述可见光人脸图像，为64*64分辨率的所述可见光人脸图像，为32*32分辨率的所述可见光人脸图像；
所述第一对抗网络模型的鉴别器D有n个独立的鉴别器D
i
，i＝1
…
n；所述第一对抗网络模型的生成器G与鉴别器D的对抗损...

【专利技术属性】
技术研发人员：刘旭，焦李成，李东昊，孙其功，刘芳，唐旭，张轩铭，熊霖，赵鹏飞，呼延宁，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：