本发明专利技术公开了一种基于自注意力网络的人脸图像增强方法、系统及介质，方法包括：基于自注意力网络构建初始生成对抗模型；通过人脸数据库获取第一人脸图像，根据所述第一人脸图像对所述初始生成对抗模型进行训练，得到第一生成对抗模型；获取实际场景的第二人脸图像，根据所述第二人脸图像对所述第一生成对抗模型进行训练，得到第二生成对抗模型；获取待增强的第三人脸图像，将所述第三人脸图像输入到所述第二生成对抗模型，得到增强后的第四人脸图像。本发明专利技术使得输出的增强图像更能体现人脸图像数据的整体细节，保障了人脸图像的完整性和准确性，提高了人脸图像增强的效率。本发明专利技术可广泛应用于图像处理技术领域。广泛应用于图像处理技术领域。广泛应用于图像处理技术领域。
【技术实现步骤摘要】
基于自注意力网络的人脸图像增强方法、系统及介质
[0001]本专利技术涉及图像处理
，尤其是一种基于自注意力网络的人脸图像增强方法、系统及介质。
技术介绍
[0002]在建设智慧校园的过程中，平安校园是很重要的一环，这其中包括了人脸检测识别，人员在校园内的布控以及他们在校园内所经过的节点的绘制，所有这些需求点都需要摄像机进行抓拍后由后台人工智能来进行分析与鉴别。但在实际工程项目中，很多时候由于物体的运动或遮挡，亦或是抓拍角度不佳或光线昏暗，亦或是纯粹的样本太少，往往抓拍不到足够高质量的图像来完成识别模型的高效训练，这就需要一种能基于现有的图像数据进行数据增强的方法。
[0003]现有的常见数据增强方案：在需要进行数据增强的业务场景下，一般都会使用生成对抗网络来进行图像数据的增强，具体流程是将真实数据图片输入模型后，模型会自动生成增强后的数据图像，达到增强原识别模型能力的目的。生成对抗网络模型内部核心分为两个部分，分别是生成器和判别器，在训练生成对抗模型的时候，通常是交替训练这两个子模型，也就是利用它们之间的博弈对抗，最后寻求到一个纳什平衡来进行数据增强。具体来说生成器负责生成尽可能真实的数据图片来让判别器误以为真，它的输入是噪声向量，而它的输出是尽可能逼真的图像数据，判别器负责尽量分辨出哪些输入是真实数据而哪些数据是生成器生成的，它的输入是图像数据，而它的输出是真或假。
[0004]现有技术中，通常基于卷积神经网络搭建的生成对抗网络模型中的生成器与判别器，通过数次上采样、全连接层、卷积层、正则化处理之后输出生成的图像数据。然而基于卷积神经网络搭建的生成对抗模型只有局部的感受野，图像的深层的细节会随着模型的训练而丢失，影响了图像的完整性和准确性。
技术实现思路
[0005]本专利技术的目的在于至少一定程度上解决现有技术中存在的技术问题之一。
[0006]为此，本专利技术实施例的一个目的在于提供一种基于自注意力网络的人脸图像增强方法，该方法本专利技术实施例采用自注意力网络作为生成对抗模型的基本单元，代替了原有的神经网络底层架构，使得生成对抗模型会更关注于图像各部分的联系，从而使得输出的增强图像更能体现人脸图像数据的整体细节，保障了人脸图像的完整性和准确性；通过人脸数据库和实际场景的人脸数据对生成对抗模型进行两次训练，使得生成对抗模型具备更强的人脸图像数据增强能力，并具有一定的后续泛化能力，从而提高了人脸图像增强的效率。
[0007]本专利技术实施例的另一个目的在于提供一种基于自注意力网络的人脸图像增强系统。
[0008]为了达到上述技术目的，本专利技术实施例所采取的技术方案包括：
[0009]第一方面，本专利技术实施例提供了一种基于自注意力网络的人脸图像增强方法，包括以下步骤：
[0010]基于自注意力网络构建初始生成对抗模型；
[0011]通过人脸数据库获取第一人脸图像，根据所述第一人脸图像对所述初始生成对抗模型进行训练，得到第一生成对抗模型；
[0012]获取实际场景的第二人脸图像，根据所述第二人脸图像对所述第一生成对抗模型进行训练，得到第二生成对抗模型；
[0013]获取待增强的第三人脸图像，将所述第三人脸图像输入到所述第二生成对抗模型，得到增强后的第四人脸图像。
[0014]进一步地，在本专利技术的一个实施例中，所述基于自注意力网络构建初始生成对抗模型这一步骤，其具体包括：
[0015]构建自注意力网络，所述自注意力网络包括输入嵌入层、注意力机制模块和前馈模块；
[0016]根据所述自注意力网络构建生成器和判别器；
[0017]根据所述生成器和所述判别器构建所述初始生成对抗模型。
[0018]进一步地，在本专利技术的一个实施例中，所述生成器包括多层感知机、多个上采样模块以及第一线性压平层，所述上采样模块包括所述自注意力网络和上采样层。
[0019]进一步地，在本专利技术的一个实施例中所述判别器包括多个所述自注意力网络和第二线性平压层。
[0020]进一步地，在本专利技术的一个实施例中，所述通过人脸数据库获取第一人脸图像，根据所述第一人脸图像对所述初始生成对抗模型进行训练，得到第一生成对抗模型这一步骤，其具体为：
[0021]通过人脸数据库获取第一人脸图像，将所述第一人脸图像输入到所述初始生成对抗模型，对所述生成器和判别器进行交替训练，直至所述生成器和所述判别器达到纳什平衡，得到所述第一生成对抗模型。
[0022]进一步地，在本专利技术的一个实施例中，所述获取实际场景的第二人脸图像，根据所述第二人脸图像对所述第一生成对抗模型进行训练，得到第二生成对抗模型这一步骤，其具体包括：
[0023]在人脸识别系统的实际场景中进行抓拍，获取所述第二人脸图像；
[0024]将所述第二人脸图像输入到所述第一生成对抗模型，对所述生成器和判别器进行交替训练，直至所述生成器和所述判别器达到纳什平衡，得到所述第二生成对抗模型。
[0025]进一步地，在本专利技术的一个实施例中，所述将所述第三人脸图像输入到所述第二生成对抗模型，得到增强后的第四人脸图像这一步骤，其具体包括：
[0026]将所述第三人脸图像输入到所述第二生成对抗模型的生成器；
[0027]通过所述多层感知机对所述第三人脸图像进行感知生成自注意力token；
[0028]通过所述自注意力网络对所述自注意力token进行编码后通过上采样层进行上采样，得到第一增强数据；
[0029]通过所述第一线性压平层对所述第三人脸图像和所述第一增强数据进行融合，得到增强后的第四人脸图像。
[0030]第二方面，本专利技术实施例提供了一种基于自注意力网络的人脸图像增强系统，包括：
[0031]生成对抗模型构建模块，用于基于自注意力网络构建初始生成对抗模型；
[0032]第一模型训练模块，用于通过人脸数据库获取第一人脸图像，根据所述第一人脸图像对所述初始生成对抗模型进行训练，得到第一生成对抗模型；
[0033]第二模型训练模块，用于获取实际场景的第二人脸图像，根据所述第二人脸图像对所述第一生成对抗模型进行训练，得到第二生成对抗模型；
[0034]图像增强模块，用于获取待增强的第三人脸图像，将所述第三人脸图像输入到所述第二生成对抗模型，得到增强后的第四人脸图像。
[0035]第三方面，本专利技术实施例提供了一种基于自注意力网络的人脸图像增强装置，包括：
[0036]至少一个处理器；
[0037]至少一个存储器，用于存储至少一个程序；
[0038]当所述至少一个程序被所述至少一个处理器执行时，使得所述至少一个处理器实现上述的一种基于自注意力网络的人脸图像增强方法。
[0039]第四方面，本专利技术实施例还提供了一种计算机可读存储介质，其中存储有处理器可执行的程序，所述处理器可执行的程序在由处理器执行时用于执行上述的一种基于自注意力网络的人脸图像增强方法。
[0040]本专利技术的优点和有本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于自注意力网络的人脸图像增强方法，其特征在于，包括以下步骤：基于自注意力网络构建初始生成对抗模型；通过人脸数据库获取第一人脸图像，根据所述第一人脸图像对所述初始生成对抗模型进行训练，得到第一生成对抗模型；获取实际场景的第二人脸图像，根据所述第二人脸图像对所述第一生成对抗模型进行训练，得到第二生成对抗模型；获取待增强的第三人脸图像，将所述第三人脸图像输入到所述第二生成对抗模型，得到增强后的第四人脸图像。2.根据权利要求1所述的一种基于自注意力网络的人脸图像增强方法，其特征在于，所述基于自注意力网络构建初始生成对抗模型这一步骤，其具体包括：构建自注意力网络，所述自注意力网络包括输入嵌入层、注意力机制模块和前馈模块；根据所述自注意力网络构建生成器和判别器；根据所述生成器和所述判别器构建所述初始生成对抗模型。3.根据权利要求2所述的一种基于自注意力网络的人脸图像增强方法，其特征在于：所述生成器包括多层感知机、多个上采样模块以及第一线性压平层，所述上采样模块包括所述自注意力网络和上采样层。4.根据权利要求2所述的一种基于自注意力网络的人脸图像增强方法，其特征在于：所述判别器包括多个所述自注意力网络和第二线性平压层。5.根据权利要求2所述的一种基于自注意力网络的人脸图像增强方法，其特征在于，所述通过人脸数据库获取第一人脸图像，根据所述第一人脸图像对所述初始生成对抗模型进行训练，得到第一生成对抗模型这一步骤，其具体为：通过人脸数据库获取第一人脸图像，将所述第一人脸图像输入到所述初始生成对抗模型，对所述生成器和判别器进行交替训练，直至所述生成器和所述判别器达到纳什平衡，得到所述第一生成对抗模型。6.根据权利要求1所述的一种基于自注意力网络的人脸图像增强方法，其特征在于，所述获取实际场景的第二人脸图像，根据所述第二人脸图像对所述第一生成对抗模型进行训练，得到第二生成对抗模型这一步骤，其具体包括：在人脸识别系统的实际...
【专利技术属性】
技术研发人员：蔡奕杰，陆音，郁建峰，陈子阳，许旻昱，徐兵荣，
申请(专利权)人：天翼物联科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。