图片处理方法、装置和计算机可读存储介质制造方法及图纸

本公开提出一种图片处理方法、装置和计算机可读存储介质，涉及图像处理技术领域。本公开的一种图片处理方法，包括：将通过第一域的特征提取器提取的图片特征输入第一生成对抗网络的生成器，获取补齐后的特征；将补齐后的特征输入第二生成对抗网络的生成器，获取风格迁移图片；其中，第一生成对抗网络训练用的真实环境中拍摄的图片和训练完成后生成的图片归属于第一域，第二生成对抗网络训练用的图片和训练完成后生成的图片归属于第二域，第一域和第二域的隐空间对齐。通过这样的方法，能够基于通过生成对抗网络的生成能力，完成对人物特征的补齐，并引入风格迁移任务，从而提高图像风格迁移效果的适用范围和可信度。像风格迁移效果的适用范围和可信度。像风格迁移效果的适用范围和可信度。

【技术实现步骤摘要】
图片处理方法、装置和计算机可读存储介质


[0001]本公开涉及图像处理
，特别是一种图片处理方法、装置和计算机可读存储介质。

技术介绍

[0002]人物识别系统中，由于背景、光照、角度、摄像机参数等因素变化往往导致人物特征提取缺失或存在错误，在直接应用场景下性能较差，而基于这样的图像的进一步处理的效果也会收到干扰。

技术实现思路

[0003]本公开的一个目的在于提高图像风格迁移效果的适用范围和可信度。
[0004]根据本公开的一些实施例的一个方面，提出一种图片处理方法，包括：将通过第一域的特征提取器提取的图片特征输入第一生成对抗网络的生成器，获取补齐后的特征，第一生成对抗网络的生成器被训练为补齐真实环境中拍摄的图片的缺失特征；将补齐后的特征输入第二生成对抗网络的生成器，获取风格迁移图片，第二生成对抗网络的生成器被训练为将输入的特征还原为同第二域图片一致风格的图片；其中，第一生成对抗网络训练用的真实环境中拍摄的图片和训练完成后生成的图片归属于第一域，第二生成对抗网络训练用的图片和训练完成后生成的图片归属于第二域，第一域和第二域的隐空间对齐。
[0005]在一些实施例中，图片处理方法还包括：基于已知特征的图片训练第一生成对抗网络；获取第一生成对抗网络的生成器补齐的数据，和已知特征的图片归属的第一域；基于归属于第二域的图片训练第二生成对抗网络；将第一域与第二域的隐空间对齐。
[0006]在一些实施例中，基于已知特征的图片训练第一生成对抗网络包括：根据真实环境中拍摄的图片通过第一域的特征提取器获取人物特征向量；将人物特征向量中随机省略一项或多项特征，通过第一生成对抗网络的生成器补齐特征；第一生成对抗网络的判别器基于已知的人物特征向量判断生成器补齐的特征的真假；重复执行通过第一生成对抗网络的生成器补齐特征的操作，直至判别器的输出达到预定第一目标。
[0007]在一些实施例中，基于归属于不同风格的图片训练第二生成对抗网络包括：将归属于第二域的图片通过第二域的特征提取器获取风格图片特征；将所述风格图片特征输入第二生成对抗网络的生成器以便更改图片的风格；第二生成对抗网络的判别器判断第二生成对抗网络的生成器输出的图片是否归属于第二域；重复执行向第二生成对抗网络的生成器输入归属于第二域的图片的操作，直至判别器的输出达到预定第二目标。
[0008]在一些实施例中，将第一域与第二域的隐空间对齐包括：分别在第一域的网络结构和第二域的网络结构的编码Encoder层的数据引入隐层，且将第一生成对抗网络和第二生成对抗网络中引入的隐层的数据绑定；将归属于第一域的第一图片输入第一域的网络结构，通过隐层后获取第一向量；第二域的网络结构的解码decoder层根据第一向量获取第二图片；将第二图片输入第二域的网络结构的encoder层，通过隐层后获取第二向量；获取第
一向量与第二向量间的距离；重复执行将归属于第一域的相同或不同的第一图片输入第一生成对抗网络的操作，直至第一向量与第二向量间的距离小于预定损失值。
[0009]在一些实施例中，第一生成对抗网络的生成层基于的算法包括循环神经网络RNN、门控循环单元GRU或长短期记忆网络LSTM；第一对抗网网络的判别器基于的算法包括多层感知器MLP、支持向量机SVM、朴素贝叶斯。
[0010]在一些实施例中，第二生成对抗网络的生成器基于的算法包括神经网路；第二对抗网网络的判别器基于的算法包括MLP、SVM、朴素贝叶斯。
[0011]通过这样的方法，能够基于通过GAN的生成能力，通过人物的部分特征联想出剩余特征，完成对人物特征的补齐，并引入风格迁移任务，从而提高图像风格迁移效果的适用范围和可信度。
[0012]根据本公开的一些实施例的一个方面，提出一种图片处理装置，包括：补齐单元，被配置为将通过第一域的特征提取器提取的图片特征输入第一生成对抗网络的生成器，获取补齐后的特征，第一生成对抗网络的生成器被训练为补齐真实环境中拍摄的图片的缺失特征；风格迁移单元，被配置为将补齐后的特征输入第二生成对抗网络的生成器，获取风格迁移图片，第二生成对抗网络的生成器被训练为将输入的特征归属的图片修改为第二域的图片的风格；其中，第一生成对抗网络训练用的真实环境中拍摄的图片和训练完成后生成的图片归属于第一域，第二生成对抗网络训练用的图片和训练完成后生成的图片归属于第二域，第一域和第二域的隐空间对齐。
[0013]在一些实施例中，图片处理装置还包括：第一训练单元，被配置为基于已知特征的图片训练第一生成对抗网络；第一域获取单元，被配置为获取第一生成对抗网络的生成器补齐的数据，和已知特征的图片归属的第一域；第二训练单元，被配置为基于归属于第二域的图片训练第二生成对抗网络；隐空间对齐单元，被配置为将第一域与第二域的隐空间对齐。
[0014]根据本公开的一些实施例的一个方面，提出一种图片处理装置，包括：存储器；以及耦接至存储器的处理器，处理器被配置为基于存储在存储器的指令执行上文中任意一种图片处理方法。
[0015]这样的装置能够基于通过GAN的生成能力，通过人物的部分特征联想出剩余特征，完成对人物特征的补齐，并引入风格迁移任务，从而提高图像风格迁移效果的适用范围和可信度。
[0016]根据本公开的一些实施例的一个方面，提出一种计算机可读存储介质，其上存储有计算机程序指令，该指令被处理器执行时实现上文中任意一种图片处理方法的步骤。
[0017]通过执行这样的计算机可读存储介质上的指令，能够基于通过GAN的生成能力，通过人物的部分特征联想出剩余特征，完成对人物特征的补齐，并引入风格迁移任务，提高图像风格迁移效果的适用范围和可信度。
附图说明
[0018]此处所说明的附图用来提供对本公开的进一步理解，构成本公开的一部分，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。在附图中：
[0019]图1为本公开的图片处理方法的一些实施例的流程图。
[0020]图2为本公开的图片处理方法中生成对抗网络生成方法的一些实施例的流程图。
[0021]图3为本公开的图片处理方法的一些实施例的示意图。
[0022]图4为本公开的图片处理装置的一些实施例的示意图。
[0023]图5为本公开的图片处理装置的另一些实施例的示意图。
[0024]图6为本公开的图片处理装置的又一些实施例的示意图。
具体实施方式
[0025]下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。
[0026]本公开的图片处理方法的一些实施例的流程图如图1所示。
[0027]在步骤101中，将图片的特征输入第一生成对抗网络的生成器，获取图片的补齐特征。在一些实施例中，先将待处理的图片输入第一域的特征提取器，将提取的特征输入第一生成对抗网络的生成器。在一些实施例中，第一生成对抗网络的生成器被训练为补齐真实环境中拍摄的图片的缺失特征。
[0028]在步骤102中，将图片的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图片处理方法，包括：将通过第一域的特征提取器提取的图片特征输入第一生成对抗网络的生成器，获取补齐后的特征，所述第一生成对抗网络的生成器被训练为补齐真实环境中拍摄的图片的缺失特征；将补齐后的特征输入第二生成对抗网络的生成器，获取风格迁移图片，所述第二生成对抗网络的生成器被训练为将输入的特征还原为同第二域的图片风格一致的图片；其中，所述第一生成对抗网络训练用的真实环境中拍摄的图片和训练完成后生成的图片归属于第一域，所述第二生成对抗网络训练用的图片和训练完成后生成的图片归属于第二域，所述第一域和所述第二域的隐空间对齐。2.根据权利要求1所述的方法，还包括：基于已知特征的图片训练第一生成对抗网络；获取所述第一生成对抗网络的生成器补齐的数据，和所述已知特征的图片归属的第一域；基于归属于第二域的图片训练第二生成对抗网络；将所述第一域与所述第二域的隐空间对齐。3.根据权利要求2所述的方法，其中，所述基于已知特征的图片训练生成第一生成对抗网络包括：根据真实环境中拍摄的图片通过第一域的特征提取器获取人物特征向量；将所述人物特征向量中随机省略一项或多项特征，通过所述第一生成对抗网络的生成器补齐特征；所述第一生成对抗网络的判别器基于已知的所述人物特征向量判断所述生成器补齐的特征的真假；重复执行通过所述第一生成对抗网络的生成器补齐特征的操作，直至所述判别器的输出达到预定第一目标。4.根据权利要求2所述的方法，其中，所述基于归属于不同风格的图片训练生成第二生成对抗网络包括：将归属于第二域的图片通过第二域的特征提取器获取风格图片特征；将所述风格图片特征输入所述第二生成对抗网络的生成器以便更改图片的风格；所述第二生成对抗网络的判别器判断所述第二生成对抗网络的生成器输出的图片是否归属于所述第二域；重复执行向将归属于第二域的图片通过第二域的特征提取器获取风格图片特征的操作，直至所述判别器的输出达到预定第二目标。5.根据权利要求2所述的方法，其中，所述将所述第一域与所述第二域的隐空间对齐包括：分别在所述第一域的网络结构和所述第二域的网络结构的编码Encoder层后引入隐层，且将所述第一生成对抗网络和所述第二生成对抗网络中引入的隐层的数据绑定；将归属于第一域的第一图片输入所述第一域的网络结构，通过隐层后获取第...

【专利技术属性】
技术研发人员：胡婕，孙楚雄，张星星，张超颖，
申请(专利权)人：中国电信股份有限公司，
类型：发明
国别省市：