一种基于自注意变换的图像和谐化系统技术方案

本发明专利技术涉及图像处理技术领域，具体公开了两种基于自注意变换的非解耦和解耦的图像和谐化系统，利用自注意变换网络强大的远程上下文建模能力，采用非解耦图像和谐化模块，在合成图像的特征空间中利用自注意变换网络充分挖掘前景与背景之间的关系，以指导合成图像和谐化；或，采用解耦图像和谐化模块，利用自注意变换编码器和解码器解耦背景图像光的隐向量编码，进而将背景光隐向量编码和反射率特征图像通过另一个自注意变换解码器进行融合，以生成光照本征图像，最终将反射率本征图像与光照本征图像相乘得到和谐化的图像，实现了在保持合成图像语义和结构不变的同时调整前景光照使其与背景光照相兼容，以此解决合成图像前景与背景的不和谐问题。与背景的不和谐问题。与背景的不和谐问题。

【技术实现步骤摘要】
一种基于自注意变换的图像和谐化系统


[0001]本专利技术涉及图像处理
，尤其涉及一种基于自注意变换的图像和谐化系统。

技术介绍

[0002]将不同图像的任意区域组合成一幅视觉感知真实的合成图像是计算机视觉和图形学许多应用研究的一项基本任务，例如图像合成、图像拼接、图像编辑以及场景合成等，同时图像合成也是人类日常生活中的一种普遍操作。然而，将一幅图像的部分区域(称作合成图像的前景)复制并粘贴到另一幅图像(称作合成图像的背景)中进而得到的合成图像，由于其前景区域和背景区域(合成图像中除前景区域的其他区域)的成像环境(例如白天和黑夜，晴天和阴天，室内和室外)不同将不可避免地出现合成图像前景和背景外观不和谐一致的问题。因此，如何通过一种简单高效的手段使得合成图像看起来更加真实，即图像和谐化，是一项重要且具有挑战性的任务。
[0003]传统的图像和谐化方法着重于更好的匹配技术，通过迁移诸如颜色和纹理之类的统计信息来保证前景与背景之间的外观一致性。最近，已经开发了深度和谐化模型和大规模数据集来解决这一具有挑战性的任务并取得了很好的效果。当前的深度学习模型主要采用编码器
‑
解码器的卷积神经网络(CNN)架构，该架构首先利用编码器尝试学习前景区域附近的背景外观颜色信息，进而捕获合成图像上下文以调整图像前景区域的外观或者光照使其与背景相一致，最后利用解码器重建和谐化后的图像。
[0004]实际上，普遍使用的编码器
‑
解码器卷积神经网络架构通过两步处理过程完成图像和谐化任务。第一阶段主要是基于合成图像背景区域的颜色统计在多层特征空间中调整前景区域的颜色使其与背景颜色相兼容，第二阶段主要是将图像从高维特征空间中重建原始的结构和语义信息以及和谐化的低层视觉特征。然而，由于CNN本身具有局部敏感性的归纳偏置决定了卷积神经网络只能关注局部有限的信息，以致于浅层的CNN只能捕获前景附近的背景区域上下文，而缺少全局的背景上下文。然而，图像整体的协调一致性是评价合成图像视觉真实度的关键要素。因此CNN可能无法充分利用背景全局信息进行调整前景颜色并使其与整体背景颜色相一致。
[0005]另外，先前的方法采用具有连续编码的U
‑
Net多层CNN网络结构，虽然U
‑
Net通过多层CNN堆叠方式可以增加感受野以捕获图像全局的上下文，但同时由于从编码器到解码器的跳连接可能会再次将合成图像原有的不和谐信息引入到重建的图像中，降低图像和谐化模型的性能。

技术实现思路

[0006]本专利技术提供一种基于自注意变换的图像和谐化系统，解决的技术问题在于：如何在图像和谐化过程中，既能捕获前景附近的背景区域上下文，还能捕获图像全局的上下文，并且不引入不和谐信息，以最大程度地解决合成图像前景与背景的不和谐问题。
[0007]为解决以上技术问题，本专利技术提供一种基于自注意变换的图像和谐化系统，包括非解耦图像和谐化模块或解耦图像和谐化模块；
[0008]所述非解耦图像和谐化模块用于利用自注意变换网络对输入的合成图像和掩膜图像进行直接的自注意变换，生成对应的和谐化图像；
[0009]所述解耦图像和谐化模块包括反射率图像生成模块、背景光解耦模块和光照图像生成模块、合成模块；
[0010]所述反射率图像生成模块用于对输入的合成图像和掩膜图像进行解耦的自注意变换，生成所述合成图像的反射率本征图像；
[0011]所述背景光解耦模块用于利用自注意变换网络从合成图像的背景图像中解耦背景光以照射到所述反射率本征图像上；
[0012]所述光照变换模块用于对照射有背景光的反射率本征图像利用自注意变换网络进一步生成光照本征图像；
[0013]所述合成模块用于对所述反射率本征图像和所述光照本征图像进行点乘操作，生成所述合成图像的和谐化图像。
[0014]具体的，所述解耦图像和谐化模块包括第一编码器、第一序列化变换模块、第一自注意变换模块、第一序列化反变换模块、第一解码器；
[0015]所述第一编码器用于将输入的合成图像和掩膜图像编码到特征空间，得到特征图像输入所述第一序列化变换模块；
[0016]所述第一序列化变换模块对输入的特征图像进行序列化变换，生成所述第一自注意变换模块的输入令牌；
[0017]所述第一自注意变换模块用于对所述第一序列化变换模块生成的输入令牌进行直接的自注意变换，得到输出令牌输入所述第一序列化反变换模块；
[0018]所述第一序列化反变换模块用于对输入的输出令牌进行序列化反变换，生成和谐化特征图像；
[0019]所述第一解码器用于将所述和谐化特征图像解码为与所述合成图像对应的和谐化图像。
[0020]具体的，所述反射率图像生成模块包括第二编码器、第二序列化变换模块、第二自注意变换模块、第二序列化反变换模块、第二解码器；
[0021]所述第二编码器用于将输入的合成图像和掩膜图像编码到特征空间，得到特征图像输入所述第二序列化变换模块；
[0022]所述第二序列化变换模块对输入的特征图像进行序列化变换，生成所述第二自注意变换模块的输入令牌；
[0023]所述第二自注意变换模块用于对所述第二序列化变换模块生成的输入令牌进行解耦的自注意变换，得到反射率图像输出令牌输入所述第二序列化反变换模块及所述光照变换模块；
[0024]所述第二序列化反变换模块用于对输入的输出令牌进行序列化反变换，生成反射率本征特征图像；
[0025]所述第二解码器用于将所述反射率本征特征图像解码为与所述合成图像对应的反射率本征图像。
[0026]具体的，所述背景光解耦模块包括线性变换模块、第三自注意变换模块、第四自注意变换模块；
[0027]所述线性变换模块用于将输入的背景图像分割成图像块序列，然后将每个图像块展平当做一个令牌并通过线性映射将其编码到特征空间，生成所述第三自注意变换模块的输入令牌；
[0028]所述第三自注意变换模块用于对其输入令牌进行自注意变换编码，生成所述第四自注意变换模块的输入令牌；
[0029]所述第四自注意变换模块用于对其输入令牌进行自注意变换解码，生成背景光隐向量编码令牌输入所述光照变换模块中。
[0030]具体的，所述光照变换模块包括第五自注意变换模块、第三序列化反变换模块、第三解码器；
[0031]所述第五自注意变换模块用于对所述背景光隐向量编码令牌及所述反射率图像输出令牌进行自注意变换，生成对应的光照本征图像输出令牌；
[0032]所述第三序列化反变换模块用于对所述光照本征图像输出令牌进行序列化反变换生成与所述合成图像对应的光照本征特征图像；
[0033]所述第三解码器用于对所述光照本征特征图像进行解码，输出与所述合成图像对应的光照本征图像。
[0034]具体的，在训练过程中，对于所述非解耦图像和谐化模块及所述解耦图像和谐化模块，均采用单个损失函数来激励所述合成图像的和谐化图像逼近其真实图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于自注意变换的图像和谐化系统，其特征在于：包括非解耦图像和谐化模块或解耦图像和谐化模块；所述非解耦图像和谐化模块用于利用自注意变换网络对输入的合成图像和掩膜图像进行直接的自注意变换，生成对应的和谐化图像；所述解耦图像和谐化模块包括反射率图像生成模块、背景光解耦模块和光照图像生成模块、合成模块；所述反射率图像生成模块用于对输入的合成图像和掩膜图像进行解耦的自注意变换，生成所述合成图像的反射率本征图像；所述背景光解耦模块用于利用自注意变换网络从合成图像的背景图像中解耦背景光以照射到所述反射率本征图像上；所述光照变换模块用于对照射有背景光的反射率本征图像利用自注意变换网络进一步生成光照本征图像；所述合成模块用于对所述反射率本征图像和所述光照本征图像进行点乘操作，生成所述合成图像的和谐化图像。2.根据权利要求1所述的一种基于自注意变换的图像和谐化系统，其特征在于：所述解耦图像和谐化模块包括第一编码器、第一序列化变换模块、第一自注意变换模块、第一序列化反变换模块、第一解码器；所述第一编码器用于将输入的合成图像和掩膜图像编码到特征空间，得到特征图像输入所述第一序列化变换模块；所述第一序列化变换模块对输入的特征图像进行序列化变换，生成所述第一自注意变换模块的输入令牌；所述第一自注意变换模块用于对所述第一序列化变换模块生成的输入令牌进行直接的自注意变换，得到输出令牌输入所述第一序列化反变换模块；所述第一序列化反变换模块用于对输入的输出令牌进行序列化反变换，生成和谐化特征图像；所述第一解码器用于将所述和谐化特征图像解码为与所述合成图像对应的和谐化图像。3.根据权利要求2所述的一种基于自注意变换的图像和谐化系统，其特征在于：所述反射率图像生成模块包括第二编码器、第二序列化变换模块、第二自注意变换模块、第二序列化反变换模块、第二解码器；所述第二编码器用于将输入的合成图像和掩膜图像编码到特征空间，得到特征图像输入所述第二序列化变换模块；所述第二序列化变换模块对输入的特征图像进行序列化变换，生成所述第二自注意变换模块的输入令牌；所述第二自注意变换模块用于对所述第二序列化变换模块生成的输入令牌进行解耦的自注意变换，得到反射率图像输出令牌输入所述第二序列化反变换模块及所述光照变换模块；所述第二序列化反变换模块用于对输入的输出令牌进行序列化反变换，生成反射率本征特征图像；
所述第二解码器用于将所述反射率本征特征图像解码为与所述合成图像对应的反射率本征图像。4.根据权利要求3所述的一种基于自注意变换的图像和谐化系统，其特征在于：所述背景光解耦模块包括线性变换模块、第三自注意变换模块...

【专利技术属性】
技术研发人员：郭宗辉，郑海永，
申请(专利权)人：中国海洋大学，
类型：发明
国别省市：