无监督双向变分自编码本质图像分解网络、方法及应用技术

本发明专利技术涉及一种无监督双向变分自编码本质图像分解网络、方法及应用，属于图像识别技术领域。该网络使用并行编解码策略，即使用两套相同但互不关联的由编码器和解码器组成的深度学习网络进行反射图或光照图的图像生成。编码器和解码器由包含下采样或上采样的网络模块组成；在编码器和解码器间特征经编码器得到潜在向量分布的均值和标准差，再从中采样到符合特定分布的特征。该方法提出了引入了变分自编码的思想，对编解码过程中的中间向量进行约束，提高模型的鲁棒性；同时提出了一种非对称生成对抗框架，提高了模型的收敛性能。提高了模型的收敛性能。提高了模型的收敛性能。

【技术实现步骤摘要】
无监督双向变分自编码本质图像分解网络、方法及应用


[0001]本专利技术属于图像识别
，涉及一种针对单幅图像结合自注意力机制和卷积神经网络的通过生成对抗网络和变分自编码以无监督形式完成本质图像分解的网络框架方法。

技术介绍

[0002]人类的视觉系统可以轻松地从图像中识别出目标，但对于计算机来说图像仅仅是一组数据，无法直接以生物的方式理解与处理。在诸如卷积神经网络等基于深度学习的特征提取方法被提出后，计算机视觉的众多任务一度迎来胜利的曙光。然而，计算机视觉任务仍然面临着较多的困难，例如拍摄环境光照状态的变化、背景的变化、拍摄角度和距离的变化、目标自身姿态和形态的变化，以及目标之间的相互位置之间的变化等。在这其中，图像数据的表观状态的不一致性一直都是限制图像处理算法性能提升瓶颈的主要因素之一。要想解决这个问题，一个解决方案是提取图像中不随环境因素变化的特征。也就是说，如果能从图像中将目标的纹理、颜色、材质等固有信息与环境信息进行分离，使图像中受环境影响的部分被过滤掉，那么就可以得到目标更准确的特征描述，进而有利于其它视觉感知任务的性能提高。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种无监督双向变分自编码本质图像分解网络，其特征在于，该网络使用并行编解码策略，即使用两套相同但互不关联的由编码器和解码器组成的深度学习网络进行反射图或光照图的图像生成。2.根据权利要求1所述的无监督双向变分自编码本质图像分解网络，其特征在于，包含从X到Y
′
和从Y到X
′
两条生成路径，两种生成路径使用不同的生成模型，其中从X到Y
′
的路径使用结合了卷积和自注意力的生成网络，从Y到X
′
的路径使用仅由卷积模块组成的生成网络，这一策略称为非对称双向生成网络；其中，X和Y分别代表原始图像和反射图/光照图的真实图像，X
′
和Y
′
则是生成器生成的预测图像；E,G和E
′
,G
′
分别是从X域到Y域和从Y域到X域的编码器和解码器，D和D
′
则是对应的判别器。3.根据权利要求2所述的无监督双向变分自编码本质图像分解网络，其特征在于，所述的编码器和解码器由包含下采样或上采样的网络模块组成；在编码器和解码器间特征经编码器得到潜在向量分布的均值和标准差，再从中采样到符合特定分布的特征。4.一种无监督双向变分自编码本质图像分解方法，其特征在于步骤如下：步骤1：数据准备使用原始的图像作为本质图像分解模型的输入，并分别使用反射图或光照图作为模型训练时的标签；在测试图像数据集中随机抽取一定数量的输入图像，然后抽取对应的反射图或光照图；步骤2：构建自注意力和卷积生成器所述的自注意力和卷积生成器由包含五层模块的编码器和解码器组成，编码器逐层完成下采样，网络中特征图的分辨率相应下降，解码器逐层完成上采样，特征图分辨率相应上升；所述编码器由“自注意力/卷积模块+下采样”组成，所述解码器由“自注意力/卷积模块+上采样”结构堆叠得到；下采样或者上采样在卷积模块中由卷积或反卷积操作完成；采样得到的潜在向量会与跳连接传递的特征共同传入堆叠模块逐级解码并恢复分辨率，最终得到的预测图像；步骤3：构建非对称双向生成网络所述的...

【专利技术属性】
技术研发人员：蒋晓悦，韩逸飞，夏召强，冯晓毅，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：