基于自监督多尺度金字塔融合网络的图像散景虚化方法技术

本发明专利技术实施例公开了一种基于自监督多尺度金字塔融合网络的图像散景虚化方法，该方法包括：获取原始图像，对于原始图像进行两次下采样，得到具有三种不同分辨率的待处理图像；对于待处理图像进行特征提取，得到与待处理图像对应的特征；对于提取得到的特征进行不同尺度的循环融合增强，得到增强特征；对于增强特征进行解码，生成对应的散景虚化分量预测图像；生成不同尺度的散景模糊图像，并将散景模糊图像与对应尺度的散景虚化分量预测图像进行结构相似性计算，得到对应尺度的散景虚化分量权重；将散景虚化分量预测图像与对应尺度的散景虚化分量权重相乘，得到对应尺度的加权散景虚化分量预测图像，对其进行上采样融合，得到最终的散景虚化图像。到最终的散景虚化图像。到最终的散景虚化图像。

【技术实现步骤摘要】
基于自监督多尺度金字塔融合网络的图像散景虚化方法


[0001]本专利技术属于图像处理领域，具体涉及一种基于自监督多尺度金字塔融合网络的图像散景虚化方法。

技术介绍

[0002]在实际应用中，通常可以通过专业的大口径、长焦距的单反相机拍摄具有散景虚化美感的图像，然而，对于具有紧凑光学元件和微型传感器的移动相机来说，通常是无法实现的。为了平衡照片质量的美学要求和昂贵的高端单反相机成本问题，散景虚化效果不得不通过模拟实现。因此，合成散景虚化渲染已经成为成像系统工程应用领域一个有吸引力的机器学习课题。
[0003]近年来，合成散景虚化渲染的方法在很大程度上比较依赖场景深度信息。在这些基于深度信息的方法中，有一些是利用双像素自动对焦系统等硬件来估计场景深度，但这些专业硬件比较昂贵，难以广泛使用。此外，对于已经使用单目相机拍摄的图像，也缺乏准确的深度信息。
[0004]在某种程度上，结合先验知识来模拟真实的散景虚化效果有可能提高图像的视觉效果，但基于先验知识的方法也存在一定的局限性：(1)与深度传感器相关的硬件并不总是可以在移动设备上使用；本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于自监督多尺度金字塔融合网络的图像散景虚化方法，其特征在于，所述方法包括以下步骤：步骤S1，获取原始图像GT，并对于所述原始图像进行两次下采样，得到具有三种不同分辨率的待处理图像I
i
；步骤S2，对于所述待处理图像进行特征提取，得到与所述待处理图像对应的特征f
i
；步骤S3，对于提取得到的特征f
i
进行不同尺度的循环融合增强，得到增强特征t(i,j)，其中，t(i,j)表示将尺度i的信息增强至尺度j；步骤S4，对于所述增强特征进行解码，生成对应的散景虚化分量预测图像步骤S5，生成不同尺度的散景模糊图像并将所述散景模糊图像与对应尺度的散景虚化分量预测图像进行结构相似性计算，得到对应尺度的散景虚化分量权重；步骤S6，将散景虚化分量预测图像与对应尺度的散景虚化分量权重相乘，得到对应尺度的加权散景虚化分量预测图像，并与其他尺度的加权散景虚化分量预测图像进行上采样融合，得到最终的散景虚化图像。2.根据权利要求1所述的方法，其特征在于，所述步骤S2中，对于所述待处理图像进行特征提取的步骤，包括：利用特征提取模块FE
i
对于所述待处理图像分别进行特征提取，其中，特征提取模块FE
i
包括四个具有相似内部结构但参数不同的连续子块，四个连续子块顺次连接。3.根据权利要求2所述的方法，其特征在于，所述连续子块包括三个顺次连接的残余卷积块，其中，第二个残余卷积块与第三个残余卷积块之间设置有线性整流模块，第一个残余卷积块的输出与第三个残余卷积块的输出相加连接后作为所述连续子块的输出。4.根据权利要求1
‑
3任一所述的方法，其特征在于，所述步骤S3中，利用下式对于提取得到的特征f
i
进行不同尺度的循环融合增强，得到增强特征t
11
、t
21
、t
23
、t
33
，其中，i＝1,2,3：t
11
＝z
21
；t
21＝
z
...

【专利技术属性】
技术研发人员：江爱文，汪智峰，
申请(专利权)人：江西师范大学，
类型：发明
国别省市：