一种基于深度学习的立体图像重定向方法技术

本发明专利技术公开了一种基于深度学习的立体图像重定向方法，所述方法包括：利用交叉注意力提取模块获取左右图像的注意力图；利用立体图像视差图的深度信息，构建视差辅助3D重要性图生成模块，生成左右图像的3D重要性图，将3D重要性图送入到偏移层，使立体图像的深层特征缩放至目标尺寸；利用图像一致性损失保持立体图像中的显著区域，减少几何失真，并利用视差一致性损失保持立体图像的视差关系，减少视差失真；将图像一致性损失和视差一致性损失结合，获得整体损失函数，并利用整体损失函数对立体图像重定向进行训练，获得最终高质量的重定向立体图像。本发明专利技术避免了图像内容失真并保持立体图像的视差一致性。

【技术实现步骤摘要】
一种基于深度学习的立体图像重定向方法
本专利技术涉及图像处理以及立体视觉
，尤其涉及一种基于深度学习的立体图像重定向方法。
技术介绍
随着立体显示技术的发展和不同立体显示终端的出现，经常需要将3D内容重定向到不同显示终端。与2D图像重定向不同，立体图像重定向不但需要保持图像中显著对象的形状结构，还需要保持3D场景的深度一致性。因此，如何保证重定向后的立体图像的内容质量和视差范围，是立体图像重定向的主要挑战。近年来，研究人员提出了大量的2D图像重定向方法。2D图像重定向技术分为离散方法和连续方法。离散方法是通过重复地从图像中的每一行/列中移除像素，实现图像的水平或者垂直缩放，例如：基于裁剪的方法、Seam-carving等。连续方法是通过合并相邻像素或将图像分割成变形网格，并利用像素插值使图像变形，包括基于缩放的方法、网格变形方法等。与2D图像不同，立体图像包含深度信息。因此，有效的立体图像重定向方法不仅需要适应具有不同显示尺寸和宽高比的设备，还需要保持立体图像的深度和视差一致性。早期的立体图像重定向方法主要是对2D图像重定向方法的本文档来自技高网...

【技术保护点】
1.一种基于深度学习的立体图像重定向方法，其特征在于，所述方法包括以下步骤：/n利用交叉注意力提取模块获取左右图像的注意力图；/n利用立体图像视差图的深度信息，构建视差辅助3D重要性图生成模块，生成左右图像的3D重要性图，将3D重要性图送入到偏移层，使立体图像的深层特征缩放至目标尺寸；/n利用图像一致性损失保持立体图像中的显著区域，减少几何失真，并利用视差一致性损失保持立体图像的视差关系，减少视差失真；/n将图像一致性损失和视差一致性损失结合，获得整体损失函数，并利用整体损失函数对立体图像重定向进行训练，获得最终高质量的重定向立体图像。/n

【技术特征摘要】
1.一种基于深度学习的立体图像重定向方法，其特征在于，所述方法包括以下步骤：
利用交叉注意力提取模块获取左右图像的注意力图；
利用立体图像视差图的深度信息，构建视差辅助3D重要性图生成模块，生成左右图像的3D重要性图，将3D重要性图送入到偏移层，使立体图像的深层特征缩放至目标尺寸；
利用图像一致性损失保持立体图像中的显著区域，减少几何失真，并利用视差一致性损失保持立体图像的视差关系，减少视差失真；
将图像一致性损失和视差一致性损失结合，获得整体损失函数，并利用整体损失函数对立体图像重定向进行训练，获得最终高质量的重定向立体图像。


2.根据权利要求1所述的一种基于深度学习的立体图像重定向方法，其特征在于，所述利用交叉注意力提取模块获取左右图像的注意力图具体为：
交叉注意力模块由通道注意力和空间注意力构成，每个通道注意力由一个最大池化层、两个卷积层、一个ELU层和一个sigmoid层组成，每个空间注意力由两个卷积层、一个ELU层和一个sigmoid层组成；
结合通道注意力和空间注意力，左右图像中每个交叉注意力模块的最终输出的加权特征图FiL和FiR如下所示：






其中



其中，和表示左右图像的输入特征图，和表示由输入特征图和通道注意力掩膜相乘得到的左右图像的通道级的特征图，FsL和FsR表示左右图像的交叉空间注意力掩膜，该掩膜是由左右图像的空间注意力掩膜相乘得到的，Mc...

【专利技术属性】
技术研发人员：雷建军，范晓婷，徐立莹，彭勃，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津;12