一种RGBD数据深度迁移的单幅图像2D转3D设备制造技术

本实用新型专利技术涉及一种RGBD数据深度迁移的单幅图像2D转3D设备，其中，包括有依次连接的输入装置、能在互联网RGBD数据库中检索出原始2D图像的检索装置、能对输入场景进行深度处理的深度处理器以及显示器，所述的深度处理器与显示器之间还设有用于将深度处理器处理后的图像进行处理并合成3D图的合成设备。本实用新型专利技术的优点是：具有场景普适性，对使用条件没有限制；计算量较小，可批量生成2D图像的精确深度图；对视觉显著区域的3D合成图进行了增强处理；兼容多种输出格式的3D图。（*该技术在2023年保护过期，可自由使用*）

【技术实现步骤摘要】

本技术属于2D转3D技术，特别涉及一种RGBD数据深度迁移的单幅图像2D转3D设备。
技术介绍
3D视频是传统2D视频的扩展，通过增加深度信息，使用户体验到视频内容的立体感和临场感。3D视频作为下一代视频的发展方向，涉及3D内容制作、传输、存储、播放和显示设备等技术，对于发展国民经济具有重要的现实意义。3D内容贫乏是制约当前3D视频发展的主要因素之一，想要创建一批拥有较高品质和符合3D展示媒介需求的3D节目依然有较大难度。单幅图像2D转3D方法能够在较短时间内以较低的成本将现有海量2D视频资源转换为可立体显示的3D视频，既能缓解当前3D内容贫乏的状况，又能解决利用3D拍摄设备直接制作3D内容的高成本和操作不便性。2D转3D方法的核心任务是从2D图像中提取景物的深度信息。受人类视觉单目深度推理的启发，研究人员提出了多种利用视觉线索进行单目图像深度估计的理论和方法，例如透视、纹理、明暗度、聚焦度等。基于透视的单目图像深度估计原理是平行线经透视成像后将交于一点，称为灭点(vanishing point),对应的线称为灭线(vanishing line),根据灭线相交的方向对整幅图像进行深度分配。图像上纹理基元的几何形态跟摄像机和纹理表面的位置关系有关，因而也可根据纹理透视缩放(与表面方向有关)和密度变化效应(与观察者和纹理基元的距离有关)进行深度估计。在朗伯表面的假设前提下，在光源照明下物体表面灰度随着表面法线变化,因而可通过分析物体表面的明暗度变化估计出物体的深度。聚焦深度提取考虑到低深度场景中只有处在离镜头特定位置处才能被聚焦，其他位置都会产生不同程度的模糊，且模糊程度与所处的距离有关。上述方法的缺陷是通用性差，只有场景包含对应的深度线索时才可能得到可靠的深度估计结果；且这些方法只能得到相对深度，难以获取精确的深度信息。因而为推动3D视频的发展，迫切需要设计一种具有场景普适性的高质量2D转3D方法。随着Kinect的流行和推广，互联网上已聚集海量RGBD数据。另一方面，基于内容的图像检索技术已成熟。经验告诉我们，相似的场景具有相似的深度。因而根据场景匹配，从海量RGBD数据库中查询输入场景的深度成为可能。本技术的出发点正是基于这一事实。
技术实现思路
本技术的目的，是提供一种RGBD数据深度迁移的单幅图像2D转3D设备，以克服现有2D转3D技术场景适用性差、难以保证深度估计质量和计算复杂的问题。为达到上述目的，本技术提供了一种RGBD数据深度迁移的单幅图像2D转3D设备，其中，包括有依次连接的输入装置、能在互联网RGBD数据库中检索出原始2D图像的检索装置、能对输入场景进行深度处理的深度处理器以及显示器，所述的深度处理器与显示器之间还设有用于将深度处理器处理后的图像进行处理并合成3D图的合成设备；输入装置与深度处理器连接配合。优选方案还包括:上述的检索装置与深度处理器之间设有用于将原始2D图像进行初始深度估计的初始融合器。上述的初始融合器与检索装置之间设有用于对比输入图像和检索图像之间像素级稠密对应关系的匹配识别器。上述的输入装置包括有键盘及鼠标。上述的显示器为IXD显示器或LED显示器。与现有技术相比，本技术一种RGBD数据深度迁移的单幅图像2D转3D设备，其中，包括有依次连接的输入装置、能在互联网RGBD数据库中检索出原始2D图像的检索装置、能对输入场景进行深度处理的深度处理器以及显示器，所述的深度处理器与显示器之间还设有用于将深度处理器处理后的图像进行处理并合成3D图的合成设备。本技术的有益效果:互联网上已有和持续增加的海量RGBD数据库保证了对于任何输入场景，总能在互联网上检索到匹配场景，从而保证了本技术的场景通用性，适用于各类复杂拍摄环境和场景；本技术利用互联网上深度传感器采集的RGBD数据，可得到场景的精确深度信息，不像传统2D转3D方法仅得到相对深度信息；由于本技术采用随机搜索和邻域传递建立输入场景和匹配场景之间的稠密匹配关系，显著减少了最近邻搜素空间，从而提高了计算速度；另一方面，邻域传递考虑了图像局部结构和景物构图关系，更容易保证场景之间目标的对齐，改善了深度迁移质量；使用DIBR技术合成3D图时根据视觉显著度对深度进行非线性调整，保证了视觉显著区域的立体临场感。本技术具有克服现有2D转3D技术场景适用性好、保证深度估计质量的优点。附图说明图1为本技术结构示意图；图2为本技术的运作流程图。具体实施方式以下结合附图对本技术的实施例作进一步详细描述。图1至图2所示为本技术的结构示意图。其中的附图标记为:输入装置1、检索装置2、深度处理器3、显示器4、合成设备5、初始融合器6、匹配识别器7。如图1至图2所示，本技术一种RGBD数据深度迁移的单幅图像2D转3D设备，其中，包括有依次连接的输入装置1、能在互联网RGBD数据库中检索出原始2D图像的检索装置2、能对输入场景进行深度处理的深度处理器3以及显示器4，所述的深度处理器3与显示器4之间还设有用于将深度处理器3处理后的图像进行处理并合成3D图的合成设备5 ;输入装置I与深度处理器3连接配合。实施例中，检索装置2与深度处理器3之间设有用于将原始2D图像进行初始深度估计的初始融合器6。实施例中，初始融合器6与检索装置2之间设有用于对比输入图像和检索图像之间像素级稠密对应关系的匹配识别器7。实施例中，输入装置I包括有键盘及鼠标。实施例中，显示器4为IXD显示器或LED显示器。基于互联网海量RGBD数据深度迁移的单幅图像2D转3D方法流程包括:I)通过输入装置I输入原始2D图像，在深度处理器3中计算原始2D图像的全局描述符，这里采用GIST特征，其计算过程为:首先，创建不同方向和尺度的Gabor滤波器对图像进行滤波得到若干个特征图，并将每个特征图分割成4X4的块；其次，计算特征图里每个块的平均值；最后，将所有特征图里块的平均值依次排列作为原始2D图像的GIST特征，并用GIST特征作为图像的全局描述符。2)通过检索装置2根据原始2D图像的全局描述符从互联网上海量RGBD数据库中检索出#近邻场景及其对应的深度。采用下述公式度量原始2D图像与候选图像的匹配代价。其中0为原始2D图像，C为从RGBD数据库中检索出的待匹配图像，G(.)表示GIST特征矢量。具体过程为:首先，根据下式依次计算^与RGBD数据库中每个图像的匹配代价；然后，对匹配代价从小到大进行排序；最后，从中选取#个最小的作为候选匹配场景，其对应的深度作为G的候选估计深度。.权利要求1.一种RGBD数据深度迁移的单幅图像2D转3D设备，其特征在于:包括有依次连接的输入装置(I)、能在互联网RGBD数据库中检索出原始2D图像的检索装置(2)、能对输入场景进行深度处理的深度处理器(3)以及显示器(4)，所述的深度处理器(3)与显示器(4)之间还设有用于将深度处理器(3)处理后的图像进行处理并合成3D图的合成设备(5);所述的输入装置(I)与深度处理器(3)连接配合。2.根据权利要求1所述的一种RGBD数据深度迁移的单幅图像2D转3D设备，其特征在于:所述的检索装置(2)与深度处理器(3)之间设有用于将原始2D图像进行初始深本文档来自技高网...

【技术保护点】
一种RGBD数据深度迁移的单幅图像2D转3D设备，其特征在于：包括有依次连接的输入装置(1)、能在互联网RGBD数据库中检索出原始2D图像的检索装置(2)、能对输入场景进行深度处理的深度处理器(3)以及显示器(4)，所述的深度处理器(3)与显示器(4)之间还设有用于将深度处理器(3)处理后的图像进行处理并合成3D图的合成设备(5)；所述的输入装置(1)与深度处理器(3)连接配合。

【技术特征摘要】

【专利技术属性】
技术研发人员：袁红星，吴少群，朱仁祥，诸葛霞，
申请(专利权)人：宁波工程学院，
类型：实用新型
国别省市：