用于立体数据的深度感知增强制造技术

本文描述了用于增强图像的系统、方法及装置。在一些方面，装置包括配置为存储左图像和右图像的存储器单元。所述左图像和所述右图像各自描绘来自不同视角的相同场景。所述装置进一步包括配置为从所述存储器单元中检索所述左图像和所述右图像的译码器。所述译码器配置为基于所述左与右图像之间的空间定向差确定深度图。所述装置进一步包括耦合到所述译码器的处理器。所述处理器配置为识别所述左或右图像中由用户选择的一部分。所述处理器进一步配置为基于所述深度图确定在由所述用户选择的所述部分周围的增强区域。所述处理器进一步配置为增强所述增强区域。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及基于深度的图像增强的领域。更特别地，本专利技术涉及使用从立体图像计算的深度的单目图像的增强。
技术介绍
可用相机或摄像机捕获视觉媒体，例如图像和视频。通常，如果相机或摄像机包含充足特征并包含适当镜头，那么所捕获的媒体反映终端用户所需的色彩、对比度、锐度和/或类似者。然而，功能齐全的相机或摄像机和/或强大镜头可为昂贵的。此外，特征齐全的相机或摄像机和/或强大镜头可以是大体积的，并难以在某些情景下携带。如今，便携式装置(例如，手机或平板计算机)包含内置相机。因为便携式装置包含除捕获视觉媒体的能力之外的大量功能，许多人受惠于便携式装置而放弃携带大体积、昂贵的相机和镜头。然而，内置于便携式装置中的相机具有受限数目的特征。另外，内置式相机通常具有基础镜头。因此，由内置式相机捕获的视觉媒体通常具有较不好的质量并缺乏所需色彩、对比度、锐度和/或类似者。便携式装置或另一装置上可用的应用程序可用以处理并增强所捕获的视觉媒体。举例来说，终端用户可使用应用程序来调整色彩，增强对比度，锐化边缘和/或类似者。然而，许多应用程序可为处理器密集式的和/或需要额外硬件。这可在便携式装置上尤其成问题，因为应用程序可增加电池消耗和/或装置的大小。
技术实现思路
本专利技术的系统、方法及装置各自具有若干方面，其中无单一方面单独地负责其所要属性。在不限制如通过以下的权利要求书表达的本专利技术的范围的情况下，现在将简洁地论述一些特征。在考虑此论述之后，并且尤其在阅读标题为“具体实施方式”的部分之后，将理解本专利技术的特征如何提供在无线网络中包含接入点与站台之间的经改进通信的优点。本专利技术的一方面提供一种用于增强图像的方法。所述方法包括检索存储于存储器单元中的左图像和右图像。左图像及右图像可各自描绘来自不同视角的相同场景。所述方法进一步包括基于左图像与右图像之间的空间定向差确定深度图。所述方法进一步包括识别左图像或右图像中由用户选择的一部分。所述方法进一步包括基于所确定的深度图确定在由用户选择的部分周围的增强区域。所述方法进一步包括增强所述增强区域。本专利技术的另一方面提供用于增强图像的设备。所述设备包括用于检索存储于存储器单元中的左图像和右图像的装置。左图像及右图像可各自描绘来自不同视角的相同场景。所述设备进一步包括用于基于左图像与右图像之间的空间定向差确定深度图的装置。所述设备进一步包括用于识别左图像或右图像中由用户选择的一部分的装置。所述设备进一步包括用于基于所确定的深度图确定在由用户选择的部分周围的增强区域的装置。所述设备进一步包含用于增强所述增强区域的装置。本专利技术的另一方面提供包括代码的非暂时性计算机可读媒体，所述代码在执行时引起设备检索存储于存储器单元中的左图像和右图像。左图像及右图像可各自描绘来自不同视角的相同场景。媒体进一步包括在执行时引起设备基于左图像与右图像之间的空间定向差确定深度图的代码。媒体进一步包括在执行时引起设备识别左图像或右图像中由用户选择的一部分的代码。媒体进一步包括在执行时引起设备基于所确定的深度图确定在由用户选择的部分周围的增强区域的代码。媒体进一步包括在执行时引起设备增强所述增强区域的代码。本专利技术的另一方面提供用于增强图像的装置。装置包括配置为存储左图像和右图像的存储器单元。左图像及右图像可各自描绘来自不同视角的相同场景。装置进一步包括配置为从存储器单元中检索左图像和右图像的译码器。译码器可进一步配置基于左图像与右图像之间的空间定向差确定深度图。装置进一步包括耦合到译码器的处理器。处理器可配置为识别左图像或右图像中由用户选择的一部分。处理器可进一步配置为基于所确定的深度图确定在由用户选择的部分周围的增强区域。处理器可进一步配置为增强所述增强区域。附图说明图1为示出其中源装置增强立体图像的例示性系统的框图。图2为示出其中源装置将增强型立体图像发射到目的地装置的例示性系统的框图。图3为可实施本专利技术的技术的说明性编码器的框图。图4为可实施本专利技术的技术的说明性解码器的框图。图5示出帧的排序。图6示出深度计算流程。图7示出用于增强图像的流程。图8示出用于增强图像的另一流程。图9示出实例原始图像。图10A示出可由编码器基于图9中的原始图像计算的深度图。图10B示出图9的细化及放大后的深度图。图11至13示出使用图10B的缩放深度图增强的各种图像。图14示出用于增强图像的实例方法。具体实施方式如上文所描述，具有强大镜头和/或其它组件的特征齐全的相机或摄像机可能是昂贵的。装置(例如，便携式装置)上可用的应用程序可用以处理并增强所捕获的视觉媒体(例如，图像、视频等等)，以模仿由强大的镜头和/或其它组件所产生的效果。例如，终端用户可使用应用程序以调整色彩、增强对比度、锐化边缘、改变几何形状和/或类似者。然而，许多应用程序是处理器密集式的和/或需要额外硬件来实施一些或所有增强特征。作为一实例，确定媒体的一部分增强的程序可以是处理器密集式的。另外，可能需要特殊硬件(例如，深度图引擎)来确定媒体的部分增强和/或媒体的一部分不会增强。这些应用程序的处理器密集性质和/或包括额外硬件的必要性可在便携式装置上尤其成问题，因为应用程序可增加电池消耗和/或装置的大小。因此，本文中描述的系统和方法在装置上使用现有硬件以使得应用程序能够执行增强特征。另外，本文所描述的系统和方法允许装置执行某些操作，例如，处理器密集式的操作，同时装置是空闲的，正在充电，或另外处于电池消耗不是问题的状态中。以此方式，本文所描述的系统和方法允许装置提供各种增强特征，同时最小化电池消耗并维持或甚至减小装置的大小。当本文所描述的技术可应用于任何类型和任何数目的图像或图像序列(例如，视频)时，相对于立体图像和/或立体视频来描述如本文所揭示的技术。立体图像(或图像的立体对)通常包含共同场景的第一图像和第二图像。贯穿本专利技术，第一图像和第二图像可被称为左图像和右图像、左视图和右视图，或左(L)和右(R)帧。可同时或快速依次展示立体对中的第一图像和第二图像，以产生具有3D对象的场景。可使用两个相机捕获立体图像和视频，并将所述立体图像和视频作为一连串左帧和右帧发射。有时，虽然不常见，但立体图像或视频作为L帧发射并伴随有用于所述帧的深度图(D)。然而，在如本文所描述的其它情况下，发射立体图像或视频而没有用于帧的深度图。然而，深度图可使用L帧和R帧计算。根据两个视图(L和R)计算深度图通常是介入式及计算密集型的程序。实时实施通常需要硬件模块仅用于计算视差的目的(例如，其可用以确定深度图)。通常，最好的视差计算算法是如此复杂而使得其无法实时地实施或仅可由具有大量处理资源的装置实时实施。因此，如果从头开始，那么计算深度图通常采用额外设计和实施努力。然而，如本文所描述，现有系统可再用于计算深度，从而节省所述努力。当视频的深度图可用时，深度感知增强可应用于立体图像或视频。如本专利技术中所使用的术语“视差”通常描述一个图像中的像素相对于另一图像中的相对应像素的水平偏移(例如，两个图像之间的空间定向差)。如本专利技术中所使用的相对应像素通常是指当合成左图像和右图像以显现2D或3D图像时，与3D对象中的同一点相关联的像素(一个在左图像中且一个在右图像中)。用于图像立体对的多个视差值本文档来自技高网...

【技术保护点】
一种用于增强图像的方法，所述方法包括：检索存储于存储器单元中的左图像和右图像，所述左图像和所述右图像各自描绘来自不同视角的相同场景；基于所述左图像与所述右图像之间的空间定向差异确定深度图；识别所述左图像或所述右图像中由用户选择的一部分；基于所述所确定的深度图确定在由所述用户选择的所述部分周围的增强区域；及增强所述增强区域。

【技术特征摘要】
【国外来华专利技术】2014.03.07 US 14/201,2611.一种用于增强图像的方法，所述方法包括：检索存储于存储器单元中的左图像和右图像，所述左图像和所述右图像各自描绘来自不同视角的相同场景；基于所述左图像与所述右图像之间的空间定向差异确定深度图；识别所述左图像或所述右图像中由用户选择的一部分；基于所述所确定的深度图确定在由所述用户选择的所述部分周围的增强区域；及增强所述增强区域。2.根据权利要求1所述的方法，其进一步包括劣化所述左图像或所述右图像中未由所述用户选择的一部分。3.根据权利要求2所述的方法，其中劣化所述左图像或所述右图像中未由所述用户选择的一部分包括模糊所述左图像或所述右图像中未由所述用户选择的所述部分。4.根据权利要求1所述的方法，其中确定深度图进一步包括：基于所述左图像与所述右图像之间的所述空间定向差确定视差图，其中所述左图像的一部分与所述右图像的一部分之间的较大空间定向差指示较高视差；放大所述视差图；及基于所述经放大的视差图确定所述深度图。5.根据权利要求4所述的方法，其中确定视差图包括确定所述左图像中的块与所述右图像中的对应块之间的距离，其中如果第一块和第二块在阈值以内是相同的，那么所述第一块与所述第二块相对应。6.根据权利要求1所述的方法，其中由所述用户选择的所述部分包括第一深度，且其中确定在所述部分周围的增强区域进一步包括：从所述左图像或所述右图像中由所述用户选择的具有在所述第一深度的阈值以内的深度的所述部分开始，识别所述左图像或所述右图像的连续部分；及增加在由所述用户选择的所述部分周围的所述增强区域的大小，直到识别到所述左图像或所述右图像的一部分，所述部分不具有在所述第一深度的阈值以内的深度，表示预设边界，或为距由所述用户选择的所述部分的阈值距离。7.根据权利要求1所述的方法，其中增强包括以下中的至少一个：锐化所述增强区域；将所述增强区域移动到所述左图像或所述右图像的不同部分，或调整所述增强区域的色彩。8.一种用于增强图像的设备，所述设备包括：用于检索存储于存储器单元中的左图像和右图像的装置，所述左图像和所述右图像各自描绘来自不同视角的相同场景；用于基于所述左图像与所述右图像之间的空间定向差确定深度图的装置；用于识别所述左图像或所述右图像中由用户选择的一部分的装置；用于基于所述所确定的深度图确定在由所述用户选择的所述部分周围的增强区域的装置；及用于增强所述增强区域的装置。9.根据权利要求8所述的设备，其进一步包括用于劣化所述左图像或所述右图像中未由所述用户选择的一部分的装置。10.根据权利要求9所述的设备，其中用于劣化所述左图像或所述右图像中未由所述用户选择的一部分的装置包括用于模糊所述左图像或所述右图像中未由所述用户选择的所述部分的装置。11.根据权利要求8所述的设备，其中用于确定深度图的装置进一步包括：用于基于所述左图像与所述右图像之间的所述空间定向差确定视差图的装置，其中所述左图像的一部分与所述右图像的一部分之间的较大空间定向差指示较高视差；用于放大所述视差图的装置；及用于基于所述经放大的视差图确定所述深度图的装置。12.根据权利要求11所述的设备，其中用于确定视差图的装置包括用于确定所述左图像中的块与所述右图像中的对应块之间的距离的装置，其中如果第一块和第二块在阈值以内是相同的，那么所述第一块与所述第二块相对应。13.根据权利要求8所述的设备，其中由所述用户选择的所述部分包括第一深度，且其中用于确定在所述部分周围的增强区域的装置进一步包括：用于从所述左图像或所述右图像中由所述用户选择的具有在所述第一深度的阈值以内的深度的所述部分开始识别所述左图像或所述右图像的连续部分的装置；及用于增加在由所述用户选择的所述部分周围的所述增强区域的大小直到识别到所述左图像或所述右图像的一部分的装置，所述部分不具有在所述第一深度的阈值以内的深度，表示预设边界，或为距由所述用户选择的所述部分的阈值距离。14.根据权利要求8所述的设备，其中用于增强的装置包括以下中的至少一个：用于锐化所述增强区域的装置；用于将所述增强区域移动到所述左图像或所述右图像的不同部分的装置，或用于调整所述增强区域的色彩的装置。15.根据权利要求8所述的设备，其中所述用于检索的装置和所述用于确定深度图的装置包括编码器，且其中所述用于...

【专利技术属性】
技术研发人员：S·萨胡，M·比斯瓦斯，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：美国;US