用于校正立体图像中的误差的方法和设备技术

本发明专利技术的实施方式涉及用于校正立体图像中的误差的方法和设备。根据本发明专利技术的实施方式的用于校正立体图像中的误差的设备包括：空间直方图生成单元，其利用与输入图像数据相关的深度图信息生成空间直方图信息；峰值频率生成单元，其利用所述输入图像数据的2D图像数据生成峰值频率；对象分析单元，其基于所述空间直方图和所述峰值频率来确定所述输入图像数据的各个帧中的误差；深度图误差校正单元，其校正所述深度图信息，以减小误差；以及渲染处理单元，其利用经校正的深度图信息来生成作为立体图像的左眼图像和右眼图像。根据本发明专利技术的实施方式，可以确定并减小深度图信息中的误差，从而从提供深度图信息被应用于输入2D图像内容的立体图像内容的处理中减小由于深度图信息中的误差所导致的立体感知。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术的实施方式涉及用于校正三维(3D)图像中的误差的方法和设备。更具体地，本专利技术涉及用于校正3D图像中的误差的方法和设备，该方法和设备检测深度图信息中的误差，并在提供通过将深度图信息应用于输入二维(2D)图像内容所产生的3D图像内容的处理中校正所述误差，从而防止由于深度图信息中的误差而降低3D效果。
技术介绍
随着数字技术的快速发展并且随着由于广播和通信的聚合导致的广播媒体的多样化，最近出现了与广播相关的增值业务。目前，尽管诸如TV广播的视频业务的开发致力于高清晰和大屏幕技术，但迄今为止仅提供2D图像内容，因此观看者无法从当前的2D图像内容感知3D效果。因此，对3D图像的需求逐渐增加，但迄今为止明显缺乏3D图像内容。3D图像处理是下一代信息技术业务领域中的关键技术，并且随着信息工业社会的发展还是一种具有增加的竞争力的最先进的技术。3D图像处理技术是提供高质量视频业务的基本要素，并且被应用于诸如广播、医疗、教育、军事、游戏和虚拟现实的多个领域以及信息
因此，需要从2D图像内容提供3D图像内容的技术。然而，在利用当前技术从2D图像内容提供3D图像内容的处理期间出现误差，这是个问题。
技术实现思路
技术问题因此，本专利技术致力于解决上述问题，本专利技术的实施方式的目的在于一种用于校正三维(3D)图像中的误差的方法和设备，该方法和设备能够防止在输出3D图像内容的处理中由于深度图信息中的误差而导致降低3D效果。技术方案用于实现以上目的的本专利技术的实施方式提供了一种用于校正三维(3D)图像中的误差的设备，该设备包括:空间直方图生成单元，其利用与输入图像数据相关的深度图信息生成空间直方图信息；峰值频率生成单元，其利用所述输入图像数据的二维(2D)图像数据生成峰值频率；对象分析单元，其基于所述空间直方图和所述峰值频率来检测所述输入图像数据的各个帧中的误差；深度图误差校正单元，如果确定所述帧中存在误差，则该深度图误差校正单元校正所述深度图信息，使得所述误差被校正；以及渲染处理单元，其利用所述经校正的深度图信息来产生用于形成3D图像的左眼图像和右眼图像。根据本专利技术的另一目的，提供了一种用于校正3D图像中的误差的方法，该方法包括以下步骤:空间直方图生成步骤，利用与输入图像数据相关的深度图信息生成空间直方图信息；峰值频率生成步骤，利用所述输入图像数据的2D图像数据生成峰值频率；对象分析步骤，基于所述空间直方图和所述峰值频率来检测所述输入图像数据的各个帧中的误差；深度图误差校正步骤，如果确定所述帧中存在误差，则校正所述深度图信息，使得所述误差被校正；以及渲染处理步骤，利用所述经校正的深度图信息来产生用于形成3D图像的左眼图像和右眼图像。根据本专利技术的另一目的，提供了一种用于校正3D图像中的误差的方法，该方法在提供通过将深度图信息应用于输入2D图像数据所产生的3D图像的处理中检测所述深度图信息中的误差，该方法包括以下步骤:确定超出针对所述2D图像数据的各个帧中的根据所述深度图信息分类的各个对象生成的空间直方图信息的标准差的特定值；如果所述特定值在第一阈值的纵(Y)轴的正(+ )方向或负(_)方向上超出所述第一阈值，则将与所述特定值对应的区域分类为误差倾向区域；如果所述误差倾向区域的峰值频率在所述正(+ )方向或负(_)方向上超出第二阈值，则确定所述峰值频率超出所述第一阈值的方向的结果与所述峰值频率超出所述第二阈值的方向的结果是否彼此一致；以及如果确定所述峰值频率超出所述第一阈值的方向的结果与所述峰值频率超出所述第二阈值的方向的结果彼此不一致，则确定所述深度图信息中存在误差。根据本专利技术的另一目的，提供了一种用于校正3D图像中的误差的方法，该方法在提供通过将深度图信息应用于输入2D图像数据所产生的3D图像的处理中校正所述深度图信息中的误差，该方法包括以下步骤:确定超出被确定为所述深度图信息中具有误差的误差包含区域的空间直方图信息的标准差的特定值；确定所述特定值是否在纵(Y)轴的正(+ )方向或负(_)方向上超出第一阈值；以及如果确定所述特定值超出所述第一阈值，则通过基于所述特定值超出所述第一阈值的方向将所述特定值增加或减小到所述空间直方图信息的所述标准差来校正所述误差。根据本专利技术的另一目的，提供了一种用于校正3D图像中的误差的方法，该方法在提供通过将深度图信息应用于输入2D图像数据所产生的3D图像的处理中检测所述深度图信息中的误差并校正所述误差，该方法包括以下步骤:确定超出针对所述2D图像数据的各个帧中的根据所述深度图信息分类的各个对象生成的空间直方图信息的标准差的特定值；如果所述特定值超出第一阈值，则将与所述特定值对应的区域分类为误差倾向区域；如果所述误差倾向区域的峰值频率超出第二阈值，则确定所述峰值频率超出所述第一阈值的方向的结果与所述峰值频率超出所述第二阈值的方向的结果是否彼此一致；如果确定所述峰值频率超出所述第一阈值的方向的结果与所述峰值频率超出所述第二阈值的方向的结果彼此不一致，则确定所述深度图信息中存在误差；以及通过基于所述特定值超出所述第一阈值的方向将所述特定值增加或减小到所述空间直方图信息的所述标准差来校正所述误差。有益效果如上所述，根据本专利技术的实施方式，能够在提供通过将深度图信息应用于输入2D图像内容所产生3D图像内容的处理中检测深度图信息中的误差并校正所述误差，从而防止深度图信息中的误差降低3D效果。此外，根据本专利技术的实施方式，能够检测与2D图像数据一起接收的或者从2D图像数据估计的单独的深度图信息中的所有误差，并校正所述误差。即，能够在输出3D图像内容时校正误差，从而使得观看者能够感知经改进的3D效果。附图说明图1是示意性示出根据本专利技术的实施方式的用于校正3D图像中的误差的设备的框图。图2是示出根据本专利技术的实施方式的用于校正3D图像中的误差的方法的流程图。图3是示出根据本专利技术的实施方式的空间直方图的说明性示图。图4是示出本专利技术的实施方式的输入2D图像数据的说明性示图。图5是示出根据本专利技术的实施方式的特定帧的正常深度图信息的说明性示图。图6是示出根据本专利技术的实施方式的特定帧的误差倾向区域的说明性示图。图7是示出根据本专利技术的实施方式的特定对象的误差倾向区域的说明性示图。图8是示出根据本专利技术的实施方式的根据快速傅里叶变换(FFT)的应用的峰值频率的说明性示图。〈标号说明〉100:用于校正3D图像中的误差的设备112:图像接收单元120:深度图接收单元122:空间直方图生成单元130:2D图像接收单元132:峰值频率生成单元140:对象分析单元150:深度图误差校正单元160:渲染处理单元具体实施例方式下文中，将参照附图描述本专利技术的示例性实施方式。在以下描述中，尽管元件在不同的附图中示出，但相同的元件用相同的标号来表示。此外，在本专利技术的以下描述中，当对合并于此的已知功能和结构的详细描述可能使得本专利技术的主题不清晰时，将省略该详细描述。另外，当描述本专利技术的部件时，这里可能使用诸如第一、第二、A、B、(a)、(b)等术语。这些术语中的每一个不用于限定对应部件的本质、顺序或次序，而仅用于将对应的部件与其它部件区分开。应该注意，如果在说明书中描述了一个部件“连接”、“耦接”或“结合”到另一部件，则尽管第一部件可直接“连本文档来自技高网...

【技术保护点】
一种用于校正三维3D图像中的误差的设备，该设备包括：空间直方图生成单元，其利用与输入图像数据相关的深度图信息生成空间直方图信息；峰值频率生成单元，其利用所述输入图像数据的二维2D图像数据生成峰值频率；对象分析单元，其基于所述空间直方图和所述峰值频率来检测所述输入图像数据的各个帧中的误差；深度图误差校正单元，如果确定所述帧中存在误差，则该深度图误差校正单元校正所述深度图信息，使得所述误差被校正；以及渲染处理单元，其利用所述经校正的深度图信息来产生用于形成3D图像的左眼图像和右眼图像。

【技术特征摘要】
【国外来华专利技术】2010.06.08 KR 10-2010-00539711.一种用于校正三维3D图像中的误差的设备，该设备包括: 空间直方图生成单元，其利用与输入图像数据相关的深度图信息生成空间直方图信息； 峰值频率生成单元，其利用所述输入图像数据的二维2D图像数据生成峰值频率； 对象分析单元，其基于所述空间直方图和所述峰值频率来检测所述输入图像数据的各个帧中的误差； 深度图误差校正单元，如果确定所述帧中存在误差，则该深度图误差校正单元校正所述深度图信息，使得所述误差被校正；以及 渲染处理单元，其利用所述经校正的深度图信息来产生用于形成3D图像的左眼图像和右眼图像。2.根据权利要求1所述的设备，其中，所述空间直方图生成单元通过针对所述输入图像数据的各个帧中的根据所述深度图信息分类的各个对象在横(X)轴和纵(Y)轴上对所述深度图信息进行直方图分析来生成所述空间直方图信息。3.根据权利要求2所述的设备，其中，所述空间直方图生成单元通过针对各个对象对所述深度图信息进行直方图分析来生成空间直方图表。4.根据权利要求1所述的设备，其中，所述峰值频率生成单元通过按照预定宏块为单位对所述输入图像数据的各个帧进行扫描来将所述帧划分成多个区域，并利用所划分的多个区域中的每一个的像素值来计算所述峰值频率。5.根据权利要求4所述的设备`，其中，所述峰值频率生成单元利用快速傅里叶变换FFT将各个帧的频率分量划分成高频分量和低频分量，并将所述高频分量的系数的比确定为所述峰值频率。6.根据权利要求5所述的设备，其中，所述峰值频率生成单元基于针对各个区域计算出的所述峰值频率来生成峰值频率表。7.根据权利要求2所述的设备，其中，如果所述对象中包括的所述空间直方图信息超出第一阈值，则所述对象分析单元将所述对象的对应区域分类为误差倾向区域。8.根据权利要求7所述的设备，其中，如果超出所述对象中包括的所述空间直方图信息的标准差的特定值在所述第一阈值的纵(Y)轴的正(+)方向或负(_)方向上超出所述第一阈值，则所述对象分析单元将与所述特定值对应的区域分类为所述误差倾向区域。9.根据权利要求7所述的设备，其中，所述对象分析单元从通过按照预定宏块为单位对所述输入图像数据的各个帧进行扫描所划分的所述多个区域中选择与所述误差倾向区域对应的区域，如果所选择的区域的所述峰值频率超出第二阈值，则所述对象分析单元确定所述误差倾向区域的所述深度图信息中存在误差，从而将所述误差倾向区域识别为误差包含区域。10.根据权利要求9所述的设备，其中，如果与所述误差倾向区域对应的所述峰值频率在所述正(+ )方向或负(_)方向上超出所述第二阈值，并且如果所述峰值频率超出所述第一阈值的所述正(+ )方向或负(_)方向的结果与所述峰值频率超出所述第二阈值的所述正(+ )方向或负(_)方向的结果彼此不一致，则所述对象分析单元确定所述误差倾向区域的所述深度图信息中存在误差，从而将所述误差倾向区域识别为所述误差包含区域。11.根据权利要求9所述的设备，其中，所述深度图误差校正单元校正所述误差包含区域的所述深度图信息中的所述误差。12.根据权利要求9所述的设备，其中，如果超出与所述误差包含区域相关的所述空间直方图信息的所述标准差的特定值在所述第一阈值的纵(Y)轴的所述正(+)方向上超出所述第一阈值，则所述深度图误差校正单元将在所述正(+)方向上超出所述第一阈值的所述特定值减小到所述空间直方图信息的所述标准差。13.根据权利要求9所述的设备，其中，如果超出与所述误差包含区域相关的所述空间直方图信息的所述标准差的特定值在所述第一阈值的所述纵(Y)轴的所述负(_)方向上超出所述第一阈值，则所述深度图误差校正单元将在所述负(_)方向上超出所述第一阈值的所述特定值增加到所述空间直方图信息的所述标准差。14.根据权利要求1所述的设备，该设备还包括: 深度图接收单元，其接收与所述图像数据相关的所述深度图信息；以及 2D图像接收单元，其接收所述输入图像数据的2D图像数据。15.根据权利要 求14所述的设备，该设备还包括: 图像接收单元，其确定与所述输入图像数据相关的所述深度图信息是否被单独输入，如果确定所述深度图信息被单独输入，则该图像接收单元将所述深度图信息发送到所述深度图接收单元；以及 深度图估计单元，如果与所述输入图像数据相关的所述深度图信息没有被单独输入，则该深度图估计单元针对所述输入图像数据的各个帧估计所述深度图信息，并且将所估计出的深度图信息发送到所述深度图信息接收单元。16.根据权利要求15所述的设备，其中，所述深度图估计单元利用与画面的倾...

【专利技术属性】
技术研发人员：禹大植，全柄玑，金娥烂，李洪雨，金钟大，郑元晳，
申请(专利权)人：SK普兰尼特有限公司，
类型：发明
国别省市：韩国;KR