用于立体三维视频处理的技术制造技术

一种用于处理立体三维视频的装置包括：存储器，用于存储立体三维(S3D)视频的编码的立体三维视频帧，其中S3D视频帧包括左帧、右帧和深度帧。该装置可包括处理器，用于检索深度帧的像素(x，y)，该像素(x，y)包括参考设备深度(x，y)。该装置还可包括设备知晓解码器组件，用于基于像素(x，y)为左帧中的左像素以及右帧中的右像素确定像素对的位置，并基于参考设备深度(x，y)以及用于呈现S3D视频的目标设备的屏幕大小为像素(x，y)计算目标设备差异。

【技术实现步骤摘要】
【国外来华专利技术】
本实施例涉及三维(3D)数字媒体，以及特别地，涉及解码3D视频以在显示设备上呈现。
技术介绍
最近使用立体3D观看游戏和视频已经变得越来越流行。立体3D设备，如3D投影机、3D电视等广泛用于观看电影、立体3D电视节目和其他立体3D视频。但是，当在不同设备上观看同样的立体3D视频时，当设备之间的屏幕尺寸变化，用户不具有同样的体验。例如，当用户在32英寸屏幕而不是为64英寸设计的屏幕上观看为64英寸屏幕而设计的立体3D视频设计时，用户体验是不同的。假定64英寸屏幕预期的观看距离为4米，而32英寸屏幕预期的观看距离为2米，在当今设计的立体3D视频呈现是这样：对于32英寸屏幕的感知深度范围远小于对64英寸屏幕的反之深度范围。例如，尽管32英寸屏幕是64英寸屏幕尺寸的准确一半，但是当在32英寸的屏幕上显示设计用于64英寸屏幕的立体三维视频时，感知深度范围可能远小于在64英寸屏幕上观看立体3D时体验的感知深度范围的一半。例如，32英寸屏幕上的感知深度范围可小于64英寸屏幕上感知深度范围的1/4。这种当观看设备的屏幕尺寸小于所设计设备的尺寸时，立体3D视频中呈现深度能力的大幅退化限制了许多用户的体验质量，因为立体3D视频可能在多个不同的设备类型使用。不仅如此，这可能会限制立体3D视频的发展，这是由于需要为不同的设备屏幕尺寸定制设计立体3D视频。附图说明图1描绘了用于立体三维视频处理的示例性实现架构。图2描绘了与本实施例一致的处理方案和装置。图3描绘了用于产生编码的S3D视频的一个实施例的细节。图4A呈现了作为二维图像示出S3D视频帧的L-帧或R-帧的呈现的示例图像。图4B呈现了与图4A的图像对应的深度图像。图5A至5C描绘了涉及与本实施例一致的视频处理的参数的几何关系。图6描绘了涉及与本实施例一致的L-帧和R-帧中的像素对的确定的操作。图7示出了其中由与本实施例一致的解码组件接收来自深度帧的像素的操作。图8示出了使用设备知晓(aware)解码器组件生成L-帧和R-帧。图9A-9C详述当S3D视频呈现在不同设备时感知深度之间的关系。图10示出了示例性的第一逻辑流。图11说明了示范性系统架构。具体实施方式实施例提供对当呈现在数字显示设备(其中除了其他属性之外屏幕尺寸可能会有所不同)上时观看立体3D(S3D)视频的增强。在具体实施例中，视频数据的实时编码和解码提供设备知晓视频处理的方式进行处置，如下面详细描述的。如注意到的，由于具有大范围屏幕尺寸的显示设备模型和预期观看者的距离的分散，需要用于处理立体视频的技术，该技术可适应屏幕尺寸的差别并仍产生对呈现视频的设备适合的可接受的感知深度，其在本文中被称为“目标设备”。本实施例通过在视频实时解码期间改变差异以适应目标设备的尺寸差别，从而解决这一问题。以这种方式，单个S3D视频可在具有屏幕尺寸范围的多个不同设备上使用，其中感知深度产生与设备尺寸无关的愉快用户体验。在本实施例中，由解码系统执行新颖的操作，该解码系统考虑到呈现S3D视频的该装置的特征。由于调整视频编码以考虑编码后的视频将被传送到的设备的屏幕尺寸的这个特性，执行这样的操作的技术和组件在本文中被称为“设备知晓”。本实施例的操作的结果是减少了可能由针对给定的S3D视频的感知深度方面的不合适的压缩引起的观看者失真。在不同实施例中，提供如视频解码器或编解码器(编码器/解码器)的组件，以执行或协助执行设备知晓S3D解码。该设备知晓S3D解码可以作为实施框架的一部分提供，该实施框架包括如下详述的新颖S3D视频的记录和处理。图1描绘了用于根据本公开的实施例处理S3D内容的实施架构。该架构100包括各种组件以处理S3D视频102。如下详述，在各种实施例中该S3D视频可以是以提供信息促进设备知晓该S3D视频的S3D处理的方式生成的视频内容。这具有当使用S3D视频用于跨多个不同设备平台观看时增强用户体验的效果。特别是，S3D视频可被记录和编码，以允许在具有多个不同屏幕大小的设备上观看，其中对象的感知深度被调整以考虑不同的屏幕尺寸。该S3D视频102可以被转发到设备知晓解码器系统104，其操作在下文详述。在一个实现中，S3D视频102可以被转发到包括具有带有第一尺寸的屏幕大小的数字显示的设备106。在一个实例中，S3D视频102可以一种方式进行编码，该方式被设计用于在具有该第一尺寸的屏幕大小的设备上的S3D视频102的呈现。因此，该设备106可以被称为参考设备。如在图1中进一步示出的，S3D视频102可以由设备知晓解码器系统104进行处理，并转发到第二设备，设备108，其屏幕大小与设备106的屏幕大小不同。该设备知晓解码器系统104可包括解码S3D视频102以调整其视频帧使得视频帧中对象的感知深度适合于设备108的组件。在如下详述的各种实施中，这可以允许当S3D视频102被提供给具有较小屏幕大小的设备时，保留相比于传统的视频编解码器更大的感知深度。图2呈现与各种实施例一致的用于S3D视频的示例性处理方案200。在该方案中视频内容202由视频记录设备204记录。在各种实施例中，视频记录设备204包括左照相机，右照相机，和深度照相机，其操作在下文详述。该视频内容可作为S3D视频206被存储或传送到另一设备。S3D视频206可以存储在任何地点和任何方便的设备，其被表示为视频源208。在一个使用场景中，视频源208被配置以将S3D视频206作为流播S3D视频210流播。流播S3D视频210可以在一个示例中被设计用于在具有64英寸屏幕的设备上呈现。然而，在一些实例中，流播S3D视频210可被提供给用户用于呈现在具有更小屏幕的设备上，如一个32英寸屏幕。在图2的方案中，设备知晓解码器系统212被提供来以考虑呈现流播S3D视频210的装置的特征的方式解码流播S3D视频210。具体地，该设备知晓解码器系统212可解码流播S3D视频210以考虑流播S3D视频210将被发送到的显示设备224的屏幕大小。要从设备知晓解码器系统接收解码的视频的设备在本文中一般被称为“目标设备”。该设备知晓解码器系统212可包括作为CPU 214示出的通用处理器、存储器216，图形处理单元。当视频流播到该设备知晓解码器系统212时，存储器216可存储编码的S3D视频(如流播S3D视频210)的帧。流播S3D视频310可以由处理器(如CPU 214或图形处理单元218)从存储器216检索，以用于处理。设备知晓解码器系统212还可以包括设备知晓解码器组件220，其功能关于紧接着的图进行详细说明。该设备知晓解码器组件220可以包括各种硬件元件，软件元件或两者的组合。硬件元件的示例可以包括设备、组件、处理器、微处理器、电路、电路元件(例如，晶体管，电阻器，电容器，电感器，等等)、集成电路、专用集成电路(ASIC)、可编程逻辑器件(PLD)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、存储器单元、逻辑门、寄存器、半导体器件、芯片、微芯片、芯片组等等。软件元件的示例可以包括软件组件、程序、应用、计算机程序、应用程序、系统程序、机器程序、操作系统软件、中间件、固件、软件模块、例程、子例程、函数、方法、过程、软件接口、应用程序接口(API)、指令集、计算代码、本文档来自技高网...

【技术保护点】
一种用于处理立体三维视频的装置，包括：存储器，用于存储编码的立体三维(S3D)视频的源帧，所述源帧用于在参考设备上显示，并包括左帧、右帧和深度帧；处理器，用于从所述深度帧检索像素(x，y)，所述像素(x，y)包括参考设备深度(x，y)；以及，设备知晓解码器组件，用于基于所述参考设备深度(x，y)和呈现所述S3D视频的目标设备的屏幕宽度为所述像素(x，y)计算目标设备差异。

【技术特征摘要】
【国外来华专利技术】1.一种用于处理立体三维视频的装置，包括：存储器，用于存储编码的立体三维(S3D)视频的源帧，所述源帧用于在参考设备上显示，并包括左帧、右帧和深度帧；处理器，用于从所述深度帧检索像素(x，y)，所述像素(x，y)包括参考设备深度(x，y)；以及，设备知晓解码器组件，用于基于所述参考设备深度(x，y)和呈现所述S3D视频的目标设备的屏幕宽度为所述像素(x，y)计算目标设备差异。2.如权利要求1所述的装置，所述设备知晓解码器组件基于所述参考设备深度(x，y)，确定在所述源帧中的所述左帧中的左像素和所述右帧中的右像素的像素对位置。3.如权利要求2所述的装置，所述设备知晓解码器组件用于：为所述像素(x，y)计算对应的所述左帧的左像素位置(xL，yL)和所述右帧的右像素位置(xR，yR)，其中xL＝x□d(x，y)，yL＝y，以及其中xR＝x+d(x，y)，以及yR＝y，其中d是要为所述参考设备显示的对象的屏幕上的差异。4.如权利要求3所述的装置，所述设备知晓解码器组件用于：从所述深度帧中读取所述参考设备深度(x，y)；根据感知深度h＝参考设备深度(x，y)*C，其中C是常数，为所述像素(x，y)计算h；以及对于正深度根据d＝((h-N)e)/h，或对于负深度根据d＝((N-h)e)/h，来计算d，其中N是表示所述参考屏幕的预期观看距离的常数，并且e是表示观看者眼睛间隔的常数。5.如权利要求1所述的装置，所述设备知晓解码器组件将所述目标设备差异应用到所述像素(x，y)，以在相应的偏移左帧和偏移右帧中生成一组目标设备像素对位置。6.如权利要求4所述的装置，所述设备知晓解码器组件用于：分别确定所述目标设备预期观看距离N2，所述目标和参考设备屏幕宽度W2和屏幕宽度W1；为所述像素x，y确定所述目标屏幕的感知深度h2，其中h2＝hW2/W1；以及根据以下来计算目标设备差异d2：对于正深度d2＝((h2-N2)e)/h或对于负深度d2＝((N2-h2)e)/h2。7.如权利要求6所述的装置，目标设备像素对位置的组包括由以下给出的左帧像素XLT和右帧像素XRT＝：XLT＝X□d2(x，y)，YLT＝Y，和XRT＝X+d2(x，y)，以及YRT＝Y。8.如权利要求1所述的装置，所述设备知晓解码器组件用于：基于所述深度帧中的相应的帧像素的多样性，确定相应的所述左帧中的左像素和所述右帧中的右像素的相应的像素对位置的多样性；为帧像素的所述相应的多样性计算目标设备差异的相应多样性；以及将目标设备差异的所述相应多样性应用到所述相应的帧像素以在所述相应的目标左帧和目标右帧中生成目标设备像素对位置的组的相应多样性。9.如权利要求1所述的装置，所述设备知晓解码器组件通过借助于从相应的相邻像素添加像素内容到混合像素来填充所述偏移左帧或右帧的中缺失像素...

【专利技术属性】
技术研发人员：C·黄，M·萨巴瓦尔，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：美国;US