在DIBR系统(MFP-DIBR)中产生立体视点的基于多焦面的方法技术方案

示例方法的一些实施例可以包括：接收具有深度信息的输入图像；将所述输入图像映射到一组焦平面图像；使用头部定向信息来定向所述一组焦平面图像，以提供左眼和右眼之间的立体差异；以及显示所述经定向的一组焦平面图像。另一示例方法的一些实施例可以包括：接收关于三维(3D)内容的描述；从跟踪器接收指示观看者相对于真实世界环境的运动的信息；响应于接收到指示所述观看者的运动的所述信息，通过改变所述3D内容的多焦平面来合成运动视差；以及使用所述改变的多焦平面渲染，将图像渲染到所述多焦平面显示器。

【技术实现步骤摘要】
【国外来华专利技术】在DIBR系统(MFP-DIBR)中产生立体视点的基于多焦面的方法相关申请的交叉引用本申请是以下申请的非临时申请并根据35U.S.C.§119(e)要求其权益：2018年3月23日提交的题为“MultifocalPlaneBasedMethodtoProduceStereoscopicViewpointsinaDIBRSystem(MFP-DIBR)(在DIBR系统DIP-DIBR中产生立体视点的基于多焦面的方法)”的美国临时专利申请No.62/647,568，该美国临时专利申请通过引用而被整体结合于此。
技术介绍
可穿戴眼镜类型的近眼显示器(NED)在虚拟现实和游戏中以及最近还在增强现实中变得流行。使用移动电话作为显示元件的眼镜是用于观看虚拟或相机捕获的视频的流行的低成本设备的示例。通常，所有这些显示器呈现立体图像对的序列。立体渲染可与外部显示器一起使用，这其中包括用于立体3D(S3D)TV的那些显示器。许多以前的基于MFP或基于3D的视点生成系统(其中视点可能由于用户运动而稍微改变)可能具有较低的视觉质量。许多支持自然调节的近眼显示器缺乏对视点变化的支持，这其中包括当转动人眼时(在眼框内稍微改变视点)相对于显示器的甚至小的视点变化。去遮挡(disocclusions)自然地取决于内容，但是在大的视点变化或差异的情况下可能更突出。形成用于立体视觉或运动视差(parallax)的虚拟视点可以用于例如360度视频的3DoF+扩展和其他3DoF应用中。
技术实现思路
根据一些实施例的示例方法可以包括：接收具有深度信息的输入图像；使用所述深度信息将所述输入图像映射到多个焦平面图像；使用头部定向(orientation)信息来定向所述多个焦平面图像以提供左眼与右眼之间的立体差异(disparity)；以及显示所定向的多个焦平面图像。在示例方法的一些实施例中，至少接收所述输入图像和显示所定向的多个焦平面图像由多焦平面(MFP)显示器执行。在示例性方法的一些实施例中，定向所述多个焦平面图像可以包括旋转所述多个焦平面图像中的一者或多者。在示例方法的一些实施例中，旋转所述多个焦平面图像中的一者或多者可以包括相对于平行于水平线的向量，旋转所述焦平面图像中的一者或多者的视差向量。在示例性方法的一些实施例中，对所述多个焦平面图像进行定向可以包括移动所述多个焦平面图像中的一者或多者。在示例方法的一些实施例中，移动多个焦平面图像中的一个或多个焦平面图像可以包括缩放相应的一个或多个焦平面图像的视差向量。在示例性方法的一些实施例中，移动多个焦平面图像中的一者或多者可包括相对于固定原点旋转多个焦平面图像中的一者或多者。在所述示例方法的一些实施例中，移动所述多个焦平面图像中的一者或多者包括将所述多个焦平面图像中的一者或多者相对于固定原点移动一偏移量。所述示例方法的一些实施例还可包括：处理所述多个焦平面图像以处理由移位所述焦平面图像引起的图像视差。在所述示例性方法的一些实施例中，处理所述多个焦平面图像可以包括滤波所述多个焦平面图像中的一者或多者。在所述示例方法的一些实施例中，处理所述多个焦平面图像包括：确定所述多个焦平面图像中的至少一者的深度混合权重；以及使用所述相应的深度混合权重，生成所述多个焦平面图像中的至少一者。在所述示例方法的一些实施例中，生成多个焦平面图像中的至少一者包括将多个纹理中的至少一者乘以所述相应的深度混合权重。在所述示例方法的一些实施例中，显示所定向的多个焦平面图像可以包括组合所移位的焦平面图像以生成立体图像对。所述示例方法的一些实施例还可以包括：测量观看者相对于真实世界环境的位置的运动跟踪传感器读数，以生成所述头部定向信息。所述示例方法的一些实施例还可以包括：响应于生成所述头部定向信息，通过改变所述多个焦平面图像中的一者或多者来合成运动视差。在所述示例方法的一些实施例中，所合成的运动视差可以包括使用头部定向信息相对于彼此缩放多个焦平面图像中的一者或多者，并且头部定向信息可以指示轴向运动。所述示例方法的一些实施例还可以包括：针对低频内容，对所述输入图像进行滤波；以及将所述低频内容重新分布到所述多个焦平面图像。所述示例方法的一些实施例还可以包括：针对高频内容，对所述输入图像进行滤波；以及将所述高频内容分解到所述多个焦平面图像。根据一些实施例的示例设备可以包括：处理器；以及存储指令的非暂时性计算机可读介质，所述指令当在所述处理器上执行时可操作以执行上述示例方法中的一者。根据一些实施例的示例方法可以包括：接收关于三维(3D)内容的描述；从跟踪器接收指示观看者相对于真实世界环境的运动的信息；响应于接收到指示所述观看者的运动的所述信息，通过改变所述3D内容的多焦平面来合成运动视差；以及使用所改变的多焦平面渲染，将图像渲染到所述多焦平面显示器。在示例方法的一些实施例中，所合成的运动视差可以包括使用指示观看者的运动的信息来相对于彼此缩放所述多焦平面，并且观看者的所述运动可以是轴向的。根据一些实施例的示例设备可以包括：处理器(例如，一个或多个处理器)；以及存储指令的非暂时性计算机可读介质，所述指令当在处理器上执行时可操作以执行上述示例方法中的一者。根据一些实施例的示例方法可以包括：确定映射到输入图像的多个焦平面图像；使用头部定向信息来定向所述多个焦平面图像以提供左眼与右眼之间的立体差异；以及显示所定向的多个焦平面图像。在所述示例方法的一些实施例中，确定所述多个焦平面图像包括接收所述多个焦平面图像。在所述示例方法的一些实施例中，确定所述多个焦平面图像包括将所述输入图像映射到所述多个焦平面图像以生成所述多个焦平面图像。根据一些实施例的示例设备可以包括：处理器；以及存储指令的非暂时性计算机可读介质，所述指令当在所述处理器上执行时可操作以执行上述示例方法中的一者。根据一些实施例的示例方法可以包括：接收关于三维(3D)视频内容；接收观看者定向信号；使用所述3D视频内容和所述观看者定向信号来确定显示器的一个或多个焦平面的图像数据；以及使用所述图像数据将一个或多个焦平面图像渲染到显示器。根据一些实施例的示例设备可以包括：处理器；以及存储指令的非暂时性计算机可读介质，所述指令当在所述处理器上执行时可操作以执行上述示例方法。附图说明从以下结合附图以示例方式呈现的描述中可以获得更详细的理解。此外，图中相同的附图标记表示相同的元素。图1A是示出了根据一些实施例的示例性通信系统的示例性系统的示意图。图1B是示出了根据一些实施例的可以在图1A所示的通信系统内部使用的示例性无线发射/接收单元(WTRU)的示例性系统的系统示意图。图2A是示出了在距用户不同深度处显示的一组示例焦平面的示意图。图2B示出了示例焦平面图像的图示。图3是示出了对于珀西瓦尔(Percival)的舒适区，左图像和右图像之间的示例图像差异与观察者到屏本文档来自技高网...

【技术保护点】
1.一种方法，包括：/n接收具有深度信息的输入图像；/n使用所述深度信息将所述输入图像映射到多个焦平面图像；/n使用头部定向信息来定向所述多个焦平面图像，以提供左眼与右眼之间的立体差异；以及/n显示所述定向的多个焦平面图像。/n

【技术特征摘要】
【国外来华专利技术】20180323 US 62/647,5681.一种方法，包括：
接收具有深度信息的输入图像；
使用所述深度信息将所述输入图像映射到多个焦平面图像；
使用头部定向信息来定向所述多个焦平面图像，以提供左眼与右眼之间的立体差异；以及
显示所述定向的多个焦平面图像。


2.根据权利要求l所述的方法，其中至少接收所述输入图像和显示所述定向的多个焦平面图像由多焦平面(MFP)显示器执行。


3.根据权利要求l-2中任一项所述的方法，其中定向所述多个焦平面图像包括旋转所述多个焦平面图像中的一者或多者。


4.根据权利要求3所述的方法，其中旋转所述多个焦平面图像中的一者或多者包括：相对于平行于水平线的向量，旋转所述焦平面图像中的一者或多者的差异向量。


5.根据权利要求l-4中任一项所述的方法，其中定向所述多个焦平面图像包括：移位所述多个焦平面图像中的一者或多者。


6.根据权利要求5所述的方法，其中移位所述多个焦平面图像中的一者或多者包括：缩放所述相应一或多个焦平面图像的差异向量。


7.根据权利要求5所述的方法，其中移位所述多个焦平面图像中的一者或多者包括：相对于固定原点，旋转所述多个焦平面图像中的一者或多者。


8.根据权利要求5所述的方法，其中移位所述多个焦平面图像中的一者或多者包括：使所述多个焦平面图像中的一者或多者相对于固定原点移动一偏移。


9.根据权利要求5-8中任一项所述的方法，还包括处理所述多个焦平面图像以处理由移位所述焦平面图像引起的图像视差。


10.根据权利要求9所述的方法，其中处理所述多个焦平面图像包括：对所述焦平面图像中的一者或多者进行滤波。


11.根据权利要求9所述的方法，其中处理所述多个焦平面图像包括：
确定所述多个焦平面图像中的至少一者的深度混合权重；以及
使用所述相应深度混合权重，生成所述多个焦平面图像中的至少一者。


12.根据权利要求11所述的方法，其中生成所述多个焦平面图像中的至少一者包括将多个纹理中的至少一者乘以所述相应深度混合权重。


13.根据权利要求5-12中任一项所述的方法，其中显示所述定向的多个焦平面图像包括：组合所移位的焦平面图像，以生成立体图像对。


14.根据权利要求l-13中任一项所述的方法，还包括：测量观看者相对于真实世界环境的位置的运动跟踪传感器读数，以生成所述头部定向信息。


15.根据权利要求14所述的方法，其进一步包括：响应于生成所述头部定向信息，通过更改所述多个焦平面图像中的一或多者来合成运动视差。


16.根据权利要求15所述的方法，其中
其中合成运动视...

【专利技术属性】
技术研发人员：塞波·T·瓦利，佩卡·K·西尔塔宁，
申请(专利权)人：PCMS控股公司，
类型：发明
国别省市：美国;US