处理三维图像的方法和设备技术

公开了一种处理三维(3D)图像的方法。该方法包括以下步骤：将3D图像投影为二维(2D)图像；通过对构成该2D图像的多个区域进行打包来生成打包的2D图像；通过编码该打包的2D图像来生成编码数据；以及发送该编码数据。

Method and Equipment for Processing Three-Dimensional Images

A method for processing three-dimensional (3D) images is disclosed. The method includes the following steps: projecting a 3D image into a two-dimensional (2D) image; generating a packaged 2D image by packaging multiple regions of the 2D image; generating encoding data by encoding the packaged 2D image; and transmitting the encoding data.

【技术实现步骤摘要】
【国外来华专利技术】处理三维图像的方法和设备
本公开涉及处理三维(3D)图像的方法和设备。
技术介绍
互联网正在从人在其中创建和消费信息的以人为中心的连接网络演变成在其中分布实体(诸如物体)、交换和处理信息的物联网(IoT)。已经出现了万物互联网(IoE)，万物互联网(IoE)是通过与云服务器连接的大数据处理和IoT技术的组合。为了实现IoT服务，需要诸如感测技术、有线/无线通信和网络基础设施、服务接口技术和安全技术的技术要素，并且最近已经开发了传感器网络、机器对机器(M2M)和机器类型通信(MTC)等，以连接各种物体。这样的IoT环境可以提供智能互联网技术(IT)服务，该服务通过收集和分析由互联事物生成的数据来为人类生活增添新的价值。通过现有IT与各领域之间的汇聚和结合，IoT可以应用于各种领域，包括智能家居、智能建筑、智能城市、智能汽车或联网汽车、智能电网、健康护理、智能装置和高级医疗服务等。同时，实施物联网的内容也在不断发展。即，通过黑/白内容到彩色内容、高清(HD)、超高清(UHD)和最新的的高动态范围(HDR)的标准和分发的不断发展，正在研究可以在诸如Oculus、三星GearVR等虚拟现实(VR)设备中再现的虚拟现实(VR)内容。根据VR系统，监视用户并且一旦允许用户通过使用一种控制器向内容显示装置或处理单元提供反馈输入，则该装置或单元处理该输入并相应地调整内容，从而实现交互。VR生态系统中的基本组件可以包括例如头戴式显示器(HMD)、无线或移动VRTV、洞穴自动虚拟环境(CAVE)、外围设备和触觉设备[用于向VR提供输入的其他控制设备]、内容捕捉[相机或视频拼接]、内容工作室[游戏、现场、电影、新闻和及纪录片]、工业应用[教育、健康护理、房地产、建筑和旅行]、生产工具和服务[3D引擎和处理能力]、以及[VR媒体内容的]应用程序(App)商店等。在VR设备中再现的三维(3D)图像可以是诸如球形或圆柱形的立体图像。VR设备可以通过考虑用户注视的方向等来显示3D图像的特定区域。在用于存储、压缩和发送VR的360度图像(或3D图像或全方向图像)的系统中，使用多个相机捕获的多个图像被映射到3D模型(例如，球形模型、立方体模型和圆柱体模型等)的表面上，并且HMD设备渲染并显示与特定视野相对应的区域。在此情况下，为了向位于远程位置的用户(或远程用户)提供3D图像，可以使用用于压缩/存储/发送2D图像的现有系统。为了将3D图像映射(或投影)为2D图像，例如，可以使用等量矩形投影(ERP)。在通过使用ERP将3D图像转换为2D图像之后，可以通过使用用于压缩/存储/发送2D图像的现有系统将2D图像传送给远程用户。远程用户可以解码接收到的2D图像，然后通过ERP(或逆ERP)逆投影来重建3D图像。图1示出了示例性的逆ERP。参照图1，可以通过逆ERP将矩形2D图像转换为球形3D图像。为了将3D图像映射为2D图像，可以使用基于圆柱状的投影(或圆柱状投影)或基于立方体的投影(或立方体投影)以及ERP，还可以使用其他各种映射方案。已经接收到通过使用圆柱状投影或立方体投影被转换为2D图像的3D图像的VR设备可以通过逆圆柱状投影或逆立方体投影来重建3D图像。图2示出了示例性的逆圆柱状投影。参照图2，可以通过逆圆柱状投影将矩形2D图像转换为圆柱状3D图像。图3示出了示例性的立方体投影。参照图3，通过立方体投影生成的2D图像可以包括与六面体(立方体)的面相对应的六个矩形(或正方形)形状的子图像。通过逆立方体投影，六个子图像中的每个子图像与六面体的每个面相对应，以重建六面体形状的3D图像。根据参考图1至图3描述的投影方法和逆投影方法，可能使特定区域中的图像失真，或者根据每种投影方法可能生成关于特定区域的过度冗余数据。例如，在ERP的情况下，在2D图像的上边缘和下边缘中可能产生比2D图像的中心更坏的失真。因此，当通过HMD设备观看图像的上极和下极时，可能由于失真而降低沉浸感。此外，在极点处，与点相对的数据被线性上采样(up-sampled)并且被投影为2D图像，增加了不必要的数据，从而增大了发送2D数据的比特率。使用ERP等从3D图像投影的图像数据的数据量可能大于常规2D图像的数据量。为了减轻数据发送的负担，可以考虑将投影的2D图像划分为多个图块(tile)并且仅发送关于与当前视场(FoV)相对应的区域的图块的数据的方法。然而，根据该方案，由投影引起的失真程度随着图块而不同，使得无法保证视口(viewport)均匀的视觉质量，并且可能不得不发送冗余数据。此外，为每个图块分割、压缩和发送数据，会引起块效应。
技术实现思路
技术问题使用ERP等从3D图像投影的图像数据的数据量可能大于常规2D图像的数据量。为了减轻数据传输的负担，可以考虑将投影的2D图像划分为多个图块并且仅发送关于与当前视场(FoV)相对应的区域的图块的数据的方法。然而，根据该方案，由投影引起的失真程度随着图块而不同，使得无法保证视口均匀的视觉质量，并且可能不得不发送冗余数据。此外，为每个图块分割、压缩和发送数据，会引起块效应。因此，本公开将从3D图像投影的2D图像进行有效地分割和转换，以提高传输效率和重建质量。本公开的目的并不限于前述内容，并且根据以下描述，其他未提及的目的对于本领域技术人员将是显而易见的。技术方案根据本公开的实施例的用于处理三维(3D)图像的方法包括：将3D图像投影为二维(2D)图像，通过打包形成所述2D图像的多个区域来生成打包的2D图像，通过编码所述打包的2D图像来生成编码数据，并且发送所述编码数据。根据本公开的另一实施例的处理3D图像的发送器包括：通信接口和与所述通信接口电连接的处理器，其中，所述处理器被配置为将3D图像投影为2D图像，通过打包形成所述2D图像的多个区域来生成打包的2D图像，通过编码所述打包的2D图像生成编码数据，并且发送所述编码数据。根据本公开的另一实施例的显示3D图像的方法包括：接收编码数据，通过解码所述编码数据生成多个打包有多个区域的2D图像，通过解包所述打包的2D图像来生成从3D图像投影的2D图像，以及基于所述投影的2D图像显示所述3D图像。根据本公开另一实施例的显示3D图像的设备包括：通信接口和与所述通信接口电连接的处理器，其中所述处理器被配置为接收编码数据，通过解码所述编码数据生成多个打包有多个区域的2D图像，通过解包所述打包的2D图像来生成从3D图像投影的2D图像，并且基于所述投影的2D图像显示所述3D图像。在具体实施方式和附图中包括其他实施例的详细内容。有益效果根据本公开的实施例，至少可以获得下面描述的效果。即，可以提高从3D图像投影的2D图像的传输效率，并且可以提高重建质量。本公开的效果并不限于此，而是本公开包含其他各种效果。附图说明图1示出了示例性的逆ERP。图2示出了示例性的逆圆柱状投影。图3示出了示例性的逆立方体投影。图4示出了根据本公开的实施例的发送器的系统。图5示出了根据本公开的实施例的接收器的系统。图6示出了根据本公开的实施例的配置翘曲单元(warpingunit，WU)的方法。图7示出了根据本公开的另一实施例的配置WU的方法。图8示出了根据本公开的实施例翘曲WU的方法。图9示出了根据本公开的实施例的配置W本文档来自技高网...

【技术保护点】
1.一种处理三维(3D)图像的方法，所述方法包括：将3D图像投影为二维(2D)图像；通过对形成所述2D图像的多个区域进行打包来生成打包的2D图像；通过编码所述打包的2D图像来生成编码数据；以及发送所述编码数据。

【技术特征摘要】
【国外来华专利技术】2017.09.06 KR 10-2017-0114060;2016.09.09 US 62/3851.一种处理三维(3D)图像的方法，所述方法包括：将3D图像投影为二维(2D)图像；通过对形成所述2D图像的多个区域进行打包来生成打包的2D图像；通过编码所述打包的2D图像来生成编码数据；以及发送所述编码数据。2.根据权利要求1所述的方法，其中，所述多个区域彼此不重叠。3.根据权利要求1所述的方法，其中，所述多个区域的打包包括旋转所述多个区域中的至少一个。4.根据权利要求1所述的方法，其中，所述多个区域的打包包括改变所述多个区域中的至少一个的一个或更多个边的长度。5.根据权利要求1所述的方法，其中，所述多个区域的打包包括将不同的采样率应用于所述多个区域中的至少一个的水平轴和垂直轴。6.根据权利要求1所述的方法，其中，所述打包的2D图像包括至少一个不会被渲染的额外区域。7.一种显示三维(3D)图像的方法，所述方法包括：接收编码...

【专利技术属性】
技术研发人员：埃里克·叶，崔秉斗，宋在涓，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：韩国,KR