防止边界伪影的系统和方法技术方案

公开了一种用于处理360°视频的方法。该方法包括接收视频数据和用于处理视频数据的元数据，该视频包括多个区域；确定元数据何时包括多个区域中的至少一个区域包括沿该至少一个区域的至少一个边界的保护裕度的指示；以及当该指示指示该至少一个区域包括保护裕度时，基于接收到的元数据处理该视频数据。

Systems and Methods for Preventing Border Artifacts

A method for processing 360 degree video is disclosed. The method includes receiving video data and metadata for processing video data, which includes multiple regions; determining when metadata includes at least one region in multiple regions including an indication of a protection margin along at least one boundary of the at least one region; and processing based on received metadata when the indication indicates that the at least one region includes a protection margin. The video data.

【技术实现步骤摘要】
【国外来华专利技术】防止边界伪影的系统和方法
本公开一般涉及360°视频。更具体地，本公开涉及防止360°视频中的边界伪影。
技术介绍
虚拟现实体验正变得越来越突出。例如，由于功能强大的手持设备(诸如智能电话)的即时可用性，360°视频正在成为体验沉浸式(immersive)视频的一种新方式。360°视频通过捕捉世界的360°角度视野，为消费者带来沉浸式的“真实生活”、“身临其境”体验。用户可以交互地改变他们的视角，并动态地查看他们期望的已捕捉场景的任何部分。显示器和导航传感器实时跟踪头部移动，以确定用户想要查看的360°视频的区域。
技术实现思路
技术问题在诸如打包立方体图的打包投影中，在360°视频中的区域边界中一个或多个区域边界中可能具有不连续性，而不是在相邻区域的交点处。在视频渲染期间，来自相邻区域的纹理元素被用于纹理元素内插，导致不连续性作为边界伪影出现在渲染的视频中。用于解决这个问题的一个解决方案是在区域边界使用保护裕度(guardmargin)。然而，使用保护裕度将导致所传输视频中额外的冗余纹理元素。另一个解决方案是在区域边界处延伸纹理元素。然而，如果渲染硬件中不支持纹理元素延伸，则这将导致在解码器处增加复杂性。为了提供实施灵活性，则需要一种信令机制以指示是否在区域边界处使用保护裕度或者是否要实行填充。技术方案本公开涉及用于在360°视频中防止边界伪影的系统和方法。在第一实施例中，用于处理360°视频的用户设备(userequipment，UE)包括通信接口、存储器和可操作地耦合到通信接口和存储器的处理器。处理器被配置为接收视频数据和用于处理该视频数据的元数据，其中视频包括多个区域，确定元数据何时包括多个区域中的至少一个区域包括沿着该至少一个区域的至少一个边界的保护裕度的指示，当该指示指示至少一个区域包括保护裕度时，基于接收到的元数据来处理视频数据，并且当至少一个区域不包括保护裕度时，在处理视频数据之前添加保护裕度。在第二实施例中，用于处理360°视频的方法包括接收视频数据和用于处理视频数据的元数据，其中视频包括多个区域。该方法还包括确定元数据何时包括多个区域中的至少一个区域包括沿着该至少一个区域的至少一个边界的保护裕度的指示。当该指示指示至少一个区域包括保护裕度时，基于接收到的元数据来处理视频数据。当至少一个区域不包括保护裕度时，在处理视频数据之前添加保护裕度。在第三实施例中，用于存储和发送360°视频的服务器包括通信接口、存储器和可操作地耦合到通信接口和存储器的处理器。该处理器被配置为接收包括多个区域的视频数据，确定多个区域当中的至少一个区域的至少一个边界是否需要保护裕度，将保护裕度应用到该至少一个边界，并将指示符添加到与视频数据相对应的元数据，其中该指示符被配置为提供至少一个边界包括保护裕度的指示。根据以下附图、描述和权利要求，其它技术特征对于本领域技术人员来说是显而易见的。附图说明为了更完整地理解本公开及其优点，现在结合附图参考以下描述，其中：图1示出了根据本公开的示例计算系统；图2示出了根据本公开的计算系统中的示例服务器；图3示出了根据本公开的示例用户设备(UE)；图4A和图4B示出了根据本公开的360°视频的示例投影；图5示出了根据本公开的用于防止服务器中的边界伪影的方法；以及图6示出了根据本公开的用于防止UE中的边界伪影的方法。具体实施方式在进行下面的详细描述之前，阐述贯穿本专利文件使用的某些词汇和短语的定义可能是有利的。术语“耦合”及其派生词是指两个或多个元件之间的任何直接或间接通信，无论这些元件是否彼此物理接触。术语“发送”、“接收”和“通信传达”及其派生词包括直接通信和间接通信两者。术语“包括”和“包含”及其派生词意味着包括但不限于。术语“或”是包含性的，意味着和/或。短语“与……相关联”及其派生词意味着包括、被包括、互连、包含、被包含、连接到或与……连接、耦合到或与……耦合、可通信、合作、交错、并置、接近、绑定到或与……绑定、具有、具有……属性、有……关系或与……有关系等。术语“控制器”意味着控制至少一个操作的任何设备、系统或其部分。这种控制器可以用硬件或硬件和软件和/或固件的组合来实施。与任何特定控制器相关联的功能可以是集中式的或分布式的，无论是本地的还是远程的。短语“至少一个”，当与项目的列表一起使用时，意味着可以使用所列项目中的一个或多个的不同组合，并且可能仅需要列表中的一个项目。例如，“A、B和C中的至少一个”包括以下任意组合：A、B、C、A和B、A和C、B和C、以及A和B和C。此外，下面描述的各种功能可以由一个或多个计算机程序实施或支持，每个计算机程序由计算机可读程序代码形成，并体现在计算机可读介质中。术语“应用”和“程序”是指一个或多个计算机程序、软件组件、指令集、过程、功能、对象、类、实例、有关的数据、或其适于在合适的计算机可读程序代码中实施的部分。短语“计算机可读程序代码”包括任何类型的计算机代码，包括源代码、目标代码和可执行代码。短语“计算机可读介质”包括能够被计算机访问的任何类型的介质，诸如只读存储器(readonlymemory，ROM)、随机存取存储器(randomaccessmemory，RAM)、硬盘驱动器、光盘(compactdisc，CD)、数字视频盘(digitalvideodisc，DVD)或任何其他类型的存储器。“非暂时性”计算机可读介质不包括运输暂时性电信号或其他信号的有线链路、无线链路、光链路或其他通信链路。非暂时性计算机可读介质包括可以永久存储数据的介质和可以存储数据并随后重写数据的介质，诸如可重写光盘或可擦除存储器设备。贯穿本专利文件，提供了其他某些词汇和短语的定义。本领域的普通技术人员应该理解，在许多情况下(如果不是大多数情况下)，这种定义适用于这种定义的词汇和短语的现有使用和将来使用。下面讨论的图1至图6以及在本专利文件中用于描述本公开的原理的各种实施例仅作为说明，并且不应以任何方式解释为限制本公开的范围。本领域技术人员将理解，本公开的原理可以在任何适当布置的设备或系统中实施。图1示出了根据本公开的示例计算系统100。图1所示的计算系统100的实施例仅用于说明。在不脱离本公开范围的情况下，可以使用计算系统100的其他实施例。如图1所示，系统100包括网络102，网络102便于系统100中各种组件之间的通信。例如，网络102可以在网络地址之间通信传达互联网协议(InternetProtocol，IP)分组、帧中继帧、异步传输模式(AsynchronousTransferMode，ATM)信元或其他信息。网络102可以包括一个或多个局域网(localareanetwork，LAN)、城域网(metropolitanareanetwork，MAN)、广域网(wideareanetwork，WAN)、诸如因特网的全球网络的全部或部分、或者位于一个或多个位置的任何其他(多个)通信系统。网络102便于服务器104和各种UE106-110之间的通信。UE106-110可以是，例如，智能电话、平板电脑、膝上型电脑、个人计算机、可穿戴设备或头戴式显示器(head-mounteddisplay，HMD)。服务器104包括能够为一个或多个客户端设备本文档来自技高网...

【技术保护点】
1.一种用于处理360°视频的方法，所述方法包括：接收视频数据和用于处理所述视频数据的元数据，所述视频包括多个区域；确定所述元数据何时包括所述多个区域中的至少一个区域包括沿所述至少一个区域的至少一个边界的保护裕度的指示；并且当所述指示指示所述至少一个区域包括所述保护裕度时，基于所接收到的元数据处理所述视频数据。

【技术特征摘要】
【国外来华专利技术】2016.10.10 US 62/406,068;2017.10.02 US 15/722,8281.一种用于处理360°视频的方法，所述方法包括：接收视频数据和用于处理所述视频数据的元数据，所述视频包括多个区域；确定所述元数据何时包括所述多个区域中的至少一个区域包括沿所述至少一个区域的至少一个边界的保护裕度的指示；并且当所述指示指示所述至少一个区域包括所述保护裕度时，基于所接收到的元数据处理所述视频数据。2.根据权利要求1所述的方法，所述方法还包括，当所述至少一个区域不包括所述保护裕度时，在处理所述视频数据之前添加所述保护裕度。3.根据权利要求2所述的方法，其中，添加所述保护裕度包括从所述至少一个区域沿所述至少一个边界延伸纹理元素。4.根据权利要求2所述的方法，其中，添加所述保护裕度包括内插来自共享所述边界的所述至少一个区域和另一区域的纹理元素。5.根据权利要求2所述的方法，其中，当所述至少一个区域不包括所述保护裕度时，所述方法还包括基于沿所述边界的所述至少一个区域的至少一个特性来确定保护裕度是否是必要的。6.根据权利要求5所述的方法，其中，所述至少一个特性包括沿所述至少一个区域和另一区域之间的边界的多个纹理元素值。7.根据权利要求6所述的方法，其中，当所述多个纹理元素值是均匀的或基本均匀的时，所述方法还包括确定不需要保护裕度。8.根据权利要求6所述的方法，其...

【专利技术属性】
技术研发人员：M布达加维，林荣权，H纳加夫扎德，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：韩国,KR