用于视频递送的纹理的序列的生成制造技术

本公开的各实施例涉及用于视频递送的纹理的序列的生成。提供了用于从纹理图像生成视频以及用于从视频重构纹理图像的技术和系统。例如，纹理图像可以被划分成多个区块，并且区块的数目可以被排序成有序区块的序列。有序区块的序列可以被提供给视频编码器以用于生成编码视频。可以基于有序区块的序列来编码区块的数目。包括经编码的有序区块的序列的编码视频可以被解码。解码视频的至少一部分可以包括被排序成有序区块的序列的区块的数目。与解码视频的至少一部分相关联的数据文件可以用于使用区块来重构纹理图像。

【技术实现步骤摘要】
用于视频递送的纹理的序列的生成相关申请的交叉引用本申请要求于2019年03月21日提交的美国临时申请号62/821958的权益以及于2019年9月26日提交的美国正规申请号16/584,591的权益，通过引用把它们整体并且用于所有目的并入本文。
本申请涉及纹理图像的处理。例如，本申请的各方面涉及生成并流传输视频中的纹理图像的序列。
技术介绍
数字媒体内容包括大量数据，以满足消费者、视频提供商等的需求。例如，许多用户期望具有高分辨率、高帧速率等的高质量视频。满足这些需求所需的大量数据给通信网络以及处理和存储视频数据的设备带来了负担。三维(3D)媒体内容比二维(2D)媒体包括更大的数据量。例如，一个3D场景可以包括许多3D对象，并且每个对象都可以与限定该对象的几何形状和性质所需的大量数据相关联。由于3D场景中的各种3D对象的大小，在网络(例如因特网)上递送丰富、高质量的3D场景具有挑战性。
技术实现思路
在一些示例中，本文中描述了用于生成和处理纹理图像的技术和系统，从而可以有效且自适应地递送纹理图像以供消费。例如，3D场景可以由各种对象(例如，在一些情况下，数千个以上的对象)组成，导致在未压缩时产生大量数据。基于网络和设备约束，将未压缩的数据从一个系统(例如，内容提供商)传送到另一系统(例如，最终用户设备)可能是困难的。大量数据至少部分是由于3D虚拟世界中的每个对象都由3D网格和高分辨率纹理数据限定。对象的3D网格可以限定对象的几何形状一部分或整个几何形状，而纹理数据可以限定对象的不同性质。与对象相关联的纹理数据可以包括一个或多个纹理图像(在本文中也被称为“纹理”)。在一些情况下，单个对象可以具有多个纹理图像，该些纹理图像限定了对象的不同性质。可以将纹理图像应用于对象的3D网格，以便修改对象的表面性质。在一个说明性示例中，第一纹理图像可以包括限定对象的表面的颜色的值，第二纹理图像可以包括限定如何使对象的表面的某些区域光亮或粗糙的值，以及第三纹理图像可以包括限定表面上各个点的表面法线的值(例如，用于修改对象的表面性质)。纹理图像的许多其他示例可用于限定对象的性质。本文描述的技术和系统允许纹理图像被编码并作为视频序列被递送，而不是作为单独的纹理图像或作为单独的编码纹理图像被独立递送。纹理图像可以被处理，以便可以使用现有的内容递送基础设施，从而对所得的视频序列的质量进行精细控制。例如，一个或多个纹理图像可以分为重叠或不重叠的区块。在一些情况下，区块可以具有统一的区块大小。例如，一个纹理图像的区块或具有不同分辨率的多个纹理图像的区块都可以具有相同的统一区块大小。统一的区块大小允许区块由视频编码器进行编码，就好像它们是具有某个视频分辨率的视频帧一样。然后，可以通过将区块排序成特定顺序来生成有序区块的序列。在一个说明性示例中，可以执行基于相似性的排列，其中可以基于一个或多个纹理图像的区块之间的相似性来确定序列中区块的顺序。有序区块的序列可以按照散布不同纹理图像的区块的顺序。基于相似性的排列可以导致序列中的连续图像具有高相似性，允许视频编码器可以利用这种相似性并且更有效地压缩视频。在另一说明性示例中，可以执行基于子序列的排列。基于子序列的排列可以针对具有某些秒数的视频的段对区块进行排序，从而导致有序区块的序列包括多个子序列。例如，可以以最小化需要下载以获得第一纹理图像的视频段的数目的顺序将区块排序成有序区块的序列。在一些情况下，基于子序列的排列可以确保给定纹理图像的大部分或全部区块处于最小数目的段中。在一些示例中，纹理图像的区块可以以光栅扫描顺序排列、可以被随机排列，或者可以基于以相似性为基础的排列而被排列。除了基于相似性的排列和基于子序列的排列之外或作为其备选，可以执行用于对区块进行排列的其他技术。可以将有序区块的序列作为输入帧提供给视频编码器。视频编码器将有序区块的序列中的区块视为单独的图像帧。视频编码器产生编码纹理视频，该编码纹理视频包括来自有序区块的序列和其他信息的编码区块。编码区块在本文中也可以被称为编码图片。各种输入参数也可以被提供给视频编码器，输入参数诸如是每秒帧数(FPS)、目标视频比特率、视频中要包括的可独立解码和可下载段的数目、它们的任何组合，和/或其他参数。与包括具有时间关系的帧的标准视频(例如，视频的帧以某种顺序输出或播放)不同，纹理图像与纹理图像的各个区块不具有任何时间上的关系或基于时间的关系(在本文中被称为“时间独立”)。纹理图像和区块之间的这种时间独立性允许选择任何FPS值。在一些情况下，FPS和比特率参数允许服务提供商生成具有多种质量和多种递送延迟的相同视频的多个版本(具有纹理集)。在一些情况下，可以为数据文件提供编码视频，解码器可以使用该编码视频来重构纹理图像。可以使用现有的视频递送基础设施通过网络将编码视频(包括编码区块)递送给视频解码器。例如，可以使用因特网流协议通过因特网流传输编码视频。视频解码器可以解码视频以获得的有序区块的解码序列，并且可以将解码序列发送到纹理图像重构系统。纹理图像重构系统可以获得提供有编码视频的数据文件，并且可以使用来自数据文件的信息来重构纹理图像。例如，数据文件可以包括针对构成有序区块的序列的区块的上下文数据。对于给定的区块，上下文数据可以包括针对该区块的区块标识符、与区块相关联的纹理图像的标识以及第一区块在该纹理图像内的位置。在一些示例中，还可以在数据文件中包括针对区块的转换信息。如本文中更详细描述的，转换信息可以指示将被应用于区块以修改区块的像素以生成最终纹理图像的转换。根据至少一个示例，提供了一种从一个或多个纹理图像生成视频的方法。方法包括将第一纹理图像划分成第一多个区块。第一纹理图像被配置为应用于至少第一三维网格。方法还包括将第一多个区块排序成有序区块的序列，并提供该有序区块的序列以用于编码视频的生成。编码视频的生成包括基于有序区块的序列对第一多个区块进行编码。在另一示例中，提供了一种用于从一个或多个纹理图像生成视频的装置，该装置包括被配置为存储一个或多个纹理图像的存储器以及耦合到该存储器的处理器。处理器被配置为将第一纹理图像划分成第一多个区块。第一纹理图像被配置为应用于至少第一三维网格。处理器还被配置为将第一多个区块排序成有序区块的序列。处理器还被配置为提供有序区块的序列以用于生成编码视频。编码视频的生成包括基于有序区块的序列对第一多个区块进行编码。在另一示例中，提供了一种非暂态计算机可读介质，其上存储有指令，该指令在由一个或多个处理器执行时，使一个或多个处理器：将第一纹理图像划分成第一多个区块，该第一纹理图像被配置为应用于至少第一三维网格；将第一多个区块排序成有序区块的序列；以及提供有序区块的序列以用于编码视频的生成，其中编码视频的生成包括基于有序区块的序列对第一多个区块进行编码。在另一示例中，提供了一种用于从一个或多个纹理图像生成视频的装置。装置包括用于将第一纹理图像划分成第一多个区块的部件。第一纹理图像被配置为应用于至少第一三维网格。装置还包括：用于将第一多个区块排序成有序本文档来自技高网...

【技术保护点】
1.一种从一个或多个纹理图像生成视频的方法，包括：/n将第一纹理图像划分成第一多个区块，所述第一纹理图像被配置为至少应用于第一三维网格；/n将所述第一多个区块排序成有序区块的序列；以及/n提供所述有序区块的序列以用于编码视频的生成，其中所述编码视频的生成包括基于所述有序区块的序列对所述第一多个区块进行编码。/n

【技术特征摘要】
20190321 US 62/821,958;20190926 US 16/584,5911.一种从一个或多个纹理图像生成视频的方法，包括：
将第一纹理图像划分成第一多个区块，所述第一纹理图像被配置为至少应用于第一三维网格；
将所述第一多个区块排序成有序区块的序列；以及
提供所述有序区块的序列以用于编码视频的生成，其中所述编码视频的生成包括基于所述有序区块的序列对所述第一多个区块进行编码。


2.根据权利要求1所述的方法，还包括：
确定来自所述第一多个区块中的区块的对之间的相似性；以及
使用所述区块的对之间的所述相似性，基于使所述有序区块的序列中的连续区块之间的相异性的和最小化的序列，来确定所述有序区块的序列。


3.根据权利要求1所述的方法，其中所述第一多个区块按照使需要下载以获得所述第一纹理图像的视频段的数目最小化的顺序，而被排序成所述有序区块的序列。


4.根据权利要求3所述的方法，其中所述有序区块的序列包括第一子序列和第二子序列，所述第一子序列包括来自所述第一多个区块的第一组区块，并且所述第二子序列包括来自所述第一多个区块的第二组区块。


5.根据权利要求1所述的方法，还包括：
将第二纹理图像划分成第二多个区块，所述第二纹理图像被配置为应用于所述第一三维网格或第二三维网格中的至少一个三维网格；
其中所述排序包括将所述第一多个区块和所述第二多个区块排序成所述有序区块的序列；并且
其中所述编码视频的生成包括：基于所述有序区块的序列，对所述第一多个区块和所述第二多个区块进行编码。


6.根据权利要求5所述的方法，其中所述第一纹理图像和所述第二纹理图像在时间上独立，其中所述第一纹理图像的第一分辨率和所述第二纹理图像的第二分辨率是不同的分辨率，并且其中所述第一多个区块和所述第二多个区块具有统一的区块大小。


7.根据权利要求5所述的方法，其中所述第一多个区块和所述第二多个区块基于所述第一多个区块和所述第二多个区块之间的相似性而被排序成所述有序区块的序列。


8.根据权利要求5所述的方法，还包括：
确定来自所述第一多个区块和所述第二多个区块中的区块的对之间的相似性；以及
使用所述区块的对之间的所述相似性，基于使所述有序区块的序列中的连续区块之间的相异性的和最小化的序列，来确定所述有序区块的序列。


9.根据权利要求5所述的方法，其中所述第一多个区块和所述第二多个区块按照使需要下载以获得所述第一纹理图像和所述第二纹理图像的视频段的数目最小化的顺序而被排序成所述有序区块的序列。


10.根据权利要求1所述的方法，其中所述编码视频使用第二区块作为用于预测的基准区块，基于第一区块的帧间预测而被生成。


11.根据权利要求10所述的方法，其中所述第一区块和所述第二区块来自所述第一纹理图像。<...

【专利技术属性】
技术研发人员：G·西蒙，V·斯瓦米纳森，N·卡尔，S·彼得安杰利，
申请(专利权)人：奥多比公司，
类型：发明
国别省市：美国;US