在视频注释的存在下视频数据的高效编码制造技术

本公开涉及在视频注释的存在下视频数据的高效编码。本发明专利技术设计了用于编码要被注释叠盖的视频的系统和方法。采用了运动补偿预测编码，其中基于像素块与注释的关系来确定视频像素块的编码参数。解码器基于从编码器或其他来源获得的元数据来解码视频并对其进行注释，从而描述注释的外观和呈现模式。

Efficient coding of video data in the presence of video annotation

【技术实现步骤摘要】
在视频注释的存在下视频数据的高效编码相关申请的交叉引用本申请要求提交于2018年5月31日的美国临时专利申请No.62/678,380号的权益，该专利的公开内容据此以引用方式并入本文。
本公开涉及视频编码。
技术介绍
现代视频编码应用将带宽压缩应用于视频数据，以促进通过带宽约束的通信资源进行视频的传输。通常，带宽压缩操作引起编码损失，这导致由接收器设备恢复的视频数据在与其所表示的源视频进行比较时存在错误。过度的编码损失可以变得可被观察者察觉，这降低了对视频编码会话的满意度。附图说明图1示出了根据本公开的一个方面的视频编码系统。图2示出了根据本公开的一个方面的示例性视频合成服务。图3示出了根据本公开的一个方面的通信流程。图4是示出了根据本公开的一个方面的编码终端的部件的功能框图。图5示出了根据本公开的一个方面的一种方法。图6示出了根据本公开的一个方面的可被处理的示例性帧的一部分。图7示出了根据本公开的一个方面的可被处理的示例性帧的一部分。图8是根据本公开的一个方面的编码系统的功能框图。图9是示出了根据本公开的一个方面的解码终端的部件的功能框图。图10是根据本公开的一个方面的解码系统的功能框图。具体实施方式本专利技术人提出了用于在注释的存在下对视频数据进行编码的技术，其中在显示视频时这些注释可能遮蔽视频的某些区域。在第一方面，尚未包含叠盖的(一个或多个)图形元素(即，(一个或多个)注释)的源视频序列可以独立于(一个或多个)图形元素进行编码，并且可以被传输至接收设备。接收设备可解码经编码视频数据并且可执行合成操作，在这些合成操作中，接收设备可将(一个或多个)图形元素叠盖在经解码视频数据上。接收设备可将(一个或多个)图形元素存储在本地，可从生成经编码视频的设备接收(一个或多个)图形元素，或者可从另一个网络源(例如，互联网服务器)接收(一个或多个)图形元素。在其他方面，视频编码器可基于注释的存在，内容，和/或位置来改变其编码操作。例如，对于可能被注释遮蔽的视频序列的部分，视频编码器可降低被分配用于编码这些相应部分的比特率预算，或者其可驱动引起较低质量的编码的用于这些部分的编码模式。在另一个方面，视频编码器可降低如此遮蔽的像素块的错误恢复编码强度。在另一个实施方式中，基于注释的特性(例如，类型或内容)，视频编码器可增加与注释相邻的像素块的比特率预算。这样可提高编码效率，从而针对视频编码器的总可用比特率预算获得最大编码质量。在一个方面，要被图形元素叠盖的视频可由编码器编码。编码器可接收元数据，该元数据包括关于图形元素的外观和图形元素可在视频中呈现的方式的信息。编码器可将视频划分成像素块，并且可基于像素块和图形元素之间的关系来为每个像素块选择编码参数。然后每个像素块可根据其相应的所选择的编码参数而被编码。编码器可减少与图形元素重叠或被图形元素完全遮蔽的像素块的比特率预算分配。此外，编码器可增加与图形元素相邻的像素块的比特率预算分配。类似地，当像素块与图形元素重叠时，错误恢复编码强度可降低，并且当像素块与图形元素相邻时，错误恢复编码强度可增加。图1示出了根据本公开的一个方面的视频编码系统100。系统100可包括经由网络130通信的一对终端110，120。第一终端110可编码视频数据以进行带宽压缩，并经由网络130将经编码视频数据传送至第二终端120。第二终端120可解码经编码视频数据，并消耗从所述经编码视频数据恢复的视频数据。第一终端110可编码在本地或远程生成的视频，即，可编码从多个来源(包括例如相机系统，本地存储器，或在第一终端110上执行的应用)中的任一个获得的视频。第二终端120可以多种方式消耗视频，包括例如在本地显示器上显示视频，存储视频，和/或通过在第二终端120上执行的应用来处理视频。在一些使用情况下，终端110，120可参与视频的双向交换。在此类情况下，第二终端120可采用带宽压缩来编码在本地或远程生成的视频数据，并且可将其传输至第一终端110以用于本地消耗。在此，第二终端120可再次编码经由相机系统，本地存储器，或在第二终端120上执行的应用获得的视频。类似地，第一终端110可以多种方式消耗所接收的视频，包括例如在本地显示器上显示视频，存储视频，和/或通过在第一终端110上执行的应用来处理视频。不需要终端110，120中的任一个执行与另一个相同的视频生成和/或消耗方法。网络130表示提供终端110，120之间的通信的任意数量的通信和/或计算机网络。网络130可包括以电路交换或分组交换方式操作的有线网络，无线网络，或有线网络和无线网络的组合。此类网络可包括互联网。除非本文讨论，否则网络130的操作和拓扑结构对于本讨论是不重要的。在一个方面，终端(例如，终端110)可提供用户合成服务，例如作为其会议工具套件的一部分。用户例如可将注释以图形元素的方式添加到源视频，该图形元素源自于产生该视频的(一个或多个)来源之外的来源。图2示出了一个此类示例，其中视频序列210可从第一来源(在本示例中为相机)生成，并且图标220可根据用户控制所决定的或根据自动方案而被添加至视频序列。在本示例中，单个图标220在视频序列中被复制三次，产生包括来自源视频210的图像数据和图标220的图像数据的复合视频序列230。虽然图2中未示出，但用户注释可被提供在图像的静态位置上，这些用户注释可以动画方式显示，使得它们的图像数据，(一个或多个)位置，视角，形状，和(一个或多个)尺寸在视频序列的整个过程中变化。实际上，一些注释可被定义，使得它们响应视频中的事件和/或自动移动以跟踪在图像内检测到的(一个或多个)预定对象。例如，图形元素的叠盖(呈现)可基于对象的运动或事件，即足球游戏中的目标或玩家的运动。当感兴趣的对象是人时，图形元素的叠盖(呈现)可基于对象的面部特征，身体特征，背景特征等等。图3示出了根据本公开的一个方面的通信流程300。如图所示，终端110，120可进行相互通信。在一个方面，基于用户控件310，可在第一终端110中选择将注释叠盖在视频流的空间区域上。在另一个方面，可响应于视频内容或其他事件来自动启动注释。第一终端110可将用于通信会话的信息作为一对传输320，330进行传送：第一传输320可包括表示带宽压缩的源视频的经编码视频数据，并且第二传输330可包含表示注释自身的元数据330。接收终端120可以接收这两个传输，解码经编码视频340，并且合成包含经解码视频和注释的复合图像350。只要第一终端110的用户期望或者直到自动确定的时间点，两个终端110，120都可以这种方式重复此操作。在一个方面，注释元数据330可包括表示注释自身的数据和表示注释可被叠盖的方式(呈现模式)的数据，例如，注释的形状，纹理，在视频帧中的位置，视角，运动，和尺寸。在另一个方面，两个终端110，120可根据在其中预先确定了注释元数据的协议来操作。例如，凭借可使用的编码服务，操作系统规格，或者通过将注释预先本文档来自技高网...

【技术保护点】
1.一种用于编码视频的方法，包括：/n接收要被叠盖在所述视频上的图形元素的元数据；/n将所述视频的每个帧划分成像素块；/n对于每个像素块，基于所述像素块和所述图形元素之间的关系来选择编码参数；以及/n根据所述像素块的相应的所选择的编码参数来编码所述像素块。/n

【技术特征摘要】
20180531 US 62/678,3801.一种用于编码视频的方法，包括：
接收要被叠盖在所述视频上的图形元素的元数据；
将所述视频的每个帧划分成像素块；
对于每个像素块，基于所述像素块和所述图形元素之间的关系来选择编码参数；以及
根据所述像素块的相应的所选择的编码参数来编码所述像素块。


2.根据权利要求1所述的方法，还包括：
将经编码的像素块及其相应的所选择的编码参数传输至接收器。


3.根据权利要求2所述的方法，还包括：
将所述元数据传输至所述接收器。


4.根据权利要求1所述的方法，其中所述元数据包括所述图形元素的形状、尺寸、纹理、位置、运动和视角信息中的一者或多者。


5.根据权利要求1所述的方法，其中所述选择编码参数包括：
当所述每个像素块与所述图形元素重叠时，减少分配至所述每个像素块的编码比特率预算。


6.根据权利要求5所述的方法，其中所述减少编码比特率预算与所述每个像素块和所述图形元素之间的重叠程度成比例。


7.根据权利要求1所述的方法，其中所述选择编码参数包括：
当所述每个像素块被所述图形元素完全遮蔽时，将SKIP编码模式应用于所述每个像素块。


8.根据权利要求1所述的方法，其中所述选择编码参数包括：
当所述每个像素块与所述图形元素重叠时，降低所述每个像素块的错误恢复编码强度。


9.根据权利要求8所述的方法，其中所述降低错误恢复编码强度包括降低分配至前向纠错的比特数量。


10.根据权利要求1所述的方法，其中所述选择编码参数包括：
确定所述每个像素块是否与所述图形元素相邻；以及
如果所述每个像素块被确定为与所述图形元素相邻，则增加分配至所述每个像素块的编码比特率预算。


11.根据权利要求10所述的方法，其中所述确定所述每个像素块是否与所述图形元素相邻包括：
识别所述图形元素所涉及的在所述视频中的对象；以及
确定所述每个像素块与所识别的对象相关联。


12.根据权利要求10所述的方法，其中所述确定所述每个像素块是否与所述图形元素相邻是基于所述每个像素块的特性和所述图形元素的特性之间的相关性的。


13.根据权利要求10所述的方法，其中所述确定所述每个像素块是否与所述图形元素相邻包括：
确定所述每个像素块被所述图形元素包围或指向。


14.根据权利要求10所述的方法，还包括：
如果所述每个像素块被确定为与所述图形元素相邻，则增加所述每个像素块的错误恢复编码强度。


15.根据权利要求14所述的方法，其中所述增加错误恢复编码强度包括增加分配至前向纠错的比特数量。


16...

【专利技术属性】
技术研发人员：胡速登，温兴，J·H·金，宋培康，袁航，张大忠，周小松，HJ·吴，C·卡瑞朵，金明，P·米奥顿，K·桑瑟纳姆，
申请(专利权)人：苹果公司，
类型：发明
国别省市：美国;US