改进的屏幕内容和混合内容编码制造技术

一种装置，包括处理器，用于：获取包括图像的混合内容视频，所述图像包括计算机生成屏幕内容(screen content，SC)和自然内容(natural content，NC)；将所述图像分区为SC区域和NC区域；以及通过使用SC编码工具对所述SC区域进行编码和使用NC编码工具对所述NC区域进行编码来对所述图像进行编码；以及与所述处理器连接的发射器，其中，所述发射器用于向客户端设备传输数据，所述数据包括所述编码后的图像和分区的边界指示。

【技术实现步骤摘要】
【国外来华专利技术】相关申请案交叉申请本申请要求2014年3月13日由Thorsten Laude、Marco Munderloh和Joern Ostermann递交的专利技术名称为“改进的屏幕内容和混合内容编码(Improved Screen Content And Mixed Content Coding)”的第61/952,160号美国临时专利申请案和2015年3月11日由Thorsten Laude、Marco Munderloh和Joern Ostermann递交的专利技术名称为“改进的屏幕内容和混合内容编码(Improved Screen Content And Mixed Content Coding)”的第14/645,136号美国专利申请案的在先申请优先权，这两个在先申请的全部内容以引入的方式并入本文本中。关于由联邦政府赞助研究或开发的声明不适用参考缩微胶片附录不适用
技术介绍
随着云服务的近期发展及智能手机和平板电脑等移动设备部署为内容显示设备，新出现的情况是：计算机生成的内容在一个设备上生成但使用第二设备来显示。此外，可要求这种设备来同时显示相机采集内容和计算机生成内容，从而导致需要显示混合内容。相机采集内容和计算机生成内容的特征在边缘锐度、不同颜色的数量、压缩等方面有显著差异。用于显示视频采集内容的视频编码和解码机制在显示计算机生成内容时效果不好，反之亦然。例如，尝试使用用于显示视频采集内容的视频编码和解码机制来显示计算机生成内容可导致显示的计算机生成内容的那一部分编码失真、模糊、文件过大等(反之亦然)。
技术实现思路
在一项实施例中，本专利技术包括一种装置，所述装置包括处理器，用于：获取包括图像的混合内容视频，所述图像包括计算机生成屏幕内容(screen content，SC)和自然内容(natural content，NC)；将所述图像分区为SC区域和NC区域；以及通过使用SC编码工具对所述SC区域进行编码和使用NC编码工具对所述NC区域进行编码来对所述图像进行编码；以及与所述处理器连接的发射器，其中，所述发射器用于向客户端设备传输数据，所述数据包括所述编码后的图像和分区的边界指示。在另一项实施例中，本专利技术包括一种在客户端设备处对混合内容视频进行解码的方法，所述方法包括：接收包括编码后混合内容视频的比特流，所述混合内容视频包括图像，其中，每个图像包括SC和NC；在所述比特流中接收包括所述SC内容的SC区域与包括所述NC内容的NC区域之间的分区边界的指示；对所述分区边界界定的所述SC区域进行解码，其中，对所述SC区域进行解码包括使用SC编码工具；对所述分区边界界定的所述NC区域进行解码，其中，对所述NC区域进行解码包括使用与所述SC编码工具不同的NC编码工具；以及将所述解码后的SC区域和所述解码后的NC区域作为解码后的混合内容视频转发给显示器。在另一项实施例中，本专利技术包括一种计算机程序产品，所述计算机程序产品包括存储在非瞬时性计算机可读介质上的计算机可执行指令，从而当所述计算机可执行指令由处理器执行时，使网元(network element，NE)执行以下操作：获取包括图像的混合内容视频，所述图像包括SC和NC，将所述图像分区为SC区域和NC区域；将所述SC区域中的图像数据编码为至少一个SC子流；将所述NC区域中的图像数据编码为至少一个NC子流；以及通过发射器将所述子流传输给客户端设备，以便重新组合为所述混合内容视频。结合附图和权利要求书，可以从下文的详细描述中更清楚地理解这些和其它特征。附图说明为了更透彻地理解本专利技术，现参阅结合附图和具体实施方式而描述的以下简要说明，其中的相同参考标号表示相同部分。图1示出了包括SC和NC的示例性混合内容视频；图2为用于编码和发送混合内容视频的网络的实施例的示意图；图3为在网络中充当节点的NE的实施例的示意图；图4为编码和发送混合内容视频的方法的实施例的流程图；图5为将混合内容视频按多个专用子流进行编码和发送的方法的实施例的流程图；图6为解码混合内容视频的方法的实施例的流程图；图7为量化参数(quantization parameter，QP)管理的方法的实施例的示意图；图8示出了包括SC和NC的另一种示例性混合内容视频；图9为与混合内容视频相关联的示例性分区信息的示意图；图10示出了包括SC的SC分割图像的实施例；图11示出了包括NC的NC分割图像的实施例。具体实施方式首先应理解，尽管下文提供一项或多项实施例的说明性实施例，但所公开的系统和/或方法可使用任何数目的技术来实施，无论该技术是当前已知还是现有的。本专利技术决不应限于下文所说明的说明性实施例、附图和技术，包括本文所说明并描述的示例性设计和实施例，而是可在所附权利要求书的范围以及其等效物的完整范围内修改。下面的本专利技术使用了多个术语，在实施例中，这些术语解释如下：片：帧中独立编码/解码的空间不同的区域；片头：用于发送与特定片相关联的信息的数据结构；编码区块：帧中独立编码/解码的不同空间的矩形区域，形成划分整个图像的这种区域的网格的一部分；块：样本的MxN(M列乘以N行)阵列或变换系数的MxN阵列；最大编码单元(largest coding unit，LCU)网格——用于将像素块划分为用于视频编码的宏块的网格结构；编码单元(coding unit，CU)：亮度样本编码块、具有三个样本阵列的图像的两个对应的色度样本编码块，或黑白图像或使用三个单独色彩平面和语法结构进行编码的图像的样本编码块，其中色彩平面和语法结构用于对样本进行编码；图像参数集(picture parameter set，PPS)：包含适用于零个或多个整体编码后的图像的语法元素的语法结构，由在每个片断头部中发现的语法元素确定。序列参数集(Sequence Parameter Set，SPS)：包含适用于零个或多个整体编码后的视频序列的语法元素的语法结构，由在PPS中发现的语法元素的内容确定，PPS由在每个片断头部中发现的语法元素引用；预测单元(prediction unit，PU)：亮度样本预测块、具有三个色度样本阵列的图像的两个对应预测块，或黑白图像或使用三个单独的色彩平面和语法结构进行编码的图像的样本预测块，其中色彩平面和语法结构用于对预测块样本进行预测；补充增强信息(supplemental enhancement information，SEI)：可插入到视频比特流中以增强视频的使用的额外信息；亮度：指示图像样本的明亮度的信息；色度：指示图像样本的颜色的信息，其可用红色差色度分量(red difference chroma component，Cr)和蓝色差色度分量(blue difference chroma component，Cb)来描述；QP：包括指示样本的量化的信息的参数，其中，量化表示将一系列值压缩为单个值。发生混合内容视频的一个可能场景是：应用在远端服务器上运行，要向本地用户工作站转发显示输出。另外一个示例性场景是：将智能手机或平板电脑屏幕复制到电视设备的屏幕，以允许用户在比移动设备屏幕更大的屏幕上观看电影。这些场景需要高效传输SC，即应当在遵守现有传输系统给定的数据速率限制的同时能够呈现视觉质量足够好的SC信号。这个挑战本文档来自技高网...

【技术保护点】
一种装置，其特征在于，包括：处理器，用于：获取包括图像的混合内容视频，所述图像包括计算机生成屏幕内容(screen content，SC)和自然内容(natural content，NC)；将所述图像分区为SC区域和NC区域；以及通过使用SC编码工具对所述SC区域进行编码和使用NC编码工具对所述NC区域进行编码来对所述图像进行编码；以及与所述处理器连接的发射器，所述发射器用于向客户端设备传输数据，其中，所述数据包括所述编码后的图像和所述图像的分区的边界指示。

【技术特征摘要】
【国外来华专利技术】2014.03.13 US 61/952,160;2015.03.11 US 14/645,1361.一种装置，其特征在于，包括：处理器，用于：获取包括图像的混合内容视频，所述图像包括计算机生成屏幕内容(screen content，SC)和自然内容(natural content，NC)；将所述图像分区为SC区域和NC区域；以及通过使用SC编码工具对所述SC区域进行编码和使用NC编码工具对所述NC区域进行编码来对所述图像进行编码；以及与所述处理器连接的发射器，所述发射器用于向客户端设备传输数据，其中，所述数据包括所述编码后的图像和所述图像的分区的边界指示。2.根据权利要求1所述的装置，其特征在于，所述SC内容包括计算机应用生成的图像内容，所述NC内容包括图像记录设备采集的图像内容或图像记录设备采集的计算机生成图像内容的仿真图像内容。3.根据权利要求1所述的装置，其特征在于，所述对所述图像进行编码包括应用量化参数(quantization parameter，QP)来减少传输所述图像所需的带宽，应用于第一图像的SC区域的SC QP值与应用于所述第一图像的NC区域的NC QP值不同。4.根据权利要求3所述的装置，其特征在于，所述NC QP值大于所述SC QP值，使得所述NC区域的质量相比于所述SC区域的质量有所下降。5.根据权利要求1所述的装置，其特征在于，每个图像包括一组子部分，以及传输每个图像中每个子部分的分区边界的指示。6.根据权利要求1所述的装置，其特征在于，所述分区边界的指示指示了所述SC区域的大小和位置以及所述NC区域的大小和位置。7.根据权利要求1所述的装置，其特征在于，所述分区边界的指示包括指示分区边界的像素坐标。8.根据权利要求1所述的装置，其特征在于，所述图像通过量化为网格的坐标描述，所述分区边界的指示包括所述网格上的坐标，所述坐标指示所述分区边界。9.根据权利要求1所述的装置，其特征在于，所述SC区域和NC区域中的至少一个包括非矩形形状，所述对所述图像进行分区包括：将所述非矩形形状映射到矩形网格，所述矩形网格描述包括所述非矩形形状的关联图像。10.根据权利要求1所述的装置，其特征在于，所述图像中的至少一个包括子部分，所述子部分包括至少一个NC像素和至少一个SC像素，所述对所述图像进行分区包括：当NC内容像素与SC内容像素的比率超过预定阈值时，将所述子部分映射到NC区域。11.根据权利要求1所述的装置，其特征在于，在图像参数集(picture parameter set，PPS)、序列参数集(sequence parameter set，SPS)、片头、编码单元(coding unit，CU)数据、预测单元(prediction unit，PU)数据、补充增强信息(supplemental enhancement information，SEI)消息或它们的组合中传输所述分区边界的指示。12.根据权利要求1所述的装置，其特征在于，在所述图像的序列的开始处传输所述分区边界的指示，所述指示描述所述序列的分区边界。13.根据权利要求12所述的装置，其特...

【专利技术属性】
技术研发人员：索斯滕·劳德，马可·莫德兰，约恩·奥斯特曼，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东;44