用于对色彩空间、色彩采样率和/或比特深度自适应切换的编码策略制造技术

对视频序列的单元进行自适应编码的创新可改善编码效率。例如，这些创新中的一些涉及包括色彩空间在视频序列的各单元之间的自适应切换的编码。其他创新涉及包括色彩采样率在视频序列内的各单元之间的自适应切换的编码。又一些创新涉及包括比特深度在视频序列内的各单元之间的自适应切换的编码。

【技术实现步骤摘要】
【国外来华专利技术】【专利说明】用于对色彩空间、色彩采样率和/或比特深度自适应切换的编码策略背景工程师使用压缩(也叫做源编码(source coding或source encoding))来降低数字视频的比特率。压缩通过将视频信息转换成较低比特率的形式来降低存储和传送该信息的成本。解压(也被称为解码)从压缩的形式中重构一种版本的原始信息。“编解码器”是编码器/解码器系统。在过去的二十年中，已采用了各种视频编解码器标准，包括ITU-T H.261、H.262(MPEG-2或IS0/IEC 13818-2)、Η.263和 Η.264(MPEG-4 AVC或IS0/IEC 14496-10)标准、MPEG-1(IS0/IEC 11172 1 172-2)和 MPEG-4 可视(IS0/IEC 14496-2)标准以及 SMPTE421M(VC-1)标准。最近，H.265/HEVC标准(ITU-T Η.265 或 IS0/IEC 23008-2)已被批准。目前，(例如，用于可缩放视频编码/解码、用于在样本比特深度或色度采样率方面具有较高保真度的视频的编码/解码、用于屏幕捕捉内容、或用于多视图编码/解码的)H.265/HEVC标准的扩展处于开发中。视频编解码器标准通常定义针对经编码的视频比特流的句法的选项，从而详述当在编码和解码时使用特定特征时该比特流中的参数。在许多情况下，视频编解码器标准还提供关于解码器应当执行以在解码时取得一致的结果的解码操作的细节。除了编解码器标准外，各种专用编解码器格式定义针对经编码的视频比特流的句法的其他选项以及相应的解码操作。视频源(诸如相机、动画输出、屏幕捕捉模块等)通常在特定色彩空间中提供视频，其中该视频的色彩分量是根据特定色彩采样率来子采样的，并且样本值具有特定比特深度。一般而言，色彩空间(有时称为色彩模型)是用于将色彩表示为每物理位置η个值的模型，其中η多1，其中每个η值提供该位置的色彩分量值。例如，在YUV色彩空间中，亮度(或Υ)分量值表示某位置处的近似亮度，且多个色度(或U和V)分量值表示该位置处的色差。或者，在RGB色彩空间中，红色(R)分量值表示某位置处的红色强度，绿色(G)分量值表示该位置处的绿色强度，并且蓝色(B)分量值表示该位置处的蓝色强度。在历史上，不同的色彩空间具有用于不同应用(诸如，显示、打印、广播和编码/解码)的优点。各样本值可使用色彩空间变换操作在各色彩空间之间转换。色彩采样率(有时被称为色度采样率)指代各色彩分量之间的相对空间分辨率。例如，对于为4:4:4的色彩采样率，针对次要分量(例如，YUV的U和V分量)的信息与针对主要分量(例如，YUV的Y分量)的信息具有相同的空间分辨率。对于为4:2:2或4:2:0的色彩采样率，针对次要分量的信息相对于针对主要分量的信息被下采样。YUV 4:2:0格式通常用于编码/解码。作为设计原理，将YUV 4:2:0格式用于编码/解码的判定以下面的理解为前提:即对于大多数使用情况，查看者不会注意到用YUV 4:2:0格式编码/解码的视频和用YUV 4:4:4格式编码/解码的视频之间的许多视觉差异。因此，YUV 4:2:0格式(其每帧具有更少的样本)的压缩优点是引人注意的。比特深度指代每样本值比特数。常用的比特深度为每样本8比特、每样本10比特和每样本12比特。一般来说，每样本具有更多的比特允许视频的更精确的色彩粒度，但将更多的存储用于该视频。每样本具有更少的比特通常以降低的质量为代价降低比特率。许多商业上可用的视频编码器和解码器仅支持YUV 4:2:0格式。其他商业上可用的编码器和解码器(例如，针对H.264/AVC标准或H.265/HEVC标准的编码器和解码器)允许编码器为给定序列指定色彩空间、色彩采样率和比特深度。指定的色彩空间、色彩采样率和比特深度被用于整个视频序列。这些方法没有为可能在单个视频序列内处理非常不同种类的视频内容的通用编解码器系统提供足够的灵活性。概述概要来说，该详细描述呈现了在自适应编码的领域中的创新。例如，创新中的一些涉及用于在编码期间在视频序列内的各单元之间切换色彩空间的编码器的编码器侧决策。其他创新涉及用于在编码期间在视频序列内的各单元之间切换色彩采样率的编码器的编码器侧决策。又一些创新涉及用于在编码期间在视频序列内的各单元之间切换比特深度的编码器的编码器侧决策。这些创新在许多场景下都可改善编码效率。根据本文中描述的创新的第一方面，图像或视频编码器编码序列中的视频。在编码期间，色彩空间、色彩采样率和/或比特深度在序列内空间地和/或时间地切换。作为编码的一部分，对于序列内的视频的多个单元中的每一个，编码器执行速率一失真分析来评估单元的多个选项。多个选项可以是色彩空间、色彩采样率或比特深度、或以上的组合。对于该单元，基于所述速率一失真分析来选择所述多个选项中的一个。编码器在比特流中输出经编码的数据。视频的多个单元可以是序列的图片、序列的给定图片的片、序列的给定图片的块或视频序列的某些其他部分。作为速率一失真分析的一部分，编码器可在评估色彩空间时执行色彩空间变换操作，在这种情况下，色彩空间可包括至少一个YUV型色彩空间和至少一个RGB型色彩空间。或者，作为速率一失真分析的一部分，编码器可在评估所述色彩空间时执行色彩平面重新排序操作，在这种情况下，色彩空间可包括多个RGB型色彩空间。或者，作为速率一失真分析的一部分，编码器评估色彩采样率，色彩采样率可包括4:4:4、4:2:2、4:2:0和4:0:0中的两个或更多个。或者，作为速率一失真分析的一部分，编码器评估比特深度，比特深度可包括每样本12比特、每样本10比特和每样本8比特中的两个或更多个。根据本文中描述的创新的第二方面，图像或视频编码器编码序列中的视频。在编码期间，色彩空间、色彩采样率和/或比特深度在序列内空间地和/或时间地切换。作为编码的一部分，对于序列内的视频的多个单元中的每一个，编码器评估一个或多个准则来在所述单元的多个选项之间选择。多个选项可以是色彩空间、色彩采样率或比特深度、或以上的组合。对于该单元，基于评估的结果来选择所述多个选项中的一个。编码器在比特流中输出经编码的数据。视频的多个单元可以是序列的图片、序列的给定图片的片、序列的给定图片的块或视频序列的某些其他部分。例如，作为对单元的准则进行评估的一部分，编码器确定单元的多个色彩分量中的哪一个是支配的(例如，具有最高能量、其值中具有最高方差、具有最多不同值、具有高于阈值量的不同值计数)。编码器随后挑选色彩空间中主色彩分量是单元的支配色彩分量的那个色彩空间(例如，多个RGB型色彩空间中的一个)。或者，作为另一示例，作为对单元的准则进行评估的一部分，编码器确定单元的视频内容的类型。如果单元的视频内容的类型是低比特率自然视频，则编码器为该单元选择YUV型色彩空间。另一方面，如果单元的视频内容的类型是人工创建的视频，则编码器为该单元选择RGB型色彩空间。或者，作为另一示例，作为对单元的准则进行评估的一部分，编码器将所述单元的一个或多个色彩分量从第一色彩采样率(例如4:4:4)下采样至第二色彩采样率(例如4:2:2或4:2:0)、将所述单元的一个或多个色彩分量从第二色彩采样率上采样至第一色彩采样本文档来自技高网...

【技术保护点】
一种在具有视频编码器或图像编码器的计算设备中的方法，该方法包括：对序列内的视频进行编码，其中在所述序列内空间地和/或时间地切换色彩空间、色彩采样率和/或比特深度，并且其中所述编码包括对于所述序列内的视频的多个单元中的每一个：执行速率－失真分析来评估所述单元的多个选项，其中所述多个选项是所述色彩空间，所述色彩采样率或所述比特深度、或以上的组合；以及基于所述速率－失真分析来选择所述多个选项中的一个；以及在比特流中输出经编码的数据。

【技术特征摘要】
【国外来华专利技术】

【专利技术属性】
技术研发人员：B·李，J·许，F·吴，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国;US