选择运动向量精度制造技术

提出了在视频编码期间选择运动向量(“MV”)精度的方法。这些方法可以便于在率失真性能和/或计算效率方面有效的压缩。例如，视频编码器从多个MV精度中确定针对视频的单位的MV精度，其包括一个或多个分数样本MV精度和整数样本MV精度。视频编码器可以识别具有分数样本MV精度的一组MV值，然后至少部分地基于分数部分为零的MV值(该组内)的流行，选择针对单位的MV精度。或者，视频编码器可以执行率失真分析，其中率失真分析朝向整数样本MV精度偏置。或者，视频编码器可以收集关于视频的信息，并至少部分地基于收集到的信息选择针对所述单位的MV精度。

Selection of Motion Vector Accuracy

【技术实现步骤摘要】
选择运动向量精度本申请是申请日为2014年12月19日、申请号为201480072763.5、专利技术名称为“选择运动向量精度”的中国专利申请的分案申请。
技术介绍
工程师使用压缩(也称为源编码或源译码)来减少数字视频的比特率。压缩通过将信息转换为较低比特率形式而降低了存储和传输视频信息的成本。解压缩(也称作解码)根据压缩形式重构原始信息的版本。“编码解码器”是编码器/解码器系统。在过去的二十年里，采用了各种视频编码解码器标准，包括ITU-TH.261、H.262(MPEG-2或ISO/IEC13818-2)、H.263和H.264(MPEG-4AVC或ISO/IEC14496-10)标准、MPEG-1(ISO/IEC11172-2)和MPEG-4视觉(ISO/IEC14496-2)标准、以及SMPTE421M(VC-1)标准。最近，批准了HEVC标准(ITU-TH.265或ISO/IEC23008-2)。目前正在开发HEVC标准的扩展(例如，用于可扩展视频编码/解码，用于对具有较高保真度的视频在样本位深度或色度采样率方面进行编码/解码，或用于多视图编码/解码)。视频编码解码器标准通常定义编码视频比特流的语法的选项，详述在编码和解码中使用特定特征时在比特流中的参数。在多种情况下，视频编码解码器标准还提供关于解码器应该执行以实现解码的一致性结果的解码操作的细节。除了编码解码器标准外，各种属性编码解码器格式定义了用于编码视频比特流和对应的解码操作的语法的其他选项。通常，视频压缩技术包括“图片内”压缩和“图片间”压缩。图片内压缩技术压缩个体图片，而图片间压缩技术参考先前的和/或后续的一张或多张图片(通常称作参考图片或锚定图片)来压缩图片。图片间压缩技术通常使用运动估计和运动补偿，通过利用视频序列中的时间冗余来减少比特率。运动估计是用于估计图片之间的运动的过程。在一种常见技术中，使用运动估计的编码器试图将当前图片中的当前样本值的块与在另一图片(参考图片)中搜索区域内的相同大小的候选块进行匹配。当编码器在参考图片的搜索区域中发现精确的或“足够靠近”的匹配时，编码器将在当前和候选块之间位置的变化参数化为运动数据(例如，运动向量(“MV”))。MV通常是二维值，其具有表示左右空间位移的水平MV分量和表示上下空间位移的垂直MV分量。通常，运动补偿是根据参考图片利用运动数据重构图片的过程。MV可以表示当前块在参考图片的共同定位的位置处开始的整数数量的样本网格位置方面的空间位移。例如，对于当前图片中位置(32，16)处的当前块，MV(-3，1)表示在参考图片中的位置(29，17)。或者，MV可以表示当前块在参考图片的共同定位的位置处起的分数数量(fractionalnumber)的样本网格位置方面的空间位移。例如，对于在当前图片的位置(32，16)处的当前块，MV(-3.5，1.25)表示在参考图片中的位置(28.5，17.25)。为了确定在参考图片中分数偏移处的样本值，编码器通常在整数样本位置处的样本值之间进行插值。这种插值可能是计算密集的。在运动补偿期间，编码器还执行如在参考图片中的分数偏移处计算样本值所需的插值。不同视频编码解码器标准和格式已经使用了具有不同MV精度的MV。对于整数样本MV精度，MV分量表示空间位移的整数数量的样本网格位置。对于分数样本MV精度，例如1/2样本MV精度或1/4样本MV精度，MV分量可以表示空间位移的整数数量的样本网格位置或分数数量的样本网格位置。例如，如果MV精度是1/4样本MV精度，则MV分量可以表示0样本、0.25样本、0.5样本、0.75样本、1.0样本、1.25样本等的空间位移。一些视频编码解码器标准和格式支持在编码期间切换MV精度。然而，在特定编码场景中，不能有效进行关于使用哪个MV精度的编码器侧决策。
技术实现思路
在
技术实现思路
部分，详细描述表示用于选择运动向量(“MV”)精度的在编码器侧操作中的创新。例如，当视频编码器编码视频时，视频编码器确定针对视频的单位的MV精度。根据本文描述的创新的一个方面，当确定针对单位的MV精度时，视频编码器可以识别具有分数样本MV精度的一组MV值。视频编码器可以至少部分地基于在所述一组MV值中分数部分为零的MV值的流行，而选择针对所述单位的MV精度。根据本文描述的创新的另一方面，当为单位确定MV精度时，视频编码器可以执行率失真分析以在多个MV精度之间进行决定，其包括一个或多个分数样本MV精度和整数样本MV精度。通过(a)缩放失真成本，(b)向失真成本添加惩罚，(c)缩放比特率成本，(d)向比特率成本添加惩罚，和/或(e)调整拉格朗日乘数，率失真分析朝向整数样本MV精度偏置。根据本文描述的创新的另一方面，当确定针对单位的MV精度时，视频编码器可以收集关于视频的信息，并至少部分地基于所收集到的信息从多个MV精度中选择针对单位的MV精度。多个MV精度包括一个或多个分数样本MV精度和整数样本MV精度。用于选择MV精度的编码器侧的选项的创新可以实现为方法的一部分、适于执行方法的计算设备的一部分，或者存储用于使得计算设备执行方法的计算机可执行指令的有形计算机可读介质的一部分。可以组合或分开使用各种创新。根据以下结合附图进行的详细描述，本专利技术的前述和其它目的、特征和优点将变得更清晰。附图说明图1是可以实现一些所述实施例的示例性计算系统的图。图2a和2b是可以实现一些所述实施例的示例性网络环境的图。图3是可以结合其实现一些所述实施例的示例性编码器系统的图。图4a和4b是示出可以结合其实现一些所述实施例的示例性视频编码器的图。图5是示出具有可以提供用于屏幕捕捉的输入的内容的计算机桌面环境的图。图6是示出具有自然视频内容和人工视频内容的混合内容视频的图。图7a和7b是分别示出带有具有整数样本空间位移和分数样本空间位移的MV值的运动补偿的图。图8是示出在编码期间用于适应MV精度的广义技术的流程图。图9是示出在编码期间利用低复杂度方法用于适应MV精度的示例性技术的流程图。图10是示出根据低复杂度方法的一些变型的图片的不同区域的图。具体实施方式详细描述呈现了在编码期间选择运动向量(“MV”)精度的创新。这些方法可以便于压缩，其在率失真性能和/或计算效率方面是有效的。例如，视频编码器从多个MV精度确定针对视频的单位的MV精度，所述多个MV精度包括一个或多个分数样本MV精度和整数样本MV精度。视频编码器可以识别具有分数样本MV精度的一组MV值，然后至少部分地基于具有零的分数部分的MV值(组内)的流行，选择针对单位的MV精度。或者，视频编码解码器可以执行率失真分析，其中率失真分析朝向整数样本MV精度偏置。或者，视频编码解码器可以收集关于视频的信息，并至少部分地基于所收集的信息选择针对单位的MV精度。或者，视频编码解码器可以以一些其它方式确定针对视频的单位的MV精度。虽然本文描述的操作被适当地描述为由视频编码器执行，但是在许多情况下，所述操作可以由其它类型的媒体处理工具执行。结合HEVC标准专用的语法元素和操作示出了本文所描述的一些创新。本文描述的创新还可以被实现用于其它标准或格式。更一般地，对本文描述的例子的各种变型都是可以的。例如，可以通过改变所描述的方法动作的顺序、通过本文档来自技高网...

【技术保护点】
1.在计算机系统中，一种方法包括：对视频序列的帧进行编码以产生编码数据，所述帧中的每一个帧包括一个或多个区域，其中，所述编码包括：在标题中设置指示符的值，所述标题应用于所述视频序列的所述帧中的至少一个帧，所述指示符指示：针对所述帧中的所述至少一个帧的运动向量(“MV”)精度是否是在逐区域的基础上被控制的；以及如果针对所述帧中的所述至少一个帧的所述MV精度不是在逐区域的基础上被控制的，则针对所述帧中的所述至少一个帧的所述MV精度是四分之一样本精度还是整数样本精度；以及如果针对所述帧中的所述至少一个帧的所述MV精度是在逐区域的基础上被控制的，则针对所述帧中的所述至少一个帧的所述一个或多个区域中的每个区域，在针对所述区域的标题中设置标记的值，所述标记指示针对所述区域的MV精度是四分之一样本精度还是整数样本精度；以及输出所述编码数据作为比特流的一部分，所述比特流包括所述指示符，并且如果针对所述帧中的所述至少一个帧的所述MV精度是在逐区域的基础上被控制的，则所述比特流还包括针对所述帧中的所述至少一个帧的所述一个或多个区域中的每个区域的、指示针对所述区域的所述MV精度的标记。

【技术特征摘要】
2014.01.08 US 61/925,090;2014.01.31 US 61/934,574;1.在计算机系统中，一种方法包括：对视频序列的帧进行编码以产生编码数据，所述帧中的每一个帧包括一个或多个区域，其中，所述编码包括：在标题中设置指示符的值，所述标题应用于所述视频序列的所述帧中的至少一个帧，所述指示符指示：针对所述帧中的所述至少一个帧的运动向量(“MV”)精度是否是在逐区域的基础上被控制的；以及如果针对所述帧中的所述至少一个帧的所述MV精度不是在逐区域的基础上被控制的，则针对所述帧中的所述至少一个帧的所述MV精度是四分之一样本精度还是整数样本精度；以及如果针对所述帧中的所述至少一个帧的所述MV精度是在逐区域的基础上被控制的，则针对所述帧中的所述至少一个帧的所述一个或多个区域中的每个区域，在针对所述区域的标题中设置标记的值，所述标记指示针对所述区域的MV精度是四分之一样本精度还是整数样本精度；以及输出所述编码数据作为比特流的一部分，所述比特流包括所述指示符，并且如果针对所述帧中的所述至少一个帧的所述MV精度是在逐区域的基础上被控制的，则所述比特流还包括针对所述帧中的所述至少一个帧的所述一个或多个区域中的每个区域的、指示针对所述区域的所述MV精度的标记。2.如权利要求1所述的方法，其中，应用于所述帧中的所述至少一个帧的所述标题是序列参数集或图片参数集，其中，所述区域是切片，并且其中，所述区域的所述标题是切片标题。3.如权利要求1所述的方法，其中，针对所述指示符：第一可能值指示针对所述帧中的所述至少一个帧的所述MV精度不是在逐区域的基础上被控制的，并且还指示针对所述帧中的所述至少一个帧的所述MV精度是四分之一样本精度；第二可能值指示针对所述帧中的所述至少一个帧的所述MV精度不是在逐区域的基础上被控制的，并且还指示针对所述帧中的所述至少一个帧的所述MV精度是整数样本精度；以及第三可能值指示针对所述帧中的所述至少一个帧的所述MV精度是在逐区域的基础上被控制的。4.如权利要求1所述的方法，其中，针对所述帧中的所述至少一个帧的所述一个或多个区域中的给定区域，如果针对所述给定区域的所述标记不存在于所述比特流中，则针对所述给定区域的所述标记被推断为在所述编码期间具有等于所述指示符的值。5.如权利要求1所述的方法，其中，所述指示符是二比特值。6.如权利要求1所述的方法，其中，对MV值的解释在所述编码期间取决于所述MV精度是四分之一样本精度还是整数样本精度而变化，如果所述MV精度是整数样本精度，则所述MV值表示整数样本偏移，而如果所述MV精度是四分之一样本精度，则所述MV值表示四分之一样本偏移。7.如权利要求1所述的方法，其中，所述设置所述指示符的所述值是基于所述视频序列的所述帧的源的。8.如权利要求1所述的方法，其中，所述设置所述指示符的所述值是基于对性能启发数据或历史数据的测量的。9.一个或多个非易失性存储器或存储设备，具有存储于其上的作为比特流的一部分的编码数据，所述编码数据是通过包括以下各项的操作产生的：对视频序列的帧进行编码以产生所述编码数据，所述帧中的每一个帧包括一个或多个区域，其中，所述编码包括：在标题中设置指示符的值，所述标题应用于所述视频序列的所述帧中的至少一个帧，所述指示符指示：针对所述帧中的所述至少一个帧的运动向量(“MV”)精度是否是在逐区域的基础上被控制的；以及如果针对所述帧中的所述至少一个帧的所述MV精度不是在逐区域的基础上被控制的，则针对所述帧中的所述至少一个帧的所述MV精度是四分之一样本精度还是整数样本精度；以及如果针对所述帧中的所述至少一个帧的所述MV精度是在逐区域的基础上被控制的，则针对所述帧中的所述至少一个帧的所述一个或多个区域中的每个区域，在针对所述区域的标题中设置标记的值，所述标记指示针对所述区域的MV精度是四分之一样本精度还是整数样本精度；以及输出所述编码数据作为所述比特流的一部分，所述比特流包括所述指示符，并且如果针对所述帧中的所述至少一个帧的所述MV精度是在逐区域的基础上被控制的，则所述比特...

【专利技术属性】
技术研发人员：G·J·沙利文，Y·周，李明杰，CL·林，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国,US