利用长期参考图片来验证错误恢复以进行视频编码制造技术

描述了用于由视频编码器和/或视频解码器验证长期参考(LTR)使用的技术。例如，验证视频编码器和/或视频解码器在正确地应用LTR可以通过以两种方式编码和解码视频序列并比较结果来进行。在一些实现中，通过以下操作来完成验证LTR使用：解码已经根据LTR使用模式编码的经编码的视频序列、解码已经根据LTR使用模式编码且根据有损信道模型修改的经修改的经编码的视频序列、并且比较来自经编码的视频序列和经修改的经编码的视频序列两者的经解码的视频内容。例如，所述比较可以包括确定从LTR恢复点位置开始这两个经解码的视频内容是否比特精确地匹配。

Using long-term reference pictures to verify error recovery for video coding

Techniques for verifying long-term reference (LTR) by video encoders and / or video decoders are described. For example, verifying video encoders and / or video decoders in the correct application of LTR can be performed by encoding and decoding video sequences in two ways and comparing results. In some implementations, the verification LTR usage is completed by the following operations: decoding the encoded video sequences already encoded according to the LTR usage pattern, decoding the modified encoded video sequences that have been modified according to the LTR mode and modified by the lossy channel model, and comparing the encoded video sequences and the classics. Modify the encoded video sequences of the two of the decoded video contents. For example, the comparison can include determining whether the two decoded video contents are exactly matched bit by bit from the location of the LTR recovery point.

【技术实现步骤摘要】
【国外来华专利技术】利用长期参考图片来验证错误恢复以进行视频编码
技术介绍
工程师使用压缩(也被称为源编码或信源编码)来降低数字视频的比特率。压缩通过将信息转换成较低比特率的形式来降低存储和传输视频信息的成本。解压缩(也被称为解码)从经压缩的形式来重建原始信息的版本。“编码解码器”是编码器/解码器系统。在过去的二十年里，已经采用了各种视频编码解码器标准，包括ITU-TH.261、H.262(MPEG-2或ISO/IEC13818-2)、H.263和H.264(MPEG-4AVC或ISO/IEC14496-10)标准，MPEG-1(ISO/IEC11172-2)和MPEG-4可视(ISO/IEC14496-2)标准，SMPTE421M标准，以及诸如VP8和VP9之类的专有视频编码格式。最近，已经批准了HEVC标准(ITU-TH.265或ISO/IEC23008-2)。对HEVC标准的扩展(例如，针对可缩放视频编码/解码，针对在采样比特深度或色度采样率方面具有较高保真度的视频编码/解码，或者针对多视角编码/解码)目前正在发展中。视频编码解码器标准通常定义针对经编码的视频比特流的语法的选项，详述当在编码和解码中使用特定的特征时比特流中的参数。在许多情况下，视频编码解码器标准还提供关于解码器应当执行以在解码时获得一致结果的解码操作的细节。除了编码解码器标准之外，诸如VP8和VP9之类的各种专有编码解码器格式还定义针对经编码的视频比特流的语法和对应的解码操作的其他选项。各种视频编码解码器标准可以用于编码和解码视频数据以用于通过网络信道通信，所述网络信道可以包括有线或无线网络，其中一些数据可能丢失。一些视频编码解码器标准实现错误恢复和隐藏的解决方案以处理视频数据的丢失。这样的错误恢复和隐藏的解决方案的一个示例是在H.264/AVC或HEVC/H.265中使用长期参考(LTR)图片。然而，测试这样的错误恢复和隐藏的解决方案可能是困难和耗时的。
技术实现思路
提供了该
技术实现思路
以用简化的形式引入在以下的具体实施方式中所描述的概念的选择。该
技术实现思路
不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于限制所要求保护的主题的范围。提供了用于通过视频编码器和/或视频解码器来验证长期参考(LTR)使用的技术。例如，验证视频编码器和/或视频解码器在正确地应用LTR(例如，根据特定视频编码标准)可以通过以两种不同的方式来编码和解码视频序列并且比较结果来完成。在一些实现中，验证LTR使用是通过以下操作来完成的：对已经根据LTR使用模式编码的经编码的视频序列进行解码、对已经根据LTR使用模式编码且根据有损信道模型修改的经修改的经编码的视频序列进行解码、以及比较来自经编码的视频序列和来自经修改的经编码的视频序列两者的经解码的视频内容。例如，所述比较可以包括确定两个经解码的视频内容从LTR恢复点位置开始是否匹配。如在本文中所描述的，可以根据需要将多种其他特征和优点并入到所述技术中。附图说明图1是描绘了用于在对视频内容编码和/或解码期间验证LTR使用的过程的示例图。图2是描绘了用于验证LTR使用的对经编码的视频序列的修改的示例图。图3、4和5是用于验证长期参考图片的使用的示例方法的流程图。图6是其中可以实现一些所描述的实施例的示例计算系统的图。具体实施方式概述如在本文中所描述的，可以应用各种技术和解决方案以在对视频内容编码和/或解码期间验证长期参考(LTR)使用。例如，可以通过以两种不同的方式来编码和解码视频序列并且比较结果来完成验证视频编码器和/或视频解码器在正确地应用LTR(例如，根据特定的视频编码标准)。在一些实现中，通过以下操作来完成验证LTR使用：对已经根据LTR使用模式编码的经编码的视频序列进行解码、对已经根据LTR使用模式编码并根据有损信道模型修改的经修改的经编码的视频序列进行解码、以及比较来自经编码的视频序列和来自经修改的经编码的视频序列的经解码的视频内容。例如，所述比较可以包括确定这两个经解码的视频内容从LTR恢复点位置开始是否匹配，甚至在一个序列或两个序列中何时存在一些丢失的帧。视频编码解码器标准使用多个错误恢复和隐藏解决方案来处理丢失的视频数据。一个解决方案是在各种位置处插入I-图片，其接着可以以下一个I-图片开始从丢失的数据或另一类型的错误进行恢复。另一解决方案是使用长期参考(LTR)图片，其中在过去某一点处的参考图片被保存以在错误恢复和隐藏解决方案中使用。根据一些视频编码标准，LTR在服务器或发送方(其操作视频编码器)与客户端或接收方(在视频解码器处操作)之间的错误恢复和隐藏中使用。例如，可以在服务器和客户端之间传送握手消息，以确认已经在客户端处适当地接收了可以接着用于错误恢复的LTR图片。如果发生错误(例如，丢失分组或数据损坏)，则客户端可以通知服务器。接着，服务器可以使用(已经被确认为在客户端处被适当地接收的)LTR图片而不是最近的时间相邻的参考图片来进行编码，这是因为最近的时间相邻的参考图片可能已经被丢失或损坏。接着，客户端可以从已经使用经确认的LTR图片编码的错误恢复点起从服务器接收比特流。错误恢复和隐藏解决方案的检查可能是手动、低效、且容易出错的过程。例如，为了测试编码器或解码器的LTR实现在任意的网络条件或模型之下是否正确，人类测试员可能不得不在真实世界的环境下测试，在所述真实世界环境下，两个应用(例如，运行并入视频编码器和/或解码器的通信应用的两个计算设备)经由在视频数据中引入错误的网络信道进行通信。接着，人类测试员可以监视通信的结果以看看是否发生任何视频损坏，所述视频损坏是如果根据视频编码标准和错误恢复场景正确地实现LTR则本应当已被解决的。在本文中所描述的技术和解决方案中，可以以自动化的方式测试编码器和/或解码器，且没有人工干预，以确定它们是否根据特定的视频编码标准来正确地实现LTR。换句话说，提供了用于验证编码器和/或解码器的LTR一致性的技术。例如，可以在各种条件(例如，根据有损信道模型来模拟的各种网络条件)下并且利用多种类型的内容来测试编码器和/或解码器。可以通过改变用于编码的LTR使用模式以及通过改变用于修改经编码的视频序列的有损信道模型来测试许多不同的场景。另外，可以定制测试场景(例如，包括特定LTR使用模式和有损信道模型)来测试具体的LTR使用情形和规则(例如，以测试编码器和/或解码器是否正确实现在编码和/或解码期间针对LTR使用的各种要求)。此外，可以就最终将如何使用编码器和/或解码器独立地(例如，作为独立的组件)对编码器和/或解码器进行测试。例如，可以在无需建立实际的通信连接并且无需将编码器和/或解码器集成到其他应用(例如，视频会议应用)中的情况下测试编码器和/或解码器。作为另一示例，可以与其最终应用(例如，在视频会议应用中、作为操作系统组件、作为视频编辑应用等)相分别地、且孤立地，并且甚至在开发出最终应用之前测试编码器和/或解码器。在编码和解码期间的长期参考多个视频编码标准使用长期参考(LTR)的概念以便改进错误恢复和隐藏。例如，指定特定图片以用作LTR图片可以在通过信道进行通信期间改进错误恢复和隐藏，所述通信可能经历数据丢失和/或损坏。例如，在编码期间，编码器可以将图片指定为LTR图片。本文档来自技高网...

【技术保护点】
一种由计算设备实现的方法，其用于验证长期参考图片的使用，所述方法包括：接收已经根据长期参考(LTR)使用模式编码的经编码的视频序列；接收已经根据有损信道模型修改的、根据所述LTR使用模式编码的所述经编码的视频序列的经修改的版本，所述有损信道模型对通信信道中的视频数据丢失进行建模；由视频解码器来解码所述经编码的视频序列以创建第一经解码的视频内容；由所述视频解码器来解码所述经编码的视频序列的所述经修改的版本以创建第二经解码的视频内容；比较所述第一经解码的视频内容和所述第二经解码的视频内容；以及基于所述比较，输出对所述第一经解码的视频内容和所述第二经解码的视频内容从LTR恢复点位置开始是否匹配的指示。

【技术特征摘要】
【国外来华专利技术】2015.09.10 US 14/850,4121.一种由计算设备实现的方法，其用于验证长期参考图片的使用，所述方法包括：接收已经根据长期参考(LTR)使用模式编码的经编码的视频序列；接收已经根据有损信道模型修改的、根据所述LTR使用模式编码的所述经编码的视频序列的经修改的版本，所述有损信道模型对通信信道中的视频数据丢失进行建模；由视频解码器来解码所述经编码的视频序列以创建第一经解码的视频内容；由所述视频解码器来解码所述经编码的视频序列的所述经修改的版本以创建第二经解码的视频内容；比较所述第一经解码的视频内容和所述第二经解码的视频内容；以及基于所述比较，输出对所述第一经解码的视频内容和所述第二经解码的视频内容从LTR恢复点位置开始是否匹配的指示。2.根据权利要求1所述的方法，其中，所述LTR使用模式定义在编码期间LTR使用的模式，并且其中，所述LTR使用模式包括LTR刷新周期性间隔。3.根据权利要求1所述的方法，其中，所述有损信道模型至少部分地定义图片在所述经编码的视频序列的所述经修改的版本中是如何被丢弃的。4.根据权利要求1所述的方法，其中，所述有损信道模型至少部分地定义损坏在所述经编码的视频序列的所述经修改的版本中是如何被引入的。5.根据权利要求1所述的方法，其中，比较所述第一经解码的视频内容和所述第二经解码的视频内容包括：比较所述第一经解码的视频内容与所述第二经解码的视频内容之间的对应图片的像素采样值，所述对应图片是从所述LTR恢复点位置处的图片开始并继续若干随后的图片。6.根据权利要求1所述的方法，其中，当所述第一经解码的视频内容和所述第二经解码的视频内容在从所述LTR恢复点位置开始的恢复范围上是比特精确的时，所述第一经解码的视频内容和所述第二经解码的视频内容从所述LTR恢复点位置开始比特精确地匹配。7.根据权利要求1所述的方法，还包括：由视频编码器根据所述LTR使用模式来编码视频序列以创建所述经编码的视频序列；以及根据所述有损信道模型来修改所述经编码的视频序列的副本以创建所述经编码的视频序列的所述经修改的版本。8.根据权利要求1所述的方法，还包括：由视频编码器根据所述LTR使用模式来编码视频序列以创建所述经编码的视频序列；以及由所述视频编码器根据所述LTR使用模式来编码所述视频序列，以通过根据所述有损信道模型修改所述视频编码器的输出来创建所述经编码的视频序列的所述经修改的版本。9.根据权利要求1所述的方法，其中，所述方法被执行用以根据视频编码标准来验证LTR一致性，其中，所述视频编码标准是HEVC、H.264、VP8和VP9中的一个。10.一种计算设备，包括：...

【专利技术属性】
技术研发人员：卢玫萱，吴勇军，李明杰，F·达拉尔，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国,US