【技术实现步骤摘要】
本申请(专利技术)实施例大体上涉及图像处理领域，更具体地涉及光流修正。
技术介绍
1、视频译码(视频编码和解码)广泛用于数字视频应用，例如，广播数字电视、基于互联网和移动网络的视频传输、实时会话应用(例如，视频聊天、视频会议)、dvd和蓝光光盘、视频内容采集和编辑系统以及安全应用的可携式摄像机。
2、即使视频相对较短，也需要大量的视频数据来描述，当数据要在带宽容量有限的通信网络中进行流式传输或以其它方式传输时，这样可能会造成困难。因此，视频数据通常要先压缩，然后通过现代电信网络进行传输。由于内存资源可能有限，当在存储设备上存储视频时，该视频的大小也可能是一个问题。视频压缩设备通常在信源侧使用软件和/或硬件对视频数据进行编码，然后进行传输或存储，从而减少表示数字视频图像所需的数据量。然后，由解码视频数据的视频解压缩设备在目的地侧接收压缩数据。在网络资源有限以及对更高视频质量的需求不断增长的情况下，需要改进压缩和解压缩技术，这些改进的技术在几乎不影响图像质量的情况下能够提高压缩比。
3、具体地，(解码器侧)运动矢量修正((decoder side)motion vector refinement，(d)mvr)和双向光流(bi-directional optical flow，bdof)代表提高帧间预测图像质量的重要技术。但是，这两种过程都需要相对高的计算负载。因此，考虑到最终的译码效率，需要确定是否应用(d)mvr和bdof。
技术实现思路
1、本申请实施例提
2、上述和其它目的通过独立权利要求请求保护的主题来实现。其它实现方式在从属权利要求、说明书和附图中是显而易见的。
3、本申请提供了一种在编码设备中实现的对视频码流进行编码的方法。所述视频码流包括多个图像的经译码数据，所述方法包括：
4、确定针对所述多个图像中的当前图像的至少一个区域，是否启用基于解码器侧运动矢量修正(decoder motion vector refinement，dmvr)的双向帧间预测；根据是否启用基于dmvr的双向帧间预测的确定结果，在低于序列参数集(sequence parameter set，sps)级别的分层语法结构级别上设置dmvr禁用标志(例如1位标志)的值，其中，所述禁用标志的值表示针对所述当前图像的至少一个区域，是否启用基于dmvr的双向帧间预测。
5、与现有技术相反，是否启用基于dmvr的双向帧间预测是在低于所述sps级别的分层结构语法结构级别上标记的。因此，启用或禁用dmvr可以在比现有技术粒度小的粒度上进行指示，从而显著提高译码效率。例如，只针对一个序列的一些图像或某一图像的一些条带启用dmvr，而针对其它图像或其它条带不启用。
6、所述编码方法还可以包括：将低分层语法结构级别上的dmvr禁用标志的值编码到所述视频码流中。可选地，编码所述dmvr禁用标志的值可以直接执行，无需设置dmvr禁用标志(例如1位标志)的值。
7、例如，所述当前图像的至少一个区域为所述当前图像，所述禁用标志被设置在图像参数集(picture parameter set，pps)级别上。再如，所述当前图像的至少一个区域为所述当前图像的一个条带，所述禁用标志被设置在条带头级别上。
8、具体地，当满足至少一个预定义条件时，可以确定禁用基于dmvr的双向帧间预测。基于选择的预定义条件，可以很容易实现对有关启用或禁用dmvr的决策过程的微调。
9、根据一方面，所述方法还包括：确定所述当前图像的至少一个区域与位于所述当前图像的至少一个区域一侧的一个参考图像的至少一个区域和位于所述当前图像的至少一个区域另一侧的另一个参考图像的至少一个区域之间的运动矢量差值；所述至少一个预定义条件包括所述确定的运动矢量差值不同时具有相同绝对值和相反符号。应用这一条件可以产生有关译码效率的可靠决策过程。
10、根据另一方面，所述确定针对所述至少一个区域，是否启用基于dmvr的双向帧间预测包括：确定所述当前图像的至少一个区域内是否存在屏幕内容；所述至少一个预定义条件包括确定所述当前图像的至少一个区域内存在屏幕内容。应用这一条件也可以产生有关译码效率的可靠决策过程。
11、确定是否存在屏幕内容的具体方式如下。所述确定所述当前图像的至少一个区域内是否存在屏幕内容包括：从所述当前图像的至少一个区域内的m个样本中的每个样本开始，分别计算所述当前图像的至少一个区域内的多个块的n位哈希值，其中，n、m和k为整数值；构建包括k个条目的哈希表，其中，所述k个条目中的每个条目包括计算出n位哈希值等于预定义值的多个块的计数值；确定包括计数值大于1的条目的总和；当所述确定的条目的总和大于预定义阈值时，确定所述当前图像的至少一个区域内存在屏幕内容。上述多个块可以由4×4个样本组成。合适的预定义阈值由表示所述当前图像的至少一个区域内的样本总数的预定义百分比的阈值给出。这一过程可以可靠地确定是否存在重要的屏幕内容。
12、根据一方面，所述确定针对所述至少一个区域，是否启用基于dmvr的双向帧间预测包括：在不执行基于解码器侧运动矢量修正的双向帧间预测的情况下，计算所述至少一个区域内的多个编码单元的预测残差的成本的第一总和；在执行运动矢量修正的情况下，计算所述至少一个区域内的多个编码单元的预测残差的成本的第二总和；当所述计算出的第二总和大于所述计算出的第一总和时，确定禁用基于dmvr的双向帧间预测。所述成本可以是基于绝对变换差(absolute transform differences，satd)的成本。这一标准也可以产生高效译码。具体地，当所述当前图像的至少一个区域为所述当前图像时，可以确定，当所述计算出的第二总和大于所述计算出的第一总和时，针对所述当前图像的后续图像，不启用dmvr双向帧间预测。应用这一条件也可以产生有关译码效率的可靠决策过程。
13、上述实施例还可以包括：在所述sps级别上设置dmvr启用标志的值，其中，所述启用标志的值表示针对所述多个图像，是否启用基于dmvr的双向帧间预测。当所述启用标志表示禁用dmvr时，不需要在低分层级别上确定是否启用dmvr，因此可以节省在低分层级别上确定是否启用dmvr的处理负载。
14、上述实施例还可以包括：将所述启用标志的值编码到所述视频码流中。
15、关于确定是否启用双向光流(bi-directional optical flow，bdof)处理，可以执行与上述过程类似的过程，并提供相同或类似的优点。相应地，本申请提供了一种在编码设备中实现的对视频码流进行编码的方法。所述视频码流包括多个图像的经译码数据，所述方法包括：
16、确定针对所述多个图像中的当前图像的至少一个区域，是否启用双向光流(bi-directional optical flow，bdof)帧间预测；
17、根据是否启用b本文档来自技高网...
【技术保护点】
1.一种在编码设备中实现的对视频码流进行编码的方法，其特征在于，所述视频码流包括多个图像的经译码数据，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述当前图像的至少一个区域为所述当前图像的一个条带，所述禁用标志被设置在条带头级别上。
3.根据权利要求1至2中任一项所述的方法，其特征在于，当满足至少一个预定义条件时，确定禁用BDOF帧间预测。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：确定所述当前图像的至少一个区域与位于所述当前图像的至少一个区域一侧的一个参考图像的至少一个区域和位于所述当前图像的至少一个区域另一侧的另一个参考图像的至少一个区域之间的运动矢量差值；所述至少一个预定义条件包括所述确定的运动矢量差值不同时具有相同绝对值和相反符号。
5.根据权利要求1至4中任一项所述的方法，其特征在于，所述方法还包括：在所述SPS级别上设置BDOF启用标志，其中，所述启用标志表示针对所述多个图像，是否启用BDOF帧间预测。
6.根据上述权利要求中任一项所述的方法，其特征在于，所述禁用标志为1位标志。
7.一种由解码设备实现的对视频码流进行解码的方法，其特征在于，所述视频码流包括多个图像的经译码数据，所述解码方法包括：
8.根据权利要求7所述的方法，其特征在于，所述当前图像的至少一个区域为所述当前图像的一个条带，所述语法结构为条带头。
9.根据权利要求7或结合权利要求7的权利要求8所述的方法，其特征在于，当所述BDOF启用标志的解析值表示启用BDOF时，对所述当前块执行的是BDOF帧间预测。
10.根据权利要求7、结合权利要求7的权利要求8、结合权利要求7的权利要求9所述的方法，其特征在于，当所述BDOF启用标志的解析值表示启用BDOF时，解析的是所述BDOF禁用标志。
11.根据权利要求7、结合权利要求7的权利要求8、结合权利要求7的权利要求9所述的方法，其特征在于，是否解析所述BDOF禁用标志是根据所述BDOF启用标志的解析值确定的。
12.根据权利要求7至11中任一项所述的方法，其特征在于，所述禁用标志为1位标志。
13.一种编码器(20)，其特征在于，所述编码器包括处理电路，所述处理电路用于执行根据权利要求1至6中任一项所述的方法。
14.一种解码器(30)，其特征在于，所述解码器包括处理电路，所述处理电路用于执行根据权利要求7至12中任一项所述的方法。
15.一种计算机程序产品，其特征在于，所述计算机程序产品包括程序代码，所述程序代码用于执行根据权利要求1至12中任一项所述的方法。
16.一种解码器，其特征在于，所述解码器包括：
17.一种编码器，其特征在于，所述编码器包括：
18.一种用于对视频码流进行编码的设备，其特征在于，所述视频码流包括多个图像的经译码数据，所述设备包括：
19.根据权利要求18所述的设备，其特征在于，所述当前图像的至少一个区域为所述当前图像的一个条带，所述禁用标志被设置在条带头级别上。
20.根据权利要求18至19中任一项所述的设备，其特征在于，所述BDOF帧间预测确定单元用于：当满足至少一个预定义条件时，确定禁用BDOF帧间预测。
21.根据权利要求20所述的设备，其特征在于，所述设备还包括：运动矢量差值确定单元，用于确定所述当前图像的至少一个区域与位于所述当前图像的至少一个区域一侧的一个参考图像的至少一个区域和位于所述当前图像的至少一个区域另一侧的另一个参考图像的至少一个区域之间的运动矢量差值；所述至少一个预定义条件包括所述确定的运动矢量差值不同时具有相同绝对值和相反符号。
22.根据权利要求18至21中任一项所述的设备，其特征在于，所述设备还包括：第二BDOF标志设置单元，用于在所述SPS级别上设置BDOF启用标志的值，其中，所述启用标志的值表示针对所述多个图像，是否启用BDOF帧间预测。
23.根据在先权利要求中任一项所述的设备，其特征在于，所述禁用标志为1位标志。
24.一种用于对视频码流进行解码的设备，其特征在于，所述视频码流包括多个图像的经译码数据，所述设备包括：
25.根据权利要求24所述的设备，其特征在于，所述当前图像的至少一个区域为所述当前图像的一个条带，所述语法结构为条带头。
26.根据权利要求24、结合权利要求24的权利要求25所述的设备，其特征在于，所述BDOF执行单元用于：当所述BDOF启用标志的解析值表示启用BDOF时，对所述当前块执行BDO...
【技术特征摘要】
1.一种在编码设备中实现的对视频码流进行编码的方法，其特征在于，所述视频码流包括多个图像的经译码数据，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述当前图像的至少一个区域为所述当前图像的一个条带，所述禁用标志被设置在条带头级别上。
3.根据权利要求1至2中任一项所述的方法，其特征在于，当满足至少一个预定义条件时，确定禁用bdof帧间预测。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：确定所述当前图像的至少一个区域与位于所述当前图像的至少一个区域一侧的一个参考图像的至少一个区域和位于所述当前图像的至少一个区域另一侧的另一个参考图像的至少一个区域之间的运动矢量差值；所述至少一个预定义条件包括所述确定的运动矢量差值不同时具有相同绝对值和相反符号。
5.根据权利要求1至4中任一项所述的方法，其特征在于，所述方法还包括：在所述sps级别上设置bdof启用标志，其中，所述启用标志表示针对所述多个图像，是否启用bdof帧间预测。
6.根据上述权利要求中任一项所述的方法，其特征在于，所述禁用标志为1位标志。
7.一种由解码设备实现的对视频码流进行解码的方法，其特征在于，所述视频码流包括多个图像的经译码数据，所述解码方法包括：
8.根据权利要求7所述的方法，其特征在于，所述当前图像的至少一个区域为所述当前图像的一个条带，所述语法结构为条带头。
9.根据权利要求7或结合权利要求7的权利要求8所述的方法，其特征在于，当所述bdof启用标志的解析值表示启用bdof时，对所述当前块执行的是bdof帧间预测。
10.根据权利要求7、结合权利要求7的权利要求8、结合权利要求7的权利要求9所述的方法，其特征在于，当所述bdof启用标志的解析值表示启用bdof时，解析的是所述bdof禁用标志。
11.根据权利要求7、结合权利要求7的权利要求8、结合权利要求7的权利要求9所述的方法，其特征在于，是否解析所述bdof禁用标志是根据所述bdof启用标志的解析值确定的。
12.根据权利要求7至11中任一项所述的方法，其特征在于，所述禁用标志为1位标志。
13.一种编码器(20)，其特征在于，所述编码器包括处理电路，所述处理电路用于执行根据权利要求1至6中任一项所述的方法。
14.一种解码器(30)，其特征在于，所述解码器包括处理电路，所述处理电路用于执行根据权利要求7至12中任一项所述的方法。
15.一种计算机程序产品，其特征在于，所述计算机程序产品包括程序代码，所述程序代码用于执行根据权利要求1至12中任一项所述的方法。
16.一种解码器，其特征在于，所述解码器包括：
17.一种编码器，其特征在于，所述编码器包括：
18.一种用于对视频码流进行编码的设备，其特征在于，所述视频码流包括多个图像的经译码数据，所述设备包括：...
【专利技术属性】
技术研发人员：斯利拉姆·赛阿瑟拉门，赛格安仁·蔻特查阿，奇甫阿·瑞安·阿，塞米赫艾森力克，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。