用于视频编码中基于直方图的加权预测的系统和方法技术方案

本公开涉及用于视频编码中基于直方图的加权预测的系统和方法。所公开的计算机实现的方法可以包括(1)从视频流中选择参考帧和当前帧，(2)收集参考帧的参考直方图和当前帧的当前直方图，以及(3)通过将平滑函数应用于参考直方图的至少一部分来生成平滑参考直方图。在一些示例中，该计算机实现的方法还可以包括(1)确定平滑参考直方图和当前直方图之间的相似性度量，以及(2)当相似性度量大于阈值时，在视频流的编码的运动估计部分期间应用加权预测。还公开了各种其他方法、系统和计算机可读介质。介质。介质。

【技术实现步骤摘要】
用于视频编码中基于直方图的加权预测的系统和方法
[0001]相关申请的交叉引用
[0002]本申请要求于2021年3月22日提交的第63/163,952号美国临时申请以及于2021年12月21日提交的第17/558,276号美国非临时专利申请的权益，这两个申请的公开内容通过此引用以其整体被并入。
[0003]附图简述
[0004]附图示出了许多示例性实施例并且是说明书的一部分。与以下描述一起，这些附图展示和解释了本公开的各种原理。
[0005]图1是用于视频编码中基于直方图的加权预测的示例系统的框图。
[0006]图2是用于视频编码中基于直方图的加权预测的系统的示例实施方式的框图。
[0007]图3是用于视频编码中基于直方图的加权预测的示例方法的流程图。
[0008]图4是根据本文描述的一些示例的参考直方图和平滑参考直方图的视图。
[0009]图5是根据本文描述的一些示例的当前直方图和平滑当前直方图的视图。
[0010]图6是根据本文描述的一些示例的操作流程图。
[0011]在整个附图中，相同的附图标记和描述表示相似但不一定相同的元件。尽管本文描述的示例性实施例易于进行各种修改和易于被各种替代形式替代，但特定实施例已在附图中以示例的方式示出并且将在本文中详细描述。然而，本文描述的示例性实施例不旨在局限于所公开的特定形式。相反，本公开涵盖落入所附权利要求的范围内的所有修改、等效物和替代物。
[0012]示例性实施例的详细描述
[0013]各种平台、服务和软件可以实现和/或采用视频编码解决方案来将具有一组编码参数(例如，分辨率、位深度、帧速率、质量等)的视频文件和/或流转码为具有另一组编码参数的另一个视频文件和/或流。一些视频编码解决方案可能会通过识别或预测具有亮度变化(诸如渐变(fade)或光照变化)的视频场景来寻求提高编码效率。不幸的是，识别或预测具有亮度变化的场景的传统方法可能不准确地识别或预测这样的场景。此外，一些传统方法可能采用计算复杂的方法，这些方法可能无法很好地扩展到更高的分辨率和/或比特率。因此，本申请识别并解决了对用于识别和/或预测视频流中的亮度变化的附加系统和方法的需要。
[0014]本公开总体上针对用于视频编码中基于直方图的加权预测的系统和方法。如下文将更详细解释的，本公开的实施例可以从视频流中选择参考帧(reference frame)和当前帧。在一些示例中，本文描述的一个或更多个系统可以在视频流的编码的运动估计部分期间选择参考帧和当前帧。
[0015]实施例还可以收集参考帧的参考直方图和当前帧的当前直方图，并且在一些示例中，可以将确定的权重和/或偏移值应用于参考直方图。该实施例还可以通过将平滑函数应用于参考直方图的至少一部分来生成平滑参考直方图。该实施例还可以确定平滑参考直方图和当前直方图之间的相似性度量。在一些示例中，确定该相似性度量可以包括确定平滑参考直方图和当前直方图之间的相关系数(例如，皮尔逊(Pearson)相关性)。
[0016]此外，在一些实施例中，当确定的相似性度量大于阈值时，本文描述的系统和方法可以在视频流的编码的运动估计部分期间应用加权预测。
[0017]与传统的视频编码系统和/或方法相比，本文描述的系统和方法可以具有许多好处。传统的视频编码系统可能难以有效地对视频文件或流中包括淡出到黑色(fade
‑
out
‑
to
‑
black)部分或从黑色淡入(fade
‑
in
‑
from
‑
black)部分的部分进行编码，因为这些部分可能导致传统的视频编码系统生成、计算或观察到高的运动估计和/或预测误差。为了减轻这种困难中的一些，一些视频编码标准(例如，H.264、H.265等)可以包括用于在视频流的编码的运动估计部分期间进行加权预测的工具。传统的加权预测技术可以使用应用于运动补偿预测的乘法加权因子和加法偏移，来提高这样的场景(例如，渐变)期间的编码效率。
[0018]然而，传统的加权/偏移方法可能指示“误报”，因为它们可能错误地指示在两个帧之间发生全局亮度/光照变化，而在这两个帧之间实际上没有发生全局亮度/光照变化。本文描述的系统和方法可以排除这样的误报，从而提高视频编码效率和/或质量。此外，传统的加权/偏移方法可能涉及n次乘法(其中n可能是帧中的像素数量)和/或对整个帧计算绝对差。本文描述的系统和方法可以省略或限制这样的操作，并因此可以比传统的加权/偏移方法明显更高效(例如，计算上高效、能量高效、时间上高效等)。
[0019]作为说明，在H.264视频编码过程中，可以在编码过程的运动估计部分中对参考图片(例如，帧、切片(slice)、图片组等)应用恒定的权重因子和偏移。当编码具有亮度变化的视频场景时，显式加权预测可能是有效的。在此示例中，权重/偏移对可以被包括作为每个YUV分量的切片头(header)的一部分。理论上，权重/偏移可以根据下式基于当前帧和参考帧之间的能量变化推导出来：
[0020][0021]其中，p是参考帧，i是当前帧，mean(X)是一帧的平均值，σ(X)是一帧的方差，W是权重，以及O是偏移。
[0022]然而，非默认的权重/偏移值(例如，W不是1或O不是0)通常是误报，因为两个帧之间可能没有全局亮度/光照变化。H.264标准的一些实施方式(例如，开源的X264编解码器)可以使用实际的运动补偿循环来排除这些误报并改进权重/偏移。实际的运动补偿循环可以计算整个帧上的实际成本[W
‑
1,W+1]×
[O
‑
1,O+1]，并将其与(W＝1,O＝0)进行比较。具有最小成本C的权重/偏移根据下式保持：
[0023]C(W,O)＝∑|X
i
‑
W*X
p
‑
O|
ꢀꢀꢀ
(2)其中，总和可以表示整个帧上所有像素的求和。这可能涉及n次乘法(其中n可能是帧中的像素数量)和/或对帧中的所有像素计算绝对差。因此，诸如本文所述的轻量级的基于直方图的方法可以比此示例中描述的权重/偏移方法明显更高效。
[0024]下面将参考图1至图2以及图4至图6提供用于视频编码中基于直方图的加权预测的系统的详细描述。也将结合图3提供对应的计算机实现的方法的详细描述。
[0025]图1是用于视频编码中基于直方图的加权预测的示例系统100的框图。如该图中所示，示例系统100可以包括用于执行一个或更多个任务的一个或更多个模块102。如下文将
更详细解释的，模块102可以包括选择模块104，该选择模块104从视频流(例如，视频流142)中选择参考帧和当前帧。示例系统100还可以包括收集模块106和生成模块108，收集模块106可以收集参考帧的参考直方图和当前帧的当前直方图，生成模块108可以通过将平滑函数应用于参考直方图的至少一部分来生成平滑参考直方图。
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种计算机实现的方法，包括：从视频流中选择参考帧和当前帧；收集所述参考帧的参考直方图和所述当前帧的当前直方图；通过将平滑函数应用于所述参考直方图的至少一部分来生成平滑参考直方图；确定所述平滑参考直方图和所述当前直方图之间的相似性度量；和当所述相似性度量大于阈值时，在所述视频流的编码的运动估计部分期间应用加权预测。2.根据权利要求1所述的计算机实现的方法，其中：所述计算机实现的方法还包括从所述当前直方图的至少一部分生成平滑当前直方图；并且确定所述平滑参考直方图和所述当前直方图之间的所述相似性度量包括：确定所述平滑参考直方图和所述平滑当前直方图之间的相似性度量。3.根据权利要求1所述的计算机实现的方法，其中，收集所述参考直方图包括：基于所述参考帧和所述当前帧确定权重值和偏移值；和通过将所述权重值和所述偏移值应用于所述参考直方图来调整所述参考直方图。4.根据权利要求3所述的计算机实现的方法，其中，确定所述相似性度量包括：基于调整后的参考直方图和所述当前直方图来确定所述相似性度量。5.根据权利要求1所述的计算机实现的方法，其中，选择所述参考帧和所述当前帧包括：在所述视频流的编码的运动估计部分期间选择所述参考帧和所述当前帧。6.根据权利要求1所述的计算机实现的方法，其中，收集所述参考帧的参考直方图和所述当前帧的当前直方图包括：从所述参考帧的YUV平面收集所述参考直方图，以及从所述当前帧的YUV平面收集所述当前直方图。7.根据权利要求1所述的计算机实现的方法，其中，确定所述相似性度量包括：确定所述平滑参考直方图和所述当前直方图之间的相关系数。8.根据权利要求7所述的计算机实现的方法，其中，确定所述相关系数包括确定皮尔逊相关性。9.根据权利要求7所述的计算机实现的方法，其中，确定所述相关系数包括确定以下至少一项：互信息度量；类内相关性(ICC)；多变量相关性；或者秩系数。10.根据权利要求1所述的计算机实现的方法，其中，所述参考直方图或所述当前直方图中的至少一个包括至少256个分格。11.根据权利要求1所述的计算机实现的方法，其中，所述平滑函数包括高斯平滑函数。12.根据权利要求1所述的计算机实现的方法，其中，所述平滑函数包括以下至少一项：最近邻平滑函数；小波变换函数；质心指数平滑函数；或者
均值平滑函数。13.根据权利要求1所述的计算机实现的方法，其中，所述参考...

【专利技术属性】
技术研发人员：哈里克里希纳，
申请(专利权)人：元平台公司，
类型：发明
国别省市：