基于深度学习的视频帧白平衡校正制造技术

一种方法可包括：通过将自动白平衡(AWB)算法应用于视频馈送的视频帧来计算颜色增益，通过将机器学习模型应用于所述视频帧来计算照明颜色，将所述照明颜色转换为等效颜色增益，确定所述颜色增益与所述等效颜色增益之间的差值超过差值阈值，基于超过所述阈值而反转所述视频帧上所述照明颜色的效果以获取经校正的视频帧，以及将所述经校正的视频帧传输到端点。端点。端点。

【技术实现步骤摘要】
【国外来华专利技术】基于深度学习的视频帧白平衡校正

技术介绍

[0001]自动白平衡(AWB)算法调整中性(例如，白色)颜色的渲染，以准确地表示由相机镜头瞄准的场景中的实际中性颜色。传统AWB算法是基于对像素值的分析和关于帧中平均颜色的假设。例如，白点算法假设帧中始终存在白色区域，并且大多数类白色区域应为白色的。使用传统AWB算法来准确地处理背景颜色仍然是一个未解决的问题。传统AWB算法测量图像中显示的内容，但无法辨识和理解图像。例如，奶油色的办公桌与在暖光照明下看起来呈奶油色的纯白色办公桌没有区别。虽然人类视觉基于对物体的辨识而校正颜色，但在需要快速(例如，实时)性能时，诸如在视频流的情况下，应用基于机器学习的白平衡算法是不可行的。

技术实现思路

[0002]提供本
技术实现思路
是为了介绍一些概念，这些概念会在下文的具体实施方式中做进一步描述。本
技术实现思路
并不旨在识别所要求保护的主题的关键或基本特征，也不旨在用作限制所要求保护的主题的范围的辅助。
[0003]通常，在一个方面中，一个或多个实施例涉及一种方法，所述方法包括：通过将自动白平衡(AWB)算法应用于视频馈送的视频帧来计算颜色增益，通过将机器学习模型应用于视频帧来计算照明颜色，将照明颜色转换为等效颜色增益，确定颜色增益与等效颜色增益之间的差值超过差值阈值，基于超过差值阈值而反转视频帧上照明颜色的效果以获取经校正的视频帧，以及将经校正的视频帧传输到端点。
[0004]通常，在一个方面中，一个或多个实施例涉及一种系统，所述系统包括包含图像信号处理器(ISP)的相机，所述ISP被配置为：通过将自动白平衡(AWB)算法应用于视频馈送的视频帧来计算颜色增益，将照明颜色转换为等效颜色增益，确定颜色增益与等效颜色增益之间的差值超过差值阈值，以及基于超过差值阈值而反转视频帧上照明颜色的效果以获取经校正的视频帧。所述系统进一步包括包含机器学习模型的视频模块，视频模块被配置为通过将机器学习模型应用于视频帧来计算照明颜色以及将经校正的视频帧传输到端点。
[0005]通常，在一个方面中，一个或多个实施例涉及一种方法，所述方法包括：通过将自动白平衡(AWB)算法应用于视频馈送的视频帧来计算颜色增益，将颜色增益应用于视频帧以获取第一经校正的视频帧，通过将机器学习模型应用于第一经校正的视频帧来计算照明颜色，将照明颜色转换为等效颜色增益，确定颜色增益与等效颜色增益之间的差值超过差值阈值，基于超过差值阈值而反转第一经校正的视频帧上照明颜色的效果以获取第二经校正的视频帧，以及将第二经校正的视频帧传输到端点。
[0006]本专利技术的其他方面将从以下描述和所附权利要求中变得显而易见。
附图说明
[0007]图1示出了本公开的实施例的操作环境。
[0008]图2和图3示出了图1的操作环境的组件。
[0009]图4.1和图4.2示出了根据本公开的一个或多个实施例的方法的流程图。
[0010]图5.1、图5.2和图6示出了根据本公开的一个或多个实施例的示例。
具体实施方式
[0011]现将参考附图详细描述本公开的具体实施例。为一致起见，各个图中的相似元件由相似附图标记表示。
[0012]在本公开的实施例的以下详细描述中，阐述了许多具体细节以便提供对本公开的更透彻理解。然而，对于本领域的普通技术人员将显而易见的是，可在不具有这些具体细节的情况下实践本公开。在其他情况下，未详细描述众所周知的特征以避免不必要地使描述复杂化。
[0013]在整个申请中，序数(例如，第一、第二、第三等)可用作元件(即，申请中的任何名词)的形容词。除非明确公开，诸如通过使用术语“之前”、“之后”、“单一”，以及其他此类术语，否则序数的使用不是暗示或创建元件的任何特定排序，也不是将任何元件限制为仅单一元件。实际上，序数的使用是为了区分元件。作为示例，第一元件不同于第二元件，并且第一元件可涵盖多于一个元件并且在元件的排序中在第二元件之后(或之前)。
[0014]此外，虽然描述包括对本公开的各种实施例的讨论，但可以几乎任何方式组合各种所公开实施例。本文中涵盖所有组合。
[0015]在本文中的附图和附图的描述中，特定术语仅为方便起见使用，并且不用于限制本公开的实施例。在附图和下文的描述中，相似数字始终指示相似元件。
[0016]使用镜头捕获的图像包括颜色平衡的不准确。本公开的实施例通常是针对视频帧的白平衡校正。在一个或多个实施例中，颜色增益是通过将自动白平衡(AWB)算法应用于视频馈送的视频帧来计算。AWB算法调整视频帧中的中性(例如白色、奶油色和其他此类中性)颜色的渲染。调整经执行以使得经校正的视频帧中所示的中性颜色准确地表示由相机的镜头瞄准的场景中的实际中性颜色。AWB算法对视频帧的调整被称为颜色增益。在一个或多个实施例中，相机的图像信号处理器(ISP)可将AWB算法应用于视频帧。
[0017]此外，实施例将机器学习模型应用于视频帧以获取照明颜色。照明颜色表示由于来自光源的照明而导致的视频帧中的偏差。
[0018]虽然机器学习模型比AWB算法更精确，但应用机器学习模型会产生大量计算开销。通过在颜色增益已经稳定之后让机器学习模型计算照明颜色，可减少计算开销。例如，在由相机捕获的场景的照明发生变化之后，颜色增益可能会不稳定。继续此示例，照明的变化可能是由于在托管会议端点的会议室中打开或关闭照明开关。在颜色增益与从照明颜色导出的等效颜色增益之间的差值超过差值阈值时，等效颜色增益用于从视频帧生成经校正的视频帧。以规则间隔触发机器学习模型的活动和/或在颜色增益稳定时触发机器学习模型的活动减少了在机器学习模型持续活动的情况下将产生的计算开销和时延。公开了用于视频帧的白平衡校正的系统和方法。虽然结合电话会议系统描述了所公开系统和方法，但所公开系统和方法可在根据本公开的其他上下文中使用。
[0019]图1示出了本公开的示例性电路的可能操作环境。具体地，图1示出了根据本公开的实施例的会议设备或端点(10)。图1的会议设备或端点(10)经由网络(55)与一个或多个远程端点(60)通信。端点(10)包括具有音频编解码器(32)的音频模块(30)和具有视频编解
码器(42)的视频模块(40)。这些模块(30、40)可操作地耦合到控制模块(20)和网络模块(50)。模块(30、40、20、50)包括专用硬件、由一个或多个硬件处理器执行的软件或其组合。在一些示例中，视频模块(40)对应于图形处理单元(GPU)、神经处理单元(NPU)、可由图形处理单元执行的软件、中央处理单元(CPU)、可由CPU执行的软件或其组合。在一些示例中，控制模块(20)包括CPU、可由CPU执行的软件或其组合。在一些示例中，网络模块(50)包括一个或多个网络接口装置、CPU、可由CPU执行的软件或其组合。在一些示例中，音频模块(30)包括CPU、可由CPU执行的软件、声卡或其组合。
[0020]通常，端点(10)可为会议装置、视频会议装置、具有音频或视频会议能力的个人计算机或任何类似类型的通信本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种方法，所述方法包括：通过将自动白平衡(AWB)算法应用于视频馈送的视频帧来计算第一颜色增益；通过将机器学习模型应用于所述视频帧来计算照明颜色；将所述照明颜色转换为等效颜色增益；确定所述第一颜色增益与所述等效颜色增益之间的差值超过差值阈值；基于超过所述差值阈值而反转所述视频帧上所述照明颜色的效果以获取经校正的视频帧；以及将所述经校正的视频帧传输到端点。2.根据权利要求1所述的方法，其中确定所述第一颜色增益与所述等效颜色增益之间的所述差值超过所述差值阈值是由相机的图像信号处理器(ISP)执行的。3.根据权利要求1所述的方法，所述方法进一步包括：检测所述第一颜色增益已经稳定，其中确定所述第一颜色增益与所述等效颜色增益之间的所述差值超过所述差值阈值是响应于检测到所述第一颜色增益已经稳定而执行的。4.根据权利要求3所述的方法，其中检测所述第一颜色增益已经稳定包括：获取所述视频馈送的当前视频帧；以及确定所述当前视频帧中的像素的当前值在所述视频馈送的先前视频帧中的所述像素的先前值的值阈值内。5.根据权利要求3所述的方法，其中检测所述第一颜色增益已经稳定包括确定所述第一颜色增益的当前值在所述第一颜色增益的先前值的增益阈值内。6.根据权利要求3所述的方法，其中所述照明颜色是响应于检测到所述第一颜色增益已经稳定而计算的。7.根据权利要求3所述的方法，其中所述照明颜色是在检测到所述第一颜色增益已经稳定之后以规则间隔计算的。8.一种系统，所述系统包括：包括图像信号处理器(ISP)的相机，所述ISP被配置为：通过将自动白平衡(AWB)算法应用于视频馈送的视频帧来计算第一颜色增益，将照明颜色转换为等效颜色增益，确定所述第一颜色增益与所述等效颜色增益之间的差值超过差值阈值，以及基于超过所述差值阈值而反转所述视频帧上所述照明颜色的效果以获取经校正的视频帧；以及视频模块，所述视频模块包括机器学习模型并且被配置为：通过将所述机器学习模型应用于所述视频帧来计算所述照明颜色，以及将所述经校正的视频帧传输到端点。9.根据权利要求8所述的系统，其中所述ISP进一步被配置为：检测所述第一颜色增益已经稳定，其中检测所述第一颜色增益与所述等效颜色增益之间的所述差值超过所述差值阈值是响应于检测到所述第一颜色增益已经稳定而执行的。10.根据权利要求9所述的系统，其中所述I...

【专利技术属性】
技术研发人员：T，
申请(专利权)人：POLYCOM通讯技术北京有限公司，
类型：发明
国别省市：