内容自适应镜头阴影校正方法和装置制造方法及图纸

用于在阴影图像帧的至少一部分中提供自适应镜头阴影校正的方法和装置对阴影图像帧的一部分执行光亮度镜头阴影校正，并检测阴影图像中的颜色平坦区域。该方法和装置生成包括颜色阴影参数的基于频率的颜色阴影分布图，该颜色阴影参数包括与来自实验阴影数据的色调分布相对应的幅度参数和相位参数，并通过使用颜色阴影参数对阴影图像帧的检测到的颜色平坦区域执行颜色阴影校正来生成无阴影图像。坦区域执行颜色阴影校正来生成无阴影图像。坦区域执行颜色阴影校正来生成无阴影图像。

【技术实现步骤摘要】
内容自适应镜头阴影校正方法和装置

技术介绍

[0001]镜头阴影校正(LSC)用于校正由在数字图像或其他图像捕获设备的生产中与光检测器有关的各种因素引起的图像阴影。阴影也称为渐晕，表示与图像中心相比，朝着图像外围的图像亮度和饱和度降低。镜头阴影是由许多因素引起的，所述因素包括但不限于镜头光圈、镜筒、传感器主光线角度和其他因素。另外，光透射率随入射波长而变化，这是由折射、传感器灵敏度、像素串扰和其他因素导致的。这样，亮度阴影和颜色阴影都可以改变图像的质量。通常，光检测器包括不同的颜色分量传感器，例如单独的红色、绿色和蓝色像素传感器。在一些实现方式中，校正镜头阴影的镜头阴影校正电路采用具有针对光检测器的每个像素的校正值的存储的查找表。在一些实现方式中，在图像捕获设备中使用RGB(R/G/G/B)光检测器。
[0002]镜头阴影可能是难以校正的问题，因为由于传感器变化、镜头变化、组件变化、老化和其他因素，阴影可能因图像传感器单元而异。另外，阴影因场景而异，例如因场景内光源的波长和对象的改变而异。当用户观看显示正在被视频会议的另一端的一个或多个图像捕获设备捕获的实时视频的显示器时，使用手机、笔记本电脑以及视频电话会议系统而采用的点对点实时视频系统可能具有严重的质量降低。
[0003]一些解决方案采用动态镜头阴影校正，该校正依赖于用于色温预测的自动白平衡机制，但是可能并不总是足够精确和准确，并且可能无法解决颜色相同而波长不同的问题。有时称为自适应镜头阴影校正技术的其他解决方案试图根据图像帧的图像内容预测色温。这样的技术在消除镜头阴影方面提供了高性能，但是其实现方式可能很复杂。
附图说明
[0004]当结合以下附图时，根据下文描述，将更容易理解实现方式，其中，相同的附图标记表示相同的元件，并且其中：
[0005]图1是示出根据本公开的用于提供自适应镜头阴影校正的装置的示例的框图；
[0006]图2是基于由一个或多个图像捕获设备捕获的测试图像的来自实验阴影数据的色调分布的图形表示；
[0007]图3是示出根据本公开中提出的一个示例的用于提供自适应镜头阴影校正的方法的流程图；
[0008]图4是示出根据本公开中提出的一个示例的具有基于频率的颜色校正的自适应镜头阴影校正电路的框图；
[0009]图5是示出根据本公开中提出的一个示例的用于提供自适应镜头阴影校正的方法的流程图；
[0010]图6是示出根据本公开中提出的一个示例的用于提供自适应镜头阴影校正的方法的流程图；
[0011]图7是示出根据本公开中提出的一个示例的用于提供自适应镜头阴影校正的方法的流程图；以及
[0012]图8是示出根据本公开中提出的一个示例的用于提供自适应镜头阴影校正的方法的流程图。
[0013]在下面的描述中，在不同附图中使用相同的附图标记表示相似或相同的项目。除非另有说明，否则单词“耦合”及其相关联的动词形式通过本领域已知的方式包括直接连接和间接电连接，并且除非另有说明，否则对直接连接的任何描述暗示使用合适形式的间接电连接的替代实施方式。
具体实施方式
[0014]本文公开的包括方法和装置在内的技术通过使用基于频率的颜色阴影分布图来实现有效且有成本效益的自适应镜头阴影校正操作。通过校正由图像捕获设备引起的亮度阴影和颜色阴影，可以对视频中图像内容的变化进行镜头阴影自适应校正。在一个示例中，基于每个颜色分量的存储的色调分布数据，使用基于频率的颜色阴影分布图来校正颜色阴影。分析阴影图像的色调平坦区域的极低频信号，同时滤除高频信号。
[0015]在某些实现方式中，用于提供自适应镜头阴影校正的装置和方法针对每个颜色分量采用包括颜色阴影参数的基于频率的颜色阴影分布图，该颜色阴影参数包括与基于由一个或多个图像捕获设备捕获的测试图像的来自实验阴影数据的色调分布相对应的幅度参数和相位参数。在一些实现方式中，基于频率的颜色阴影分布图使用一阶谐波频率分布来用作确定阴影图像中内容的阴影校正参数以校正阴影图像中的颜色阴影的基础。在某些实施方式中，该方法和装置存储用于生成基于频率的颜色阴影分布图的不同颜色分量的色调分布的统计数据。在某些示例中，这包括存储与一个或多个图像捕获设备相对应的多个颜色分量中的每一个的色调分布数据，以及使用例如分布的一次谐波来提取色调分布的频率分布以确定一个或多个图像捕获设备的阴影分布图。
[0016]在一些示例中，该方法和装置去除亮度阴影(也称为光亮度阴影)，并对阴影图像的像素块执行下采样操作，作为颜色阴影校正操作的一部分。对于颜色阴影校正，在一些示例中，该方法和装置基于色调平坦度阈值逐个像素块地检测阴影图像的颜色平坦区域，以确定阴影图像帧的颜色(色调)平坦区域。提取颜色不平坦区域，也称为色调不均匀区域。分析色调平坦区域的极低频信号，同时滤除高频信号。在某些示例中，该方法包括：计算基于频率的颜色阴影分布图参数，在一个示例中，该参数包括来自实验阴影数据的幅度参数和相位参数；以及使用颜色阴影参数生成校正参数以从阴影图像中的颜色平坦区域中去除阴影并产生无阴影图像。无阴影图像可以被压缩并发送到另一进程、设备、网络，或者在一些示例中以供显示。在一些实现方式中，阴影校正操作在诸如基于云的平台之类的网络中执行。
[0017]根据某些实施方式，一种用于在阴影图像帧的至少一部分中提供自适应镜头阴影校正的方法包括对阴影图像帧的一部分执行光亮度镜头阴影校正；检测阴影图像中的颜色平坦区域；生成包括颜色阴影参数的基于频率的颜色阴影分布图，该颜色阴影参数包括与基于由一个或多个图像捕获设备捕获的测试图像的来自实验阴影数据的色调分布相对应的幅度参数和相位参数；以及通过使用包括与来自实验阴影数据的色调分布相对应的幅度参数和相位参数的颜色阴影参数对阴影图像帧的检测到的颜色平坦区域执行颜色阴影校正来生成无阴影图像。生成阴影分布图可以在线或离线完成。
[0018]在一些示例中，色调分布包括针对与一个或多个图像捕获设备相对应的多个颜色分量中的每一个的存储的色调分布数据，并且其中，检测阴影图像中的颜色平坦区域包括对阴影图像帧进行下采样以产生阴影图像帧的一个或多个下采样的像素块。
[0019]在某些示例中，该方法包括将颜色平坦区域中的色调从空间域转换为频域，以及基于所生成的基于频率的颜色阴影分布图的颜色阴影模型参数来确定颜色阴影校正参数，以及使基于每个像素块的色调变化总和最小化。
[0020]在一些示例中，所生成的基于频率的颜色阴影分布图f(x,y)被表示为：f(x，y)＝g(x)
·
g(y)g(y)
[0021]其中f(x,y)是颜色阴影分布，g(x)、g(y)表示水平和垂直方向，A是振幅，是相位，W是图像宽度，以及H是图像高度。
[0022]在某些示例中，转换颜色平坦区域中的色调包括：将分别在水平和垂直两个方向上将在像素块的颜色平坦区域中检测到的色调信号转换为频域，以及使用低通滤波器提取每个方向转换的低频部分。该方法包括将每个得到的低频部分转换成空间分布，以本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于在阴影图像帧的至少一部分中提供自适应镜头阴影校正的方法，所述方法包括：对所述阴影图像帧的一部分执行光亮度镜头阴影校正；检测所述阴影图像帧中的颜色平坦区域；生成包括颜色阴影参数的基于频率的颜色阴影分布图，所述颜色阴影参数包括与基于由一个或多个图像捕获设备捕获的测试图像的来自实验阴影数据的色调分布相对应的幅度参数和相位参数；以及通过使用所述颜色阴影参数对所述阴影图像帧的检测到的所述颜色平坦区域执行颜色阴影校正来生成无阴影图像。2.根据权利要求1所述的方法，其中：所述色调分布由对应于所述一个或多个图像捕获设备的多个颜色分量中的每一个的所存储的色调分布数据组成；以及其中检测所述阴影图像中的所述颜色平坦区域包括对所述阴影图像帧进行下采样以产生所述阴影图像帧的一个或多个下采样的像素块。3.根据权利要求2所述的方法，其包括：将所述颜色平坦区域中的色调从空间域转换为频域；以及基于所生成的所述基于频率的颜色阴影分布图的颜色阴影模型参数来确定颜色阴影校正参数；以及使色调变化总和最小化。4.根据权利要求1所述的方法，其中，所生成的所述基于频率的颜色阴影分布图f(x,y)被表示为：f(x，y)＝g(x)
·
g(y)g(y)其中f(x,y)是颜色阴影分布，g(x)、g(y)表示水平和垂直方向，A是振幅，是相位，W是图像宽度，以及H是图像高度。5.根据权利要求3所述的方法，其中，转换所述颜色平坦区域中的色调包括：分别在水平和垂直两个方向上将在像素块的所述颜色平坦区域中检测到的色调信号转换为频域；使用低通滤波器提取每个方向转换的低频部分；将每个得到的低频部分转换成空间分布；并且其中确定所述颜色阴影校正参数包括生成颜色阴影校正表，该颜色阴影校正表用于调整图像校正电路的增益控制以产生无阴影图像。6.根据权利要求1所述的方法，其中，执行光亮度镜头阴影校正包括使用基于一个或多个图像捕获设备的实验测试的预校准光亮度阴影表从所述阴影图像帧生成光亮度校正表信息，以及应用所述光亮度校正表信息来校正光亮度阴影。7.一种用于在阴影图像帧的至少一部分中提供自适应镜头阴影校正的装置，所述装置包括：
光亮度校正电路，其能操作以对所述阴影图像帧的至少一部分执行光亮度镜头阴影校正；色调不均去除检测电路，其能操作以检测所述阴影图像帧中的颜色平坦区域；基于频率的颜色校正电路，其能操作以：生成包括颜色阴影参数的基于频率的颜色阴影分布图，所述颜色阴影参数包括与基于由一个或多个图像捕获设备捕获的测试图像的来自实验阴影数据的色调分布相对应的幅度参数和相位参数；以及通过使用所述颜色阴影参数对所述阴影图像帧的检测到的所述颜色平坦区域执行颜色阴影校正来生成无阴影图像。8.根据权利要求7所述的装置，其包括存储器，所述存储器存储表示所述色调分布的数据，所述数据包括与所述一个或多个图像捕获设备相对应的多个颜色分量中的每一个的色调分布数据。9.根据权利要求8所述的装置，其中，所述色调不均匀去除检测电路能操作以通过对所述阴影图像帧进行下采样以产生所述阴影图像帧的一个或多个下采样的像素块来检测所述阴影图像中的所述颜色平坦区域。10.根据权利要求9所述的装置，其中，所述基于频率的颜色校正电路能操作以将颜色平坦区域中的色调从空间域转换为频域，以及基于所生成的所述基于频率的颜色阴影分布图的颜色阴影模型参数，通过使色调变化的总和最小化来确定颜色阴影校正参数。11.根据权利要求10所述的装置，其中，所述基于频率的颜色校正电路能操作以使用所生成的以下形...

【专利技术属性】
技术研发人员：潘金云，
申请(专利权)人：超威半导体公司，
类型：发明
国别省市：