一种基于灰点漂移的视频白平衡方法技术

本发明专利技术涉及一种基于灰点漂移的视频白平衡方法，属于图像处理中的颜色恒常性与白平衡技术领域。本方法在光源估计的过程中，除图像本身的单帧光源估计，同时考虑了其相邻帧图像的光源估计、稳定视频的颜色。通过加权融合的方式调整已有估计和单帧估计的比例，使视频白平衡结果兼顾正确性与稳定性。在融合权重的确定时，除了考虑相邻帧图像间对应灰点的颜色差异，同时考虑了相邻帧图像间单帧光源估计的颜色差异，只有两者皆较大时才认为拍摄条件发生了显著的光源变化，使用新的单帧估计，否则继续沿用之前的光源估计，其能够降低单帧估计的错误与灰点漂移估计的错误对最终结果的影响，同时也适应拍摄条件发生确实突变的情况，提高了算法的自适应性。了算法的自适应性。了算法的自适应性。

【技术实现步骤摘要】
一种基于灰点漂移的视频白平衡方法


[0001]本专利技术涉及一种视频白平衡方法，具体涉及一种基于灰点漂移的视频白平衡方法，属于图像处理中的颜色恒常性与白平衡


技术介绍

[0002]颜色恒常性(Color Constancy)，是指当照射物体表面的颜色光发生变化时，人们对该物体表面颜色的知觉仍然保持不变的知觉特性。白平衡(White Balance)，是使图像传感器具有颜色恒常性的重要方式，其基本概念是：无论在何种光源下，都将白色的物体还原为白色。对于非标准白色光源下拍摄时发生的偏色现象，可以通过补色的方式将所拍摄物体的颜色校正为其固有颜色。
[0003]图像白平衡的实现方式，通常是估计所拍摄图像的光源颜色，按照将所估计的光源颜色校正为白色的方式校正图像的颜色。对于视频，通常将图像的白平衡方法独立地应用于视频的每一帧图像上，得到视频的白平衡结果。但是，在实际应用中，由于光照、场景等因素的变化，各帧独立白平衡的方式通常导致视频白平衡结果的颜色产生不自然的时序变化。由于图像白平衡方法普遍缺乏鲁棒性，拍摄条件的微小改变可能会引起较大的光源估计差异，这使得视频中对连续拍摄的场景的颜色校正产生差异，造成视频颜色的不稳定，影响视频白平衡的性能。
[0004]对于白平衡这一普遍而经典的问题，国内外技术人员已经做了大量的研究。通常，白平衡可大致分为两类：基于统计先验假设的方法和基于学习的方法。
[0005]基于统计先验假设的方法，以灰色世界法(G.Buchsbaum,A spatial processor model for object colour perception[J].Journal of the Franklin Institute,vol.310,no.1,pp.1
–
26,1980)为代表，通过观察等方式提出某种先验假设，将图像中的特定统计特征与光源颜色估计相联系。该类方法可以显式地对图像的光源颜色进行直接求解，对于不同种类的图像具有良好的泛用性。但是，该类方法所提取的图像特征单一，在光源颜色估计的正确性方面存在一定的局限。
[0006]基于学习的方法，以卷积颜色恒常网络CCC(J.T.Barron,Convolutional color constancy[C],Proceedings of the IEEE International Conference on Computer Vision,pp.379
‑
387，2015.)为代表，该类方法有效地挖掘了众多图像数据中的深层特征，构建从图像到光源颜色的映射。该类方法普遍在图像数据集上的光源颜色估计得到了较高的准确度。但是，在处理数据集以外的图像时，该类方法存在一定的泛化性不足的问题。同时，该类方法普遍需要较长的训练与学习时间，在一定程度上影响了实际应用时的测试与维护的花费。
[0007]对于视频图像，目前缺乏针对该类数据形式的白平衡研究。通常的视频白平衡方式是各帧独立地进行白平衡处理。然而，无论使用基于统计先验假设的方法，还是使用基于学习的方法，视频各帧的白平衡结果往往都存在一定的颜色不稳定现象。

技术实现思路

[0008]本专利技术的目的，是针对现有的视频白平衡方法存在的帧间颜色不一致的技术问题，创造性地提出一种基于灰点漂移的视频白平衡方法。本方法使其能够有效地追踪视频中灰色景物的移动，抵抗由于光照、场景等因素改变带来的光源颜色估计的不一致。本方法在维持白平衡准确的基础上，提高视频白平衡结果颜色的稳定性。
[0009]本专利技术的创新点在于：
[0010]首先，对于视频中第一帧图像使用图像白平衡算法得到初始光源颜色估计；通过角度误差计算第一帧图像的灰色指数，得到初始光源颜色估计所对应的灰点。
[0011]然后，计算灰点的平均值得到第一帧图像的最终光源颜色估计。对于其后的每一帧新拍摄的图像，通过图像白平衡算法得到该图像的单帧光源颜色估计；然后通过特征匹配方法获得该图像与上一帧图像之间的运动信息；通过运动信息计算出上一帧图像中的灰点在当前图像中的漂移位置，得到漂移灰点；得到漂移灰点后，计算其平均值得到漂移光源颜色估计；根据当前图像中的单帧光源估计、漂移光源估计，以及其上一帧图像的单帧光源估计、最终光源估计，计算对应光源颜色间的角度误差进而得到融合权重；然后将当前图像的单帧光源估计与上一帧图像的最终光源估计按照该权重进行融合，得到参考光源。
[0012]最后，计算相对于参考光源颜色的角度误差得到当前图像的灰色指数并选取灰点，将所选灰点的平均值作为当前图像的最终光源颜色估计。视频中每一帧图像的白平衡结果由其最终光源颜色估计得出，每一帧图像的单帧光源估计、最终光源估计被应用于其下一帧图像的白平衡计算中，通过递推的方式逐一完成视频帧的白平衡。
[0013]本专利技术采用以下技术方案实现：
[0014]一种基于灰点漂移的视频白平衡方法，包括以下步骤：
[0015]步骤1：获取第一帧图像的单帧光源估计L
k,0
。
[0016]具体地，可以通过灰色世界、CCC等图像白平衡算法，获取第一帧图像的单帧白平衡估计L
k,0
。
[0017]其中,k为新拍摄图像的帧序数，此时k＝1；L为由R、G、B值所组成的行向量，表示光源颜色，下标“0”表示单帧估计。
[0018]步骤2：获取第一帧图像的灰点位置集合P与最终光源估计L
k,f
。
[0019]将步骤1的单帧光源估计L
k,0
作为参考光源L
k,ref
，根据角度误差计算第一帧图像中各像素的灰色指数，灰色指数GI由式1计算：
[0020]GI＝arccos(L
k,ref
,I)
ꢀꢀ
(1)
[0021]其中，arccos()表示计算两向量间的夹角；I为新拍摄图像中像素的R、G、B值的行向量，下标“ref”表示参考估计(reference)。
[0022]优选地，挑选出灰色指数值前0.1％小的像素，得到由众多灰点位置p构成的灰点位置集合P。其中，p＝(x,y,1)
′
，包含像素横纵坐标x、y以及常数1的列向量，上标
′
表示向量的转置。
[0023]计算所选灰点的平均值，得到第一帧图像的最终光源估计L
k,f
，其中下标“f”表示最终估计(final)。
[0024]步骤3：获取新的视频帧，并获取新拍摄图像的单帧光源估计。
[0025]采用与步骤1相同的图像白平衡算法，获取新拍摄图像的单帧白平衡估计L
k,0
，此
时k为新拍摄图像的实际帧序数。
[0026]步骤4：通过特征点检测方法检测特征关键点，根据关键点匹配估计相邻帧间运动。
[0027]分别对新拍摄图像和其上一帧图像进行特征点检测，并对特征点进行匹配，得到从上一帧到当前帧图像间的运动本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于灰点漂移的视频白平衡方法，其特征在于，包括以下步骤：首先，对于视频中第一帧图像使用图像白平衡算法得到初始光源颜色估计；通过角度误差计算第一帧图像的灰色指数，得到初始光源颜色估计所对应的灰点；然后，计算灰点的平均值，得到第一帧图像的最终光源颜色估计，对于其后的每一帧新拍摄的图像，通过图像白平衡算法得到该图像的单帧光源颜色估计；之后，通过特征匹配方法获得该图像与上一帧图像之间的运动信息，通过运动信息计算出上一帧图像中的灰点在当前图像中的漂移位置，得到漂移灰点；当得到漂移灰点后，计算其平均值得到漂移光源颜色估计；根据当前图像中的单帧光源估计、漂移光源估计，以及其上一帧图像的单帧光源估计、最终光源估计，计算对应光源颜色间的角度误差进而得到融合权重；将当前图像的单帧光源估计与上一帧图像的最终光源估计按照该权重进行融合，得到参考光源；最后，计算相对于参考光源颜色的角度误差得到当前图像的灰色指数并选取灰点，将所选灰点的平均值作为当前图像的最终光源颜色估计；其中，视频中每一帧图像的白平衡结果由其最终光源颜色估计得出，每一帧图像的单帧光源估计、最终光源估计被应用于其下一帧图像的白平衡计算中，通过递推的方式逐一完成视频帧的白平衡。2.如权利要求1所述的一种基于灰点漂移的视频白平衡方法，其特征在于：步骤1：获取第一帧图像的单帧光源估计L
k,0
，其中,k为新拍摄图像的帧序数，此时k＝1；L为由R、G、B值所组成的行向量，表示光源颜色，下标“0”表示单帧估计；步骤2：获取第一帧图像的灰点位置集合P与最终光源估计L
k,f
；将步骤1的单帧光源估计L
k,0
作为参考光源L
k,ref
，根据角度误差计算第一帧图像中各像素的灰色指数，灰色指数GI由式1计算：GI＝arccos(L
k,ref
I)
ꢀꢀ
(1)其中，arccos()表示计算两向量间的夹角；I为新拍摄图像中像素的R、G、B值的行向量，下标“ref”表示参考估计；挑选出灰色指数值前0.1％小的像素，得到由灰点位置p构成的灰点位置集合P，其中，p＝(x,y,1)
′
，包含像素横纵坐标x、y以及常数1的列向量，上标
′
表示向量的转置；当灰点检测完毕后，计算所选灰点的平均值，得到第一帧图像的最终光源估计L
k,f
，其中下标“f”表示最终估计；步骤3：采用与步骤1相同的图像白平衡算法，获取新拍摄图像的单帧白平衡估计L
k,0
，此时k为新拍摄图像的实际帧序数；步骤4：分别对新拍摄图像和其上一帧图像进行特征点检测，并对特征点进行匹配，得到从上一帧到当前帧图像间的运动估计；步骤5：对于新拍摄图像的上一帧图像中的每个所检灰点p∈P，通过式2计算灰点在新拍摄图像中的漂移位置：p
s
＝T
k,k
‑1p
ꢀꢀ
(2)其中，p
s
为漂移灰点的位置向量；T
k
‑
1,k
表示从第k<...

【专利技术属性】
技术研发人员：张磊，孙心桐，黄华，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：