一种基于单应性矩阵的立体视频颜色校正算法制造技术

本发明专利技术涉及一种基于单应性矩阵的立体视频颜色校正算法，首先，检测目标视频所有视频帧中的Harris角点特征点，并利用Kanade‑Lucas‑Tomasi（KLT）算法对所有相邻视频帧之间的特征点进行匹配和跟踪；其次，根据相邻视频帧之间的匹配特征点，获得每个特征点的运动轨迹，再从中选取a个特征点；然后，使用随机抽样一致算法(RANSAC)通过选取的a个特征点计算相邻两帧之间的单应性矩阵；最后利用图像颜色校正算法对目标视频中的第一帧进行颜色校正；根据求解出的单应性矩阵对目标视频中第二帧以及第二帧之后的后续帧进行颜色校正。本发明专利技术对颜色失真的立体视频能起到很好的颜色校正结果，使得校正后的目标视频和参考视频保持时间和空间颜色一致性。

A Stereo Video Color Correction Algorithm Based on Homography Matrix

The present invention relates to a stereo video color correction algorithm based on homography matrix. Firstly, Harris corner feature points in all video frames of target video are detected, and Kanade Lucas Tomasi (KLT) algorithm is used to match and track all feature points between adjacent video frames. Secondly, according to the matching feature points between adjacent video frames, the operation of each feature point is obtained. Then, the homography matrix between two adjacent frames is calculated by Random Sampling Consistency (RANSAC) algorithm. Finally, the first frame in the target video is corrected by image color correction algorithm. The second frame in the target video and the subsequent frames after the second frame are processed according to the homography matrix. Color correction. The color distortion stereoscopic video can achieve good color correction results, so that the corrected target video and the reference video can maintain time and space color consistency.

【技术实现步骤摘要】
一种基于单应性矩阵的立体视频颜色校正算法
本专利技术涉及图像和视频处理以及计算机视觉领域，特别是一种基于单应性矩阵的立体视频颜色校正算法。
技术介绍
随着立体显示的发展，立体电影和视频也随着发展起来，越来越多人喜欢立体视频里的立体深度带来的真实感。但是颜色不一致的左右视图会降低视频的编码效率，并且很容易使合成的视频的深度信息不准确，从而使观看者产生视觉疲劳。因此，为了减少视频中视图颜色的不一致，提高视频编码的效率，学者们提出了很多颜色校正算法。基于颜色映射函数的数量，可以将颜色校正算法分类为全局颜色校正算法和局部颜色校正算法。但是全局颜色校正算法对图像中的局部颜色差异的校正效果较差，并且只利用了统计信息，例如均值和标准差，颜色校正的结果往往不自然。为了解决全局颜色校正算法的不足，许多局部颜色校正算法也被不断提出。而根据这些算法应用的类型，又可以分为图像颜色校正算法和视频颜色校正算法。迄今为止，所提出的视频颜色校正算法较少。Fecker等人所提出多视角视频颜色校正算法是基于所有参考和目标视频帧的累积直方图计算映射函数，并且对所有目标视频帧使用相同的颜色映射函数以提高时间颜色一致性。梯度保持颜色转移算法首先计算参考帧和目标帧之间的直方图匹配，然后使用直方图匹配和拉普拉斯金字塔来转移颜色，以获得结果图像。然后将图像颜色校正算法扩展到视频颜色校正，使用先前校正的目标帧和当前目标帧的块匹配来维持时间颜色一致性。针对多视点视频颜色校正，Lu等人提出了基于颜色和结构优化的多视角视频颜色校正算法。该算法使用稀疏SURF特征点匹配，以及参考帧和目标帧之间的直方图匹配来初始化颜色校正结果。由于SURF匹配点的稀疏性，因此利用直方图匹配来对大多数像素进行初始化。但是参考帧和目标帧之间的场景差异，所计算的直方图匹配仍然可能导致不一致的颜色。对于视频颜色校正，该算法仅使用一个前一帧来维持时间颜色一致性，前一帧中的颜色校正误差将误导后续所有帧的颜色校正。Ye等人提出的大基线多视点视频颜色校正算法在优化过程中利用流形结构保持约束提高了所提算法的结构一致性。Fezza等人提出了基于特征的颜色校正算法，用于多视点视频编码和渲染增强。该算法首先将参考和目标视频帧不重叠地分为多个组，每个组仅使用SIFT匹配得到的参考和目标帧之间的公共区域来计算直方图匹配，并将颜色映射函数应用于那个组里的目标视频帧。该算法的缺点是相邻组之间的时间颜色一致性无法维持。Zeng等人提出的基于SIFTflow的颜色校正算法，首先在多视点视频的所有视图中识别所有公共的对应SIFT点，并将这些点的平均颜色用作参考颜色。算法通过使每一帧中点的颜色相对于参考颜色的差异的能量最小化来计算每一帧的颜色校正矩阵。然后使用颜色校正矩阵来校正帧中的所有颜色。但是由于独立地逐帧校正颜色，因此无法保持时间颜色一致性。
技术实现思路
有鉴于此，本专利技术的目的是提出一种基于单应性矩阵的立体视频颜色校正算法，对颜色失真的立体视频能起到很好的颜色校正结果，使得校正后的目标视频和参考视频保持时间和空间颜色一致性。本专利技术采用以下方案实现：一种基于单应性矩阵的立体视频颜色校正算法，包括以下步骤：步骤S1：获取视频作为目标视频，检测所述目标视频所有视频帧中的Harris角点特征点，并利用Kanade-Lucas-Tomasi(KLT)算法对所有相邻两个视频帧之间的特征点进行匹配和跟踪；步骤S2：根据步骤S1中计算出的相邻两个视频帧之间的匹配特征点，获得每个特征点的运动轨迹，再从中选取a个特征点；步骤S3：采用随机抽样一致算法，通过步骤S2中选取的a个特征点计算相邻两个视频帧之间的单应性矩阵；步骤S4：利用图像颜色校正算法对所述目标视频中的第一帧进行颜色校正；步骤S5：根据步骤S3中求解出的单应性矩阵对所述目标视频中第二帧以及第二帧之后的后续帧进行颜色校正。进一步地，所述步骤S2具体为：令所述目标视频中待校正的目标视频帧为It，其中t表示第t个目标视频帧，根据计算出的相邻两个视频帧之间的匹配特征点，求解出目标视频帧It上的特征点在后续视频帧中的运动轨迹，并记录下轨迹长度L；即如果在下一个视频帧中有目标视频帧It的特征点的匹配点，则L值加1，L的初始值为0；所述目标视频帧It上预设有的特征点个数为Nt，第n个特征点在目标视频帧It中的位置为它的轨迹长度为Lt，该特征点在后续视频帧中所匹配到的特征点分别为根据如下公式计算所述目标视频帧It上第n个特征点的运动轨迹的平均变化幅度：变化的幅度越小，则该特征点越稳定；选择目标视频帧It中前b个值依次减小的特征点，再从b个特征点中选取前a个L值依次增大的特征点，利用a≤b个特征点来计算所述目标视频帧It和下一帧之间的单应性矩阵。进一步地，所述步骤S3具体为：采用选取的a个特征点组成集合P，集合中的所有点都能够通过随机抽样一致(RandomSampleConsensus,RANSAC)算法拟合出的模型来产生，且最少通过l个特征点拟合出模型的参数，则通过以下的多次随机抽样方式来拟合该参数；令随机抽样次数为q，在第i次随机抽样过程中从所述集合P中选取l个特征点拟合出一个单应性矩阵对所述集合P中剩余的特征点，根据单应性矩阵预设出每个特征点在下一帧的坐标，并计算下一帧的坐标与预设的坐标之间的距离，距离超过阈值dt的则为局外点，不超过阈值dt的则为局内点，并记录该单应性矩阵所对应的局内点个数mi；随机抽样q次后，选择局内点个数值最大的单应性矩阵作为拟合结果；令，单应性矩阵H的定义如下：目标视频帧It进行颜色校正后的得到结果视频帧，(x,y)在下一个视频帧中的像素坐标(x′,y′)的计算过程如下：解出中的8个参数，l＝4；在计算第t和t+1帧之间的单应性矩阵过程中，令在第i次随机抽样过程中，随机选择的4对匹配点记为和和和和和则计算过程如下：使用最小二乘方法求解上述公式，得到单应性矩阵如下：然后根据得到t帧中的第j个像素在t+1帧中的坐标如下所示:并计算出每个特征点在下一帧的坐标与根据得到的坐标之间的距离，过程如下：判断内点个数：式中，σ为判断函数，若则为局内点，函数值为1，否则，函数值为0；经过q次随机采样得到的和{m1,...mq}，选取其中mi值最大的单应性矩阵作为拟合结果，过程如下：b＝argmax{mi}式中，值最大的mi的下标记为b，则Ht是所求得的t和t+1帧之间的单应性矩阵。进一步地，所述步骤S4具体为：利用图像颜色校正算法对所述目标视频中的第一帧I1进行颜色校正,得到颜色校正后的结果视频帧If1；If1和I1的结构信息完全一致。进一步地，所述步骤S5具体为：将所述If1中的所有像素，通过所述目标视频中的第一帧I1和第二帧I2之间的单应性矩阵H1进行变换，重构出第二个初始结果视频帧I'f2；如果所述第二帧I2中部分像素不能通过单应性矩阵变换匹配到，则进行进一步处理。进一步地，所述第二帧I2中部分像素不能通过单应性矩阵变换匹配到，则进行进一步处理的具体过程为：令，像素j，其坐标位置为在所述第二帧I2中的颜色值为首先，通过计算得到像素j的距离不超过d个像素的邻域中与它颜色距离最小并且在I'f2中有颜色匹配的c个像素；然后，求出所述c个像素在所述第二帧I2和所述第二本文档来自技高网...

【技术保护点】
1.一种基于单应性矩阵的立体视频颜色校正算法，其特征在于：包括以下步骤：步骤S1：获取视频作为目标视频，检测所述目标视频所有视频帧中的Harris角点特征点，并利用KLT算法对所有相邻两个视频帧之间的特征点进行匹配和跟踪；步骤S2：根据步骤S1中计算出的相邻两个视频帧之间的匹配特征点，获得每个特征点的运动轨迹，再从中选取a个特征点；步骤S3：采用随机抽样一致算法，通过步骤S2中选取的a个特征点计算相邻两个视频帧之间的单应性矩阵；步骤S4：利用图像颜色校正算法对所述目标视频中的第一帧进行颜色校正；步骤S5：根据步骤S3中求解出的单应性矩阵对所述目标视频中第二帧以及第二帧之后的后续帧进行颜色校正。

【技术特征摘要】
1.一种基于单应性矩阵的立体视频颜色校正算法，其特征在于：包括以下步骤：步骤S1：获取视频作为目标视频，检测所述目标视频所有视频帧中的Harris角点特征点，并利用KLT算法对所有相邻两个视频帧之间的特征点进行匹配和跟踪；步骤S2：根据步骤S1中计算出的相邻两个视频帧之间的匹配特征点，获得每个特征点的运动轨迹，再从中选取a个特征点；步骤S3：采用随机抽样一致算法，通过步骤S2中选取的a个特征点计算相邻两个视频帧之间的单应性矩阵；步骤S4：利用图像颜色校正算法对所述目标视频中的第一帧进行颜色校正；步骤S5：根据步骤S3中求解出的单应性矩阵对所述目标视频中第二帧以及第二帧之后的后续帧进行颜色校正。2.根据权利要求1所述的一种基于单应性矩阵的立体视频颜色校正算法，其特征在于：所述步骤S2具体为：令所述目标视频中待校正的目标视频帧为It，其中t表示第t个目标视频帧，根据计算出的相邻两个视频帧之间的匹配特征点，求解出目标视频帧It上的特征点在后续视频帧中的运动轨迹，并记录下轨迹长度L；即如果在下一个视频帧中有目标视频帧It的特征点的匹配点，则L值加1，L的初始值为0；所述目标视频帧It上预设有的特征点个数为Nt，第n个特征点在目标视频帧It中的位置为它的轨迹长度为Lt，该特征点在后续视频帧中所匹配到的特征点分别为根据如下公式计算所述目标视频帧It上第n个特征点的运动轨迹的平均变化幅度：变化的幅度越小，则该特征点越稳定；选择目标视频帧It中前b个值依次减小的特征点，再从b个特征点中选取前a个L值依次增大的特征点，利用a≤b个特征点来计算所述目标视频帧It和下一帧之间的单应性矩阵。3.根据权利要求2所述的一种基于单应性矩阵的立体视频颜色校正算法，其特征在于：所述步骤S3具体为：采用选取的a个特征点组成集合P，集合中的所有点都能够通过随机抽样一致算法拟合出的模型来产生，且最少通过l个特征点拟合出模型的参数，则通过以下的多次随机抽样方式来拟合该参数；令随机抽样次数为q，在第i次随机抽样过程中从所述集合P中选取l个特征点拟合出一个单应性矩阵对所述集合P中剩余的特征点，根据单应性矩阵预设出每个特征点在下一帧的坐标，并计算下一帧的坐标与预设的坐标之间的距离，距离超过阈值dt的则为局外点，不超过阈值dt的则为局内点，并记录该单应性矩阵所对应的局内点个数mi；随机抽样q次后，选择局...

【专利技术属性】
技术研发人员：陈羽中，范媛媛，郑晓华，
申请(专利权)人：福州大学，
类型：发明
国别省市：福建,35