基于轮廓跟踪的车载红外视频彩色化方法技术

本发明专利技术提出一种车载红外视频快速彩色化的方法，利用轮廓特征点跟踪来获取每帧物体类别的轮廓区域，采用类别特征色彩对各区域传递色彩。首先构建各景物样本特征色彩集，以各类景物在自然彩色图像中表现出来的特征色彩；接着利用改进的高效K-Means方法对红外关键帧进行聚类，得到分割区域，提取轮廓特征点；然后通过KLT算法跟踪特征点，得到其在下一帧中的位置并同时修正，采用B样条插值进行轮廓复原，得到该帧的各类别轮廓区域；最后对每帧区分好的类别区域，将特征色彩按类别赋予该区域，从而给物体着上合适的颜色，实现红外视频序列的快速彩色化。实验结果表明，该方法提高了处理的速度，能够得到较理想的效果。

【技术实现步骤摘要】

本专利技术涉及一种快速的车载红外视频彩色化方法，通过本方法可赋予车载红外图像较自然感的彩色，同时提高处理速度，实现车载红外视频的快速彩色化。
技术介绍
车载夜视系统可以在夜晚辅助驾驶，提高行车安全。在驾驶室中的夜视系统屏幕上，可以显示仅凭人眼或普通可见 光摄像设备无法获取的路况及路旁的树木建筑等的夜视图像。但是，由于夜间获得的夜视图像较模糊，再加上夜视仪所监视或探测的目标距离较远，因此对夜视图像中的内容理解往往难以如白天的自然光图像那样作出快速准确的判断。由于人眼能分辨的颜色等级是灰度等级的几百倍，若将夜视图像彩色化，将大大提高夜视图像的视觉理解效果，帮助驾驶员对夜视图像内容迅速作出正确的理解和判断，从而大大地提高夜间行驶安全。目前彩色夜视领域主要研究对静态夜视图像的彩色化，为达到较好的彩色图像效果，往往设计的算法时间复杂度很高，该类算法无法实时地对动态夜视图像实现彩色化。而针对动态夜视彩色化的实时算法相对较少，相关文献直接采用从视频编码中提取运动矢量的方法用于彩色化，由于运动矢量主要用于视频压缩，并不能反映真实的运动场，往往存在误差，进行多次色彩传递之后，这种误差会逐渐扩大，从而得到失败的彩色化图像效果。代中华等提出采用关键帧分割，以所得固定阈值进行后续帧的分割，并采用先验知识上色的方法，速度有所提高，但后续帧采用固定阈值很难获得理想的分割效果，易导致后续帧的上色处理出现错误。
技术实现思路
本专利技术的目的是提供一种快速对动态夜视图像进行彩色化的方法，通过该方法可较为准确地赋予车载红外视频较自然感的彩色。为了达到上述目的，本专利技术的技术方案是提供了一种，其特征在于步骤为步骤I、获取具有不同景物类别的多个自然彩色图像块，每个自然彩色图像块仅具有一个景物类别，将每个自然彩色图像块转至YCbCr空间，计算其Cb通道及Cr通道的均值d及&作为各景物类别的特征色彩；步骤2、在获得的车载红外视频中选取一帧图像作为关键帧，采用K-均值聚类算法对关键帧的灰度进行聚类，得到分割图像，分割图像中每个类别区域对应一个景物类别，将关键帧转为YCbCr空间，根据得到的分割图像，将转换后关键帧的所有像素按位置分别划分到相应的类别区域中，为每个类别区域赋予与其相对应的景物类别的特征色彩，得到关键帧彩色图像；步骤3、从车载红外视频中与关键帧相邻的下一帧图像开始为每一帧图像赋予色彩，从而将车载红外视频彩色化，对于第i帧图像而言，其彩色化步骤为步骤3. I、利用KLT特征跟踪算法得到与第i帧图像相邻的第i_l帧图像的特征点，并得到这些特征点在第i帧图像中的位置；步骤3. 2、利用Canny边缘检测算法得到第i帧图像的物体边缘点，搜索与每个特征点最近邻的物体边缘点作为修正后的特征点，修正后的特征点分布在第i帧图像各类别区域的边缘上；步骤3. 3、采用轮廓复原的方法把修正后的特征点用光滑曲线按类别区域顺序连接起来，从而生成各类别区域的闭合区域轮廓曲线，为每个类别区域赋予与其相对应的景、物类别的特征色彩，得到第i帧彩色图像。优选地，步骤2中所述K-均值聚类算法为改进的K-均值聚类算法，其步骤为步骤2. I、K值为景物类别的总个数；步骤2. 2、统计记录不同灰度值A及其灰度点个数Ni, i = 1,2, . . . , n,且= 其中，n为出现灰度级的总个数，N为图像中所有像素点总个数，L为 1=1关键帧的宽度，H为关键帧的高度；步骤2. 3、对不同灰度值&从小到大进行排序；步骤2. 4、依次取初始聚类中心为 Zj (I) = Zc^fjxintfe7K),其中，j = 1，2，...，K，int表示取整运算，Z0 G ，f/ !为最小的灰度值，f' int(n/K)为排序后的第n/K个灰度值；步骤2. 5、计算每个灰度值&与聚类中心Zj (I)的距离D(LZjd))，i = 1,2,..., Dif^Zk(I))= min {D(X,Z7(/)),/= 1,2,.n，j = 1，2，…，K，右.>i2, . K则 fi G wk, wk 为兎 k簇集合；步骤2.6、重新调整聚类中心2/(/ + 1) = 1&//))，j = 1,2, ...，K，其中Hij为第mj A=Ij簇的灰度元素总个数，为属于第j簇的第k个灰度值；步骤2. 7、若 Zj (1+1)幸 Zj(I), j = 1，2， ，K，则 I = 1+1，返回步骤 2. 5，否则，算法结束。优选地，在所述步骤3. I之前还包括利用Canny边缘检测算法得到第i_l帧图像的物体边缘点，将这些物体边缘点作为步骤3. I所述KLT特征跟踪算法的候选特征点集合。优选地，步骤3. 3所述轮廓复原的方法为采用三次B样条插值以及平滑调整进行轮廓复原。本专利技术提出了一种。通过构建景物类别色彩数据集，作为彩色化的色彩信息；将全局分割引入帧间颜色传递，使颜色传递的单位从像素变为区域；采用改进的KLT运动估计方法提取和跟踪特征点，获得跟踪点在处理帧的位置；提取物体在处理帧中的轮廓，最后将跟踪结束的处理帧作为参考帧，后续一帧作为处理帧连续跟踪物体轮廓，从而提高了物体轮廓跟踪的效率，同时按类别区域分别上色，增强了红外视频彩色化的实时性。本专利技术通过构建景物类别色彩数据集，提供彩色化中颜色信息的来源。将全局分割引入帧间颜色传递，使颜色传递的单位从像素变为区域以及采用改进的KLT运动估计方法提取和跟踪特征点，提高了处理速度。提取物体在处理帧中的轮廓，最后将跟踪结束的处理帧作为参考帧，后续一帧作为处理帧连续跟踪物体轮廓，从而提高了物体轮廓跟踪的效率，同时按类别区域分别上色，增强了红外视频彩色化的实时性，可为驾驶员提供较好视觉效果的彩色化红外视频。附图说明图I是本专利技术的算法流程图。具体实施例方式为使本专利技术更明显易懂，兹以一优选实施例，并配合附图作详细说明如下。 如图I所示，本专利技术提供了一种，其步骤为步骤I、构建景物类别特征色彩数据集可预先选取具有天空、树木、草地、道路等景物类别的自然彩色图像块。每个自然彩色图像块仅具有一种景物类别。将各类景物做标记，在本实施例中，将天空标记为I，将树木标记为2，将道路标记为3，将草地标记为4。设每个自然彩色图像块的规格为MXN，其中M为宽度，N为高度，将该自然彩色图像块由RGB空间转为YCbCr空间，计算图像的两个色差通道的均值刚⑴ rr=j) ⑵其中Cb(i，j)、Cr(i，j)分别为自然彩色图像块中的第i行第j列像素点的Cb值、Cr值，得到各种景物类别Cb通道及Cr通道的均值(巧，作为各种景物类别的特征色彩。在本实施例中，四种景物类别的特征色彩的具体数值如下表所示 息 — 二景Cb__Cr_______天空113.259145.503--------___116.039105.365 草地129.29463.458道路. 135.431__123.976步骤2、在获得的车载红外视频中选取一帧图像作为关键帧，在本实施例中，将车载红外视频中的第一帧作为关键帧，对关键帧采用如下步骤进行处理步骤2. I、关键帧的分割本专利技术采用改进的K-均值聚类算法实现对关键帧快速准确的全局分割，得到准确的分割效果，为后续实现视频序列的较好彩色化效果提供支持本文档来自技高网...

【技术保护点】

【技术特征摘要】

【专利技术属性】
技术研发人员：孙韶媛，谯帅，
申请(专利权)人：东华大学，
类型：发明
国别省市：