基于红外和可见光图像数据融合的机场道面裂缝检测方法技术

一种基于红外和可见光图像数据融合的机场道面裂缝检测方法。其包括将红外图像和可见光图像进行配准；计算配准后的红外图像和可见光图像的对比度，获得各自的初始裂缝像素点；建立基于局部灰度和温度概率分布的融合决策模型，并利用该模型对由相互邻接的初始裂缝像素点构成的初始裂缝连通区域进行验证，获得侯选裂缝区域；融合可见光图像和红外图像中的候选裂缝区域，生成融合候选裂缝区域；对融合候选裂缝区域进行筛选，获得最终真实裂缝区域检测结果等步骤。本发明专利技术优点：较好利用红外和可见光传感器检测技术互补性，解决依靠单一传感器进行裂缝检测局限性，降低了裂缝检测过程中对光照的敏感度，增强了对环境噪声的鲁棒性，提高了检测的准确度。

Airport pavement crack detection method based on infrared and visible image data fusion

【技术实现步骤摘要】
基于红外和可见光图像数据融合的机场道面裂缝检测方法
本专利技术属于无损检测
，尤其是涉及一种基于红外和可见光图像数据融合的机场道面裂缝检测方法。
技术介绍
机场跑道的养护工作对于飞机的飞行安全至关重要，由于航班频次的增加和自然环境的破坏，许多机场跑道道面出现了不同程度的破损现象，从而造成重大安全隐患，而裂缝是机场跑道道面的主要缺陷。因此，机场跑道道面的裂缝检测技术日益受到重视。目前，随着视觉传感器技术和模式识别等相关技术的迅速发展，一些学者开始关注基于计算机视觉的裂缝检测技术。然而已有的绝大多数研究均是针对公路或桥梁开展的，且其相关研究大多是基于可见光传感器的，虽然已经取得了一些成果，但是此类研究对光照条件依赖度较高，且无法彻底解决复杂环境中的鲁棒性问题。此外，由于飞机频繁起降等原因在机场跑道道面上产生了明显的油污、橡胶残留痕迹等，且因机场跑道道面材质原因致使裂缝与背景间对比度很低，加之只能在夜间停航期间在人造光源条件下进行数据采集所带来的光照条件差、图像对比度低等诸多问题，以上原因均使得仅基于可见光传感器的道面裂缝检测算法的实际机场跑道道面裂缝检测结果的精确度较低。近年来，开始有学者使用红外传感器进行缺陷检测，但此类研究主要针对材料表面的缺陷检测应用中，如钢轨缺陷检测、金属物体表面的裂缝检测、管道裂缝检测等，而针对道路、机场跑道道面此类热成像信号信噪比低的复杂场景中的应用较少。而目前基于红外和可见光数据融合的研究虽然也较多，但大多都主要应用于公共安全检查、军事领域、导航辅助设备、监控或搜救等方面，但并没有涉及到基于红外和可见光数据融合的机场跑道道面裂缝检测。因此，根据不同传感器的特点和融合的应用，研究针对机场跑道道面裂缝检测的融合算法，从而及早发现裂缝并进行维护，可及时避免机场跑道道面裂缝的进一步发展。但目前尚缺少有效的方法。
技术实现思路
为了解决上述问题，本专利技术的目的在于提供一种基于红外和可见光图像数据融合的机场道面裂缝检测方法。为了达到上述目的，本专利技术提供的基于红外和可见光图像数据融合的机场道面裂缝检测方法包括按顺序进行的下列步骤：1)将分别利用红外热成像仪和可见光相机采集的机场跑道道面的红外图像和可见光图像进行配准；2)分别计算配准后的红外图像和可见光图像的对比度，并获得各自的初始裂缝像素点；3)建立基于局部灰度和温度概率分布的融合决策模型，并利用该模型对由相互邻接的初始裂缝像素点构成的初始裂缝连通区域进行验证，获得侯选裂缝区域；4)融合可见光图像和红外图像中的候选裂缝区域，生成融合候选裂缝区域；5)对融合候选裂缝区域进行筛选，获得最终的真实裂缝区域检测结果。在步骤1)中，所述的将分别利用红外热像仪和可见光相机采集的机场跑道道面的红外图像和可见光图像进行配准的方法是：首先通过传感器标定方法获得红外热像仪和可见光相机间的外参数矩阵，进而完成红外图像与可见光图像之间的粗配准；然后利用如下方法对两张图像进行精确配准：首先将两张图像的像素值均归一化至0-255；然后计算可见光图像A和红外图像B的互信息MI(A，B)；最后基于互信息MI(A，B)计算配准参数T0，并基于单纯形直接搜索算法对配准参数T0进行迭代修正，从而获得最优的配准参数；完成配准后，即获得了红外图像中任一像素点与可见光图像中像素点的对应关系。在步骤2)中，所述的分别计算配准后的红外图像和可见光图像的对比度，并获得各自的初始裂缝像素点；对于可见光图像，首先对该图像进行光照校正及高斯滤波处理；然后计算像素点(x，y)的灰度值Cij，并计算以该像素点为中心其周围k*k个像素点的灰度中值k的取值根据实验数据和经验确定；若像素点(x，y)的灰度值Cij小于灰度中值则该像素点的对比度为否则对比度为0，即：从而生成可见光局部对比度图像；对于红外图像，首先对该图像进行双边滤波处理；然后获取像素点(x，y)的温度值Rij，并计算以该像素点为中心其周围k*k个像素点的温度中值若像素点(x，y)的温度值Rij大于温度中值则该像素点的对比度为否则对比度为0，即：从而生成红外局部对比度图像；最后采用最大类间方差法分别对获得的可见光和红外局部对比度图像进行分割，得到可见光图像和红外图像的初始裂缝像素图像，在该图像中，像素值为1的像素点是初始裂缝像素点，像素值为0的像素点是非初始裂缝像素点。在步骤3)中，所述的建立基于局部灰度和温度概率分布的融合决策模型，并利用该模型对由相互邻接的初始裂缝像素点构成的初始裂缝连通区域进行验证，获得侯选裂缝区域的方法是：首先根据初始裂缝像素点提取可见光图像中初始裂缝连通区域，记为并提取红外图像中初始裂缝连通区域，记为定义初始裂缝连通区域集合为包含上述所有初始裂缝连通区域的集合；沿初始裂缝连通区域集合G中每个初始裂缝连通区域边缘法线方向以d个像素点大小的距离向四周均匀扩充，将初始裂缝连通扩充区域集合记为G'；对于初始裂缝连通扩充区域集合G'中的任一初始裂缝连通扩充区域C'，首先计算可见光图像中初始裂缝连通扩充区域C'对应区域内像素点的灰度均值μc及标准差σc，此时可认为可见光图像中该区域内全部像素点的灰度值符合正态分布然后计算红外图像中初始裂缝连通扩充区域C'对应区域内像素点的温度均值μr及标准差σr，此时可认为红外图像中该区域内全部像素点的温度值符合正态分布在此基础上，建立基于局部灰度和温度概率分布的融合决策模型，利用该模型对初始裂缝连通扩充区域C'扩充前的初始裂缝连通区域C进行融合决策判断，从而生成候选裂缝区域；基于候选裂缝区域的来源，获得可见光图像中的候选裂缝区域和红外图像中的候选裂缝区域。在步骤4)中，所述的融合可见光图像和红外图像中的候选裂缝区域，生成融合候选裂缝区域的方法是：提取出步骤3)中获得的可见光图像中的候选裂缝区域和红外图像中的候选裂缝区域，选择两者区域的并集作为融合后图像的融合候选裂缝区域。在步骤5)中，所述的对融合候选裂缝区域进行筛选，获得最终的真实裂缝区域检测结果的方法是：首先提取每个融合候选裂缝区域的骨架，将骨架像素点的个数定义为该区域的长度，记为l；将骨架均匀分成10段，计算分段端点处像素点沿其法线方向到所在区域边缘的距离，将上述所有距离的平均值作为该区域的宽度，记为w；将融合候选裂缝区域的像素点个数记为z，如果满足以下两个条件之一：1)2)且z＞Tm，则标记该区域为真实裂缝区域，否则标记该区域为非裂缝区域并删除，其中Tm和Tr为设定阈值，均为经验值。本专利技术提供的基于红外和可见光图像数据融合的机场道面裂缝检测方法与现有技术相比，具有以下优点：本专利技术针对机场跑道道面噪声干扰强、只能在夜间人造光源条件下采集数据所带来的光照条件差、图像对比度低等特殊情况，较好地利用了红外和可见光传感器检测技术的互补性，从而解决了依靠单一传感器进行裂缝检测的局限性，降低了裂缝检测过程中对光照的敏感度，增强了对环境噪声的鲁棒性，提高了检测的准确度，为机场跑道道面裂缝检测提供了技术基础。附图说明图1是本专利技术提供的基于红外和可见光图像数据融合的机场道面裂缝检测方法流程图；图2是初始裂缝连通区域扩充过程示意图；图3(a)和图(b)分别是初始裂缝连通扩充区域内像素灰度与温度正态分布曲线图；图4是本专利技术方法各步骤生成结果示意图；本文档来自技高网...

【技术保护点】
1.一种基于红外和可见光图像数据融合的机场道面裂缝检测方法，其特征在于：所述的基于红外和可见光图像数据融合的机场道面裂缝检测方法包括按顺序进行的下列步骤：1)将分别利用红外热成像仪和可见光相机采集的机场跑道道面的红外图像和可见光图像进行配准；2)分别计算配准后的红外图像和可见光图像的对比度，并获得各自的初始裂缝像素点；3)建立基于局部灰度和温度概率分布的融合决策模型，并利用该模型对由相互邻接的初始裂缝像素点构成的初始裂缝连通区域进行验证，获得侯选裂缝区域；4)融合可见光图像和红外图像中的候选裂缝区域，生成融合候选裂缝区域；5)对融合候选裂缝区域进行筛选，获得最终的真实裂缝区域检测结果。

【技术特征摘要】
1.一种基于红外和可见光图像数据融合的机场道面裂缝检测方法，其特征在于：所述的基于红外和可见光图像数据融合的机场道面裂缝检测方法包括按顺序进行的下列步骤：1)将分别利用红外热成像仪和可见光相机采集的机场跑道道面的红外图像和可见光图像进行配准；2)分别计算配准后的红外图像和可见光图像的对比度，并获得各自的初始裂缝像素点；3)建立基于局部灰度和温度概率分布的融合决策模型，并利用该模型对由相互邻接的初始裂缝像素点构成的初始裂缝连通区域进行验证，获得侯选裂缝区域；4)融合可见光图像和红外图像中的候选裂缝区域，生成融合候选裂缝区域；5)对融合候选裂缝区域进行筛选，获得最终的真实裂缝区域检测结果。2.根据权利要求1所述的基于红外和可见光图像数据融合的机场道面裂缝检测方法，其特征在于：在步骤1)中，所述的将分别利用红外热像仪和可见光相机采集的机场跑道道面的红外图像和可见光图像进行配准的方法是：首先通过传感器标定方法获得红外热像仪和可见光相机间的外参数矩阵，进而完成红外图像与可见光图像之间的粗配准；然后利用如下方法对两张图像进行精确配准：首先将两张图像的像素值均归一化至0-255；然后计算可见光图像A和红外图像B的互信息MI(A，B)；最后基于互信息MI(A，B)计算配准参数T0，并基于单纯形直接搜索算法对配准参数T0进行迭代修正，从而获得最优的配准参数；完成配准后，即获得了红外图像中任一像素点与可见光图像中像素点的对应关系。3.根据权利要求1所述的基于红外和可见光图像数据融合的机场道面裂缝检测方法，其特征在于：在步骤2)中，所述的分别计算配准后的红外图像和可见光图像的对比度，并获得各自的初始裂缝像素点；对于可见光图像，首先对该图像进行光照校正及高斯滤波处理；然后计算像素点(x，y)的灰度值Cij，并计算以该像素点为中心其周围k*k个像素点的灰度中值k的取值根据实验数据和经验确定；若像素点(x，y)的灰度值Cij小于灰度中值则该像素点的对比度为否则对比度为0，即：从而生成可见光局部对比度图像；对于红外图像，首先对该图像进行双边滤波处理；然后获取像素点(x，y)的温度值Rij，并计算以该像素点为中心其周围k*k个像素点的温度中值若像素点(x，y)的温度值Rij大于温度中值则该像素点的对比度为否则对比度为0，即：从而生成红外局部对比度图像；最后采用最大类间方差法分别对获得的可见光和红外局部对比度图像进行分割，得到可见光图像和红外图像的初始裂缝像素图像，在该图像中，像素...

【专利技术属性】
技术研发人员：李海丰，聂晶晶，吴治龙，范龙飞，
申请(专利权)人：中国民航大学，
类型：发明
国别省市：天津,12