基于可见光和红外光图像融合的鸟情探测设备及识别方法技术

本发明专利技术公开了基于可见光和红外光图像融合的鸟情探测设备及识别方法，该设备包括包括可见光探鸟仪、红外探鸟仪、云台和信息融合处理机，信息融合处理机包括图像融合、目标特征提取、目标识别模块。该方法为设备自检成功后对配置参数进行人工设定或默认参数加载。启动云台按设定的速度和路径对周边空域进行巡航，并同时启动可见光和红外探鸟仪进行视频采集。对采集的两路视频进行图像融合。针对融合后的图像进行特征提取，提取的特征与特征数据库中的目标特征进行比对，输出目标分类识别结果。根据结果判定目标类型，若为鸟类目标，则驱赶，否则，返回继续重新探测，本发明专利技术全天候智能探取识别的鸟情，进行全自动无人值守鸟害防治。

Bird Detection Equipment and Recognition Method Based on Visible and Infrared Image Fusion

【技术实现步骤摘要】
基于可见光和红外光图像融合的鸟情探测设备及识别方法
本专利技术涉及一种基于可见光和红外光图像融合的鸟情探测设备及识别方法，属于智能探测

技术介绍
自2006年以来，机场鸟击事件每年保持增长100起左右的态势，2010年较2009年更是增长近250起，鸟击事件数量达到971起，鸟击已成为是第一大航空器事故征候类型。鸟击还给民航业带来了较大的经济损失，据不完全估计，1990－2010年中国民航因鸟击造成的直接经济损失约为8.5亿元。近年来机场通过环境治理减少吸引鸟类的因素，通过采用多种驱鸟手段驱赶鸟类，能一定程度上减少鸟撞，但多数情况下，驱鸟员无法及时发现危险鸟群，鸟撞飞机时有发生，尤其在鸟类迁徙季节，鸟撞问题最为突出，主要原因一是鸟情探测手段缺乏。目前主要是通过在机场设定固定哨和流动哨，人眼或配合望远镜来巡视鸟情，劳动强度大，观测范围小，且受天气、光线等因素影响较大。二是驱鸟工作比较被动，由于缺乏探测手段，目前机场驱鸟工作比较被动，不能做到及时发现，特别是夜间，给飞行安全带来严重威胁。
技术实现思路
为了解决上述存在的问题，针对机场鸟害防治缺乏有效探测手段的现状和难题，本专利技术公开了一种基于可见光和红外光图像融合的鸟情探测设备及识别方法，解决了机场的鸟情探测，特别是夜间的鸟情预警难题，可用于军民用机场、变电站等鸟害多发区域全自动无人值守鸟情智能探测，其具体技术方案如下：基于可见光和红外光图像融合的鸟情探测设备，包括鸟情探测装置和信息融合处理机，所述鸟情探测装置实现机场周边区域的鸟情的昼夜探测；所述信息融合处理机实现对目标的智能探测、信息处理、识别以及任务调度；所述探测装置包括可见光探鸟仪、红外探鸟仪和云台，所述可见光探鸟仪和红外探鸟仪均安装在云台上，可见光探鸟仪实现白天或高照度情况对机场周边区域的鸟情探测，红外探鸟仪实现夜晚或低照度情况对机场周边区域的鸟情探测，云台实现对可见光探鸟仪和红外探鸟仪的水平和俯仰旋转；所述信息融合处理机包括图像融合、目标特征提取、目标识别模块。基于可见光和红外双光图像融合的鸟情探测识别方法，包括以下步骤：步骤1：开机自检，对电路、云台等各个模块进行自检；步骤2：对配置参数进行人工设定或默认参数加载；步骤3：启动云台按一定速度和路径进行巡航；步骤4：启动可见光和红外探鸟仪进行视频采集；步骤5：对采集的两路视频进行图像融合；步骤6：针对融合后的图像进行特征提取；步骤7：提取的特征与特征数据库中的目标特征进行比对，输出目标分类识别结果；步骤8：根据结果判定目标类型，若为鸟类目标，进行步骤8，若为非鸟类目标，进行步骤4；步骤9：将上述判定结果上报信息处理机决策系统；步骤10：根据当前目标所处场景和步骤8的上报结果，进行联动驱鸟；步骤11：驱赶不成功，返回步骤10；否则，返回步骤3。进一步的，所述图像融合包括三个步骤：图像预处理、图像配准和图像融合，图像预处理包括图像去噪和图像增强，具体为：(1)图像去噪：图像去噪采用空域滤波方法和频率滤波方法，红外图像去噪采用空域滤波方法中的α均值滤波方法，可见光图像去噪采用非线性滤波空域滤波方法；(2)图像增强：图像增强的主要目的是消除图像噪声，改变图像灰度等级，改善图像的视觉效果，提高图像对比度和清晰度；通过图像锐化，突出图像边缘细节信息，以便使图像特征更利于提取，对于红外图像，采用图像直方图均衡化方法，可见光图像的增强处理采用LOG滤波器空域滤波增强方法。进一步的，所述图像配准采用基于特征的配准方法，具体包括三部分：(1)在基准图像和待配准图像间，寻找共性特征；(2)根据基准图像和待配准图像，确定图像间的几何变换方法；(3)对待配准图像进行几何校正；以上三部分由信息处理机根据机场周边环境特征，人为选定场景具有明细特征的目标图像作为图像配准的基准图像，用于做图像配准，图像配准过程为：采用图像插值与重采样方法，图像插值与重采样目的是为了补全被插值位置的像素值，使整个图像平滑，利于进一步的处理；所述图像插值采用双线性插值法，双线性插值法的具体方法如下：双线性插值法是一阶插值方法，采样点像素值取它周围四邻域像元的加权值得到，四邻域像素的权值是用一个分段线性函数表示的，该分段函数表示为：设内插点为f(x,y)，该点周围4个最近邻像素点像素之间的间隔为1，记f(x,y)到第一个像素点x、y方向的投影分别为Δx,Δy，先在Y方向(或X方向)内插一次，再在X方向(Y方向)内插一次，最后得到内插点f(x,y)的像素值；对内插点f(x,y)进一步图像双线性内插方法处理，具体过程如下：上式中，w11，w12，w21，w21分别为内插点f(x,y)周围像素I11，I12，I21，I21对应的权值，双线性插值效果优于最近邻插值效果，避免了插值后图像像素值不连续现象，双线性插值具有低通滤波器的性质，对图像高频分量有削弱作用，具有平滑滤波效果，使图像边缘模糊，双线性方法虽然破坏了原图像像素值，但内插精度和运算量适中，适合信息处理机嵌入式程序执行。进一步的，所述步骤5中图像融合采用基于小波变换的双树复小波变换法(DTCWT)，双树复小波变换具有多方向选择性，近似平移不变性，冗余数据有限的优点，运算效率高，对图像的重构效果好，变换的多分辨率分解过程是通过两组Q-shift滤波器来实现，因此会得到两个平行的分解树TreeA和TreeB,分别表示小波的实部和虚部，变换函数定义为：ψ(x)＝ψh(x)+jψg(x)其中ψh(χ)和ψg(χ)均为实数小波，二维变换是通过一维变换拓展得来的，经过二维变换后，图像的每一次分解可以得到两个低频系数L(j+1，1)，L(j+1，2)和6个方向的高频系数H(j+1，m),m＝1,6，相对于离散小波3个方向的高频系数，DTCWT变换具有更好的方向选择性，从而能够更完整的保留源图像的细节，DTCWT变换在分解过程中采用的Q-shift滤波器是两组正交滤波器，且存在不同的延时，这样的设计能够消除平移带来的混叠现象，保证了图像在变换过程中的近似平移不变性，高运算效率；选用DTCWT对红外与可见光图像进行多分辨率分解，分解层数为四层，得到相应的低频系数及高频系数，然后结合区域图像分割结果对于低频系数和高频系数分别采用不同的融合规则进行处理；经过多分辨率分解后，图像的低频部分表示图像的基本信息，高频部分表示图像的细节信息，根据红外与可见光图像低频部分融合所要达到的目的，在疑似目标区域尽可能多的保留红外图像中的热目标信息的亮度；在背景区域则更多的保留可见光图像的细节及场景信息，因此，在疑似目标区域，低频融合采用为“模值取大法”，公式为：其中，为融合图像的低频系数，i＝1,2，为第l层的红外图像低频系数，为第l层的可见光图像的低频系数，图像经过多分辨率分解后，高频分量表示图像中的边缘、轮廓细节信息，为了在融合图像中尽可能保留源图像的细节、纹理信息，进一步采用基于区域加权的高频融合方法处理，通过所述的基于疑似目标区域的图像分割方法将红外与可见光图像分割为n个区域，用R＝{r1,r2…rn}来表示，定义一个区域权值Q，表示为：区域权值Q与图像中的每个小区域ri相对应(i＝1,2…n)，为了保证融合图像中每个小区域内的纹理细节信息更丰富，融合规则f规定选本文档来自技高网...

【技术保护点】
1.基于可见光和红外光图像融合的鸟情探测设备，其特征在于包括鸟情探测装置和信息融合处理机，所述鸟情探测装置实现机场周边区域的鸟情的昼夜探测；所述信息融合处理机实现对目标的智能探测、信息处理、识别以及任务调度；所述探测装置包括可见光探鸟仪、红外探鸟仪和云台，所述可见光探鸟仪和红外探鸟仪均安装在云台上，可见光探鸟仪实现白天或高照度情况对机场周边区域的鸟情探测，红外探鸟仪实现夜晚或低照度情况对机场周边区域的鸟情探测，云台实现对可见光探鸟仪和红外探鸟仪的水平和俯仰旋转；所述信息融合处理机包括图像融合、目标特征提取、目标识别模块。

【技术特征摘要】
1.基于可见光和红外光图像融合的鸟情探测设备，其特征在于包括鸟情探测装置和信息融合处理机，所述鸟情探测装置实现机场周边区域的鸟情的昼夜探测；所述信息融合处理机实现对目标的智能探测、信息处理、识别以及任务调度；所述探测装置包括可见光探鸟仪、红外探鸟仪和云台，所述可见光探鸟仪和红外探鸟仪均安装在云台上，可见光探鸟仪实现白天或高照度情况对机场周边区域的鸟情探测，红外探鸟仪实现夜晚或低照度情况对机场周边区域的鸟情探测，云台实现对可见光探鸟仪和红外探鸟仪的水平和俯仰旋转；所述信息融合处理机包括图像融合、目标特征提取、目标识别模块。2.基于可见光和红外光图像融合的鸟情探测识别方法，其特征在于包括以下步骤：步骤1：开机自检，对电路、云台等各个模块进行自检；步骤2：对配置参数进行人工设定或默认参数加载；步骤3：启动云台按一定速度和路径进行巡航；步骤4：启动可见光和红外探鸟仪进行视频采集；步骤5：对采集的两路视频进行图像融合；步骤6：针对融合后的图像进行特征提取；步骤7：提取的特征与特征数据库中的目标特征进行比对，输出目标分类识别结果；步骤8：根据结果判定目标类型，若为鸟类目标，进行步骤8，若为非鸟类目标，进行步骤4；步骤9：将上述判定结果上报信息处理机决策系统；步骤10：根据当前目标所处场景和步骤8的上报结果，进行联动驱鸟；步骤11：驱赶不成功，返回步骤10；否则，返回步骤3。3.根据权利要求2所述的基于可见光和红外光图像融合的鸟情探测识别方法，其特征在于所述图像融合包括三个步骤：图像预处理、图像配准和图像融合，图像预处理包括图像去噪和图像增强，具体为：(1)图像去噪：图像去噪采用空域滤波方法和频率滤波方法，红外图像去噪采用空域滤波方法中的α均值滤波方法，可见光图像去噪采用非线性滤波空域滤波方法；(2)图像增强：图像增强的主要目的是消除图像噪声，改变图像灰度等级，改善图像的视觉效果，提高图像对比度和清晰度；通过图像锐化，突出图像边缘细节信息，以便使图像特征更利于提取，对于红外图像，采用图像直方图均衡化方法，可见光图像的增强处理采用LOG滤波器空域滤波增强方法。4.根据权利要求3所述的基于可见光和红外光图像融合的鸟情探测识别方法，其特征在于所述图像配准采用基于特征的配准方法，具体包括三部分：(1)在基准图像和待配准图像间，寻找共性特征；(2)根据基准图像和待配准图像，确定图像间的几何变换方法；(3)对待配准图像进行几何校正；以上三部分由信息处理机根据机场周边环境特征，人为选定场景具有明细特征的目标图像作为图像配准的基准图像，用于做图像配准，图像配准过程为：采用图像插值与重采样方法，图像插值与重采样目的是为了补全被插值位置的像素值，使整个图像平滑，利于进一步的处理；所述图像插值采用双线性插值法，双线性插值法的具体方法如下：双线性插值法是一阶插值方法，采样点像素值取它周围四邻域像元的加权值得到，四邻域像素的权值是用一个分段线性函数表示的，该分段函数表示为：设内插点为f(x,y)，该点周围4个最近邻像素点像素之间的间隔为1，记f(x,y)到第一个像素点x、y方向的投影分别为Δx,Δy，先在Y方向(或X方向)内插一次，再在X方向(Y方向)内插一次，最后得到内插点f(x,y)的像素值；对内插点f(x,y)进一步图像双线性内插方法处理，具体过程如下：上式中，w11，w12，w21，w21分别为内插点f(x,y)周围像素I11，I12，I21，I21对应的权值，双线性插值效果优于最近邻插值效果，避免了插值后图像像素值不连续现象，双线性插值具有低通滤波器的性质，对图像高频分量有削弱作用，具有平滑滤波效果，使图像边缘模糊，双线性方法虽然破坏了原图像像素值，但内插精度和运算量适中，适合信息处理机嵌入式程序执行。5.根据权利要求4所述的基于可见光和红外光图像融合的鸟情探测识别方法，其特征在于所述步骤5中图像融合采用基于小波变换的双树复小波变换法(DTCWT)，双树复小波变换具有多方向选择性，近似平移不变性，冗余数据有限的优点，运算效率高，...

【专利技术属性】
技术研发人员：刘建平，
申请(专利权)人：南京华格信息技术有限公司，
类型：发明
国别省市：江苏,32