一种多时相无人机视频图像变化区域检测及分类方法技术

本发明专利技术涉及一种多时相无人机视频图像变化区域检测及分类方法，属于图像处理计算机视觉领域。该方法具体包括以下步骤：同源图像的变化区域检测；多源图像配准和融合；变化区域分类。本发明专利技术基于无人机视频图像特点和国内现有技术在无人机视频图像变化区域检测与分类方面的缺陷，统筹算法性能和适应性，提出一种多时相无人机视频图像变化区域检测及分类方法，解决了无人机视频处理系统变侦察某目标区域地物状态变化方面的诸多问题。

A detection and classification method of video image changing area for multi temporal UAV

【技术实现步骤摘要】
一种多时相无人机视频图像变化区域检测及分类方法
本专利技术属于图像处理、计算机视觉领域，具体涉及一种多时相无人机视频图像变化区域检测及分类方法。
技术介绍
场景中目标出现和消失，或目标区域状态的改变，均会引起不同时间成像的场景图像中产生差异，而变化检测的目的即是对这些差异进行定量分析，判断发生变化的区域，同时对变化情况进行评估。变化检测在许多领域具有重要的应用需求，比如民用领域可用于农业、国土资源监测和灾情评估等；在军事上,可用于执行毁伤效果评估、战场信息动态感知、军事目标监测等任务。无人机具有高机动性、高分辨率、隐蔽性好、操作灵活等优势，在昼夜空中侦察和战场监视领域具有广泛的应用。利用无人机搭载的视频传感器获取航拍侦察过程中的多时相视频图像，并对视频图像的地物状态变化进行检测与分析，既降低了获取视频数据的成本，又降低了人工判读变化区域的主观性和盲目性，提高了变化检测过程的时效性，具有重要的理论价值和广泛的应用前景。多时相无人机视频图像变化区域检测及分类是指利用多个时期的覆盖同一地区的无人机视频场景图像来确定地物状态变化的技术过程，研究对象涉及变化的类型、分布状况及变化信息的描述，即确定变化前后的地物类型、界限并分析变化的属性。其中，多时相视频图像一方面为无人机执行同一次航拍侦察任务时前后某两个时刻的视频图像，另一方面也为无人机执行不同次航拍侦察任务时某两次航拍侦察的视频图像。无人机在执行某区域的侦察任务中，视频图像中的地面背景往往比较复杂，目标区域的外观在不同的时间可能存在各种差异，在图像中也大多呈不规则分布状态，给变化区域的检测带来较大困难。其次，由于无人机拍摄时间不同、拍摄角度不同、拍摄时气象条件不同导致的目标区域视频颜色、亮度和像素分布都有较大差异，采用常规的仿射或单应模型无法精确拟合图像全场的变换关系，在配准结果中存在较多的局部配准误差，导致提取的变化信息中包含过多的干扰。同时，单源传感器拍摄的图像具有一定的局限性，导致目标的误判和漏判，以光电载荷获取的可见光图像与红外图像为例，采用多源图像像素级融合技术对可见光图像变化区域与红外图像变化区域进行融合，多维度丰富图像信息，增加变化检测算法的准确性。最后，以应用决策树、支持向量机、随机森林等传统的分类器进行变化区域分类虽然能够为该问题提供解决方案，但是由于在视觉感知领域研究成果的限制，分类器设计方法中应用的人工规定的图像特征难以精确区分同类目标的变化性。同时由于分类器学习原理的限制，在训练数据超过一定数量以后，分类器精度不再随训练数据量的增加而提升，难以充分的利用丰富的图像数据资源。综上所述，在无人机视频图像处理系统中，多时相无人机视频图像变化区域检测及分类技术目前面临以下问题：1)无人机在执行某区域的侦察任务中，视频图像中的地面背景往往比较复杂，目标区域的外观在不同的时间可能存在各种差异，在图像中也大多呈不规则分布状态，给目标区域的检测带来较大困难；2)无人机航拍侦察过程中，受自身航时所限，单架无人机在一次侦察飞行中获取的视频图像数据有限，需通过长航时、多架次无人机侦察飞行来获取足够数据来完成变化检测基础上短时间间隔的区域入侵检测或长时间间隔的地物状态变化分析；3)无人机拍摄时间不同、拍摄角度不同、拍摄时气象条件不同导致的目标区域视频颜色、亮度和像素分布都有较大差异，给多时相的同源图像在同一坐标系下的精确配准带来难度；4)受成像机理的限制，单源传感器拍摄的图像具有一定的局限性，不能完全体现图像变化区域的信息；5)以光电载荷获取的可见光图像与红外图像为例，多源图像的图像特征有较大差异，单一特征难以完成可见光图像与红外图像在同一坐标系下的配准；6)传统目标分类算法应用人工设计的图像特征进行训练，不能精确区分同类目标的变化性，同时由于分类器学习原理的限制，在训练数据超过一定数量以后，分类器精度不再随训练数据量的增加而提升，难以充分的利用丰富的图像数据资源。因此，以每架无人机的光电载荷侦察为例，若是对多架无人机拍摄的可见光图像与红外图像分别进行变化区域检测，对提取的可见光图像与红外图像变化区域进行配准与融合，增加变化检测算法的准确性，最后通过设计深度模型网络结构，通过构建变化的目标区域数据集，训练深度网络权重，对变化的目标区域类型进行分类，可有效解决上述问题。
技术实现思路
因此，基于无人机视频图像特点和国内现有技术在无人机视频图像变化区域检测与分类方面的缺陷，统筹算法性能和适应性，提出一种多时相无人机视频图像变化区域检测及分类方法，解决了无人机视频处理系统变侦察某目标区域地物状态变化方面的诸多问题。以无人机携带光电载荷进行侦察为例，主要解决技术问题包括：1)目标区域的外观在不同的时间可能存在各种差异和在图像中呈现的不规则分布造成目标区域的检测困难的问题；2)无人机航拍侦察过程中，受自身航时所限，无法获取足够数据来完成变化检测基础上短时间间隔的区域入侵检测或长时间间隔的地物状态变化分析的问题；3)无人机因拍摄时间不同、拍摄角度不同、拍摄时气象条件不同导致的目标区域视频颜色、亮度和像素分布差异较大造成的多时相的同源图像在同一坐标系下的配准误差较大的问题；4)受光照、气候条件和成像机理的限制，无人机单源传感器拍摄的图像具有局限性，不能完全体现目标区域的信息问题；5)多源图像的图像特征有较大差异，单一特征难以完成可见光图像与红外图像在同一坐标系下的配准的问题；6)传统目标分类算法以人工设定的图像特征为基础进行目标分类的局限性和准确性问题。根据本专利技术的多时相无人机视频图像变化区域检测及分类方法，具体包括以下步骤：步骤1：同源图像的变化区域检测，采用同源图像配准技术完成多时相侦察图像在同一坐标系下的配准，再通过变化区域分割技术完成红外图像目标变化区域和可见光图像目标变化区域的提取；步骤2：多源图像配准和融合，首先采用基于图像梯度互信息的配准算法对红外图像目标变化区域和可见光图像目标变化区域进行配准，然后采用自适应权重目标区域融合算法完成红外图像目标变化区域和可见光图像目标变化区域的融合；步骤3：变化区域分类，采用变化区域分类算法设计深度模型网络结构，通过构建变化的目标区域数据集，训练深度网络权重，对变化的目标区域类型进行分类。进一步的，所述步骤1具体包括：步骤11：获取某个目标区域多时相的可见光侦察图像和红外侦察图像，选择两个不同时刻的该目标区域的可见光侦察图像和和对应时刻的红外侦察图像进行后续处理；步骤12：对两张同源图像进行图像预处理；步骤13：精确拟合图像变换关系，去除局部配准误差实现两张同源图像的精确配准；步骤14：对两张同源图像作差，获取差值图像；步骤15：进行特征高维变换，在高维特征空间上进行变化检测进一步提高目标变化区域与非变化区域之间的区分度；步骤16：在高维特征空间构建像素分割全局目标函数，将所有像素节点划分为目标变化区域和非变化区域，提取可见光图像目标变化区域与红外图本文档来自技高网...

【技术保护点】
1.一种多时相无人机视频图像变化区域检测及分类方法，其特征在于，具体包括以下步骤：/n步骤1：同源图像的变化区域检测，采用同源图像配准技术完成多时相侦察图像在同一坐标系下的配准，再通过目标变化区域分割技术完成红外图像目标变化区域和可见光图像目标变化区域的提取；/n步骤2：多源图像配准和融合，采用基于图像梯度互信息的配准算法对红外图像目标变化区域和可见光图像目标变化区域进行配准，得到可见光配准图像和红外配准图像，采用自适应权重目标变化区域融合算法完成红外配准图像的目标变化区域和可见光配准图像的目标变化区域的融合；/n步骤3：变化区域分类，采用变化区域分类算法构建深度模型网络结构，通过构建变化的目标区域数据集，训练深度网络权重，对变化的目标区域类型进行分类。/n

【技术特征摘要】
1.一种多时相无人机视频图像变化区域检测及分类方法，其特征在于，具体包括以下步骤：
步骤1：同源图像的变化区域检测，采用同源图像配准技术完成多时相侦察图像在同一坐标系下的配准，再通过目标变化区域分割技术完成红外图像目标变化区域和可见光图像目标变化区域的提取；
步骤2：多源图像配准和融合，采用基于图像梯度互信息的配准算法对红外图像目标变化区域和可见光图像目标变化区域进行配准，得到可见光配准图像和红外配准图像，采用自适应权重目标变化区域融合算法完成红外配准图像的目标变化区域和可见光配准图像的目标变化区域的融合；
步骤3：变化区域分类，采用变化区域分类算法构建深度模型网络结构，通过构建变化的目标区域数据集，训练深度网络权重，对变化的目标区域类型进行分类。


2.根据权利要求1所述的多时相无人机视频图像变化区域检测及分类方法，其特征在于，所述步骤1具体包括：
步骤11：获取某个目标区域多时相的可见光图像和红外图像，选择两个不同时刻的该目标区域的可见光图像和对应时刻的红外图像进行后续处理；
步骤12：对两张同源的可见光图像和两张同源的红外图像分别进行精确配准，并分别作差获取可见光侦察图像的差值图像和红外侦察图像差值图像；
步骤13：采用慢特征分析法对可见光图像的差值图像和红外图像差值图像进行特征高维变换，在高维特征空间上进行变化检测；
步骤14：采用基于图割的变化检测全局优化技术在高维特征空间构建像素分割全局目标函数，将所有像素节点划分为目标变化区域和非变化区域，提取可见光图像目标变化区域与红外图像目标变化区域。


3.根据权利要求2所述的多时相无人机视频图像变化区域检测及分类方法，其特征在于，所述步骤12中，精确配准操作具体包括：对预处理后的两张同源的可见光图像和两张同源的红外图像分别进行基于Surf和单应变换的图像初步配准，再通过B样条非刚性变换模型精确拟合图像变换关系，去除局部配准误差，实现两张同源的可见光图像的精确配准，以及两张同源的红外图像的精确配准。


4.根据权利要求2所述的多时相无人机视频图像变化区域检测及分类方法，其特征在于，所述步骤12中，分别作差获取可见光侦察图像的差值图像和红外侦察图像差值图像具体包括：采用Min-Max双向作差算法对精确配准后的两张同源的可见光图像和两张同源的红外图像分别作差，取某时刻待检图像变化像素点与同一场景区域另一时刻待检图像的对应像素点邻域作差的极值作为图像差值，获取可见光侦察图像的差值图像和红外侦察图像差值图像。


5.根据权利要求2所述的多时相无人机视频图像变化区域检测及分类方法，其特征在于，所述步骤12中，在精确配准操作前还包括对两张同源的可见光图像和两张同源的红外图像分别进行预处理，包括目标区域裁剪、基于暗通道先验的图像去雾与灰度校正。


6.根据权利要求1所述的多时相无人机视频图像变化区域检测及分类方法，其特征在于，所述步骤2具体包括：
步骤21：对提取的可见光图像目标变化区域与红外图像目标变化区域进行基于图像梯度互信息的配准，得到可见光配准图像和红外配准图像；
步骤22：分别获取可见光配准图像和红外配准图像的频谱图，基于频谱图得到红外配准图像的频谱残留和可见光配准...

【专利技术属性】
技术研发人员：吴国强，姜梁，马祥森，包文龙，孙浩惠，
申请(专利权)人：航天时代飞鸿技术有限公司，中国航天电子技术研究院，
类型：发明
国别省市：北京;11