一种基于可见光和红外图像的全天候目标实时跟踪方法技术

本发明专利技术提出一种基于可见光和红外图像的全天候目标实时跟踪方法。对可见光图像和红外图像分别进行图像预处理，去除图像噪声和盲元；使用Harris角点检测法提取可见光图像和红外图像中的角点，使用光流法来跟踪检测出来的角点，并使用RANSAC算法分别对可见光图像和红外图像进行配准；使用MHI方法对经过配准处理的图像进行目标检测，然后使用腐蚀膨胀方法对检测出的目标进行形态学处理；使用Kalman滤波器对检测出的目标进行跟踪并框出目标，然后基于目标特征对目标进行航迹关联，实现对目标的实时监控。本发明专利技术可提高对可见光图像和红外图像中目标的检测概率，并且能够多光谱、高效率、全天候地检测识别出移动目标。

【技术实现步骤摘要】

本专利技术属于目标监控跟踪
，具体涉及一种基于可见光和红外图像的全天候目标实时跟踪方法。
技术介绍
随着社会经济和科学技术的发展，在民用方面，对移动目标比如行进人群、行驶车流等的实时监控、检测跟踪等是大型商场、机场、地铁、车站、博物馆、展览馆等许多重要公共场所在管理和决策方面不可缺少的。为确保系统安全和运行效益，国内外都在积极地开展面向复杂运动目标的监控、跟踪等技术的研究，以期形成高度智能化的视频监控系统网络。在军事应用方面，由于红外跟踪系统是被动地接受目标的红外辐射来探测、跟踪和识别目标。其相比于雷达预警具有隐蔽性好、抗电磁干扰能力强，以及体积小、重量轻、机动性强等优点，正逐渐成为现代防御体系中的一个重要组成部分，受到各国军工部门的重视。综合两方面而言，基于可见光和红外图像的全天候目标实时监控跟踪技术成为了一项更具有实际意义和挑战的研究课题。视频监控系统是多媒体技术、计算机网络、计算机视觉、模式识别和人工智能等技术综合运用的产物。从发展历程来看，视频监控系统在过去的近五十年里大致经历了三代：第一代模拟视频监控系统，第二代数字视频监控系统，第三代分布式视频监控系统。近几年，智能视频监控技术已引起许多国家的高度重视，它们分别开展了以智能视频监控系统为核心的应用技术研究，比较著名的实验系统包括：1996年日本学术振兴会(JSPS)未来研究项目支持的CDVProject着重研究携带摄像机的具有实时图像处理能力的观测站和移动机器人组成的网络群，并对动态变化的真实场景实现实时的分析和理解；1997年美国国防高级研究项目署(DARPA)设立了以卡内基梅隆大学为首、麻省理工学院等高校参与的视觉监控重大项目VSAM(VisualSurveillanceAndMonitoring)，主要研究用于战场和普通民用环境监控的自动视频理解技术；1999年美国马里兰大学的W4系统；2000-2001年佛罗里达中央大学(UCF)的KNIGHT系统；2003年意大利摩德纳大学(UNIMO)的SAKBOT系统；2004年IBM的Smart系统；2004年由欧盟出资启动的，雷丁大学与法国INRIA等研究机构联合实施的机场智能监控项目AVITRACK能够对停机坪场景进行目标跟踪和异常行为检测与报警，为机场保安这一911后的重大安全课题提供了智能化的解决方案。目前，美国、欧洲和其他一些国家已经开发出实用的智能视频监控系统。美国的ObjectVideo公司开发的视频分析系统可以用于边境安检和入侵检测，可疑人员逗留、物品遗留和异样物体检测等。法国CitiLog公司开发的视频事件自动检测系统主要应用于智能交通领域，可以对交通拥堵、停驶车辆、逆行车辆、慢行车辆、行人出现和丢弃物品等六种交通事件进行检测。以色列的NiceVision公司的视频分析仪可以实现对闯入者、车辆、被遗弃物品等的实时检测。国内对智能视频监控系统的研究起步较晚，研究领域涉及目标检测、分类和人体运动分析等。目前，中科院自动化研究所、清华大学、上海交通大学等单位正开展视频目标检测跟踪和人体运动分析等方面研究工作。中科院自动化所模式识别国家重点实验室借鉴了英国雷丁大学Views系统的研究经验，自行设计了交通监控原型系统，初步实现了对交通场景视频中车辆的检测、定位和跟踪，跟踪的结果经过分析和语义解释可以合成语音进行提示，例如当车辆逆行或闯入草地时，系统进行语音警告。传统的目标实时监控跟踪技术主要是利用同源传感器，局限于单台摄像机和单光谱，即用可见光摄像机来实现。虽然可以减少光线变化和阴影的影响，但算法实现相对复杂，也没有考虑到实际运用时会发生比如单一视角造成运动目标发生遮挡而导致误跟踪、单光谱造成在夜晚或者灯光昏暗的场所中移动目标无法被有效检测识别的问题。若结合可见光和红外摄像机组成立体监控系统，充分利用可见光系统提供的灰度信息，和红外摄像机提供的温度信息，提取目标的运动、空间信息，对复杂环境下全天候的目标连续跟踪实现信息互补是非常有意义的。
技术实现思路
本专利技术的目的在于提供一种基于可见光和红外图像的全天候目标实时跟踪方法，可提高对可见光图像和红外图像中目标的检测概率，并且能够多光谱、高效率、全天候地检测识别出移动目标，从而发挥可见光图像和红外图像各自的优点，使跟踪达到理想的要求。为了解决上述技术问题，本专利技术提供一种基于可见光和红外图像的全天候目标实时跟踪方法，包括以下步骤：步骤1，对可见光图像和红外图像分别进行图像预处理，去除图像噪声和盲元；步骤2，使用Harris角点检测法提取可见光图像和红外图像中的角点，使用光流法来跟踪检测出来的角点，并使用RANSAC算法分别对可见光图像和红外图像进行配准；步骤3，使用MHI方法对经过配准处理的图像进行目标检测，然后使用腐蚀膨胀方法对检测出的目标进行形态学处理；步骤4，使用Kalman滤波器对检测出的目标进行跟踪并框出目标，然后基于目标特征对目标进行航迹关联，实现对目标的实时监控。进一步，使用平均中值滤波方法对可见光图像和红外图像进行图像预处理。进一步，在步骤3所述的MHI方法中，阈值T为自适应变化的阈值，在检测前一时刻的前向MHI图像中的目标轮廓像素值时，通过相邻帧累计根据目标轮廓像素值的变化不断调整阈值T；同时，将前向MHI图像和后向MHI图像中像素值较小者作为最终检测的目标图像。进一步，步骤4中，Kalman滤波器的观测向量Z(k)如式(1)所示：Z(k)＝{xk,yk,I(k)本文档来自技高网...

【技术保护点】
一种基于可见光和红外图像的全天候目标实时跟踪方法，其特征在于，包括以下步骤：步骤1，对可见光图像和红外图像分别进行图像预处理，去除图像噪声和盲元；步骤2，使用Harris角点检测法提取可见光图像和红外图像中的角点，使用光流法来跟踪检测出来的角点，并使用RANSAC算法分别对可见光图像和红外图像进行配准；步骤3，使用MHI方法对经过配准处理的图像进行目标检测，然后使用腐蚀膨胀方法对检测出的目标进行形态学处理；步骤4，使用Kalman滤波器对检测出的目标进行跟踪并框出目标，然后基于目标特征对目标进行航迹关联，实现对目标的实时监控。

【技术特征摘要】
1.一种基于可见光和红外图像的全天候目标实时跟踪方法，其特征在于，包括以下步骤：步骤1，对可见光图像和红外图像分别进行图像预处理，去除图像噪声和盲元；步骤2，使用Harris角点检测法提取可见光图像和红外图像中的角点，使用光流法来跟踪检测出来的角点，并使用RANSAC算法分别对可见光图像和红外图像进行配准；步骤3，使用MHI方法对经过配准处理的图像进行目标检测，然后使用腐蚀膨胀方法对检测出的目标进行形态学处理；步骤4，使用Kalman滤波器对检测出的目标进行跟踪并框出目标，然后基于目标特征对目标进行航迹关联，实现对目标的实时监控。2.如权利1所述基于可见光和红外图...

【专利技术属性】
技术研发人员：钱惟贤，呙星，陈钱，顾国华，任侃，周骁骏，汪鹏程，杨蔚，田杰，张海越，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：江苏;32