基于多光谱复合的仿生视觉目标检测与跟踪方法技术

本发明专利技术公开了一种基于多光谱复合的仿生视觉目标检测与跟踪方法，包括：模拟灵长类动物头眼协调运动机制，搭建多光谱复合的仿生视觉系统，包括颈部一级宏动云台、眼部二级微动云台、热红外相机、可见光相机；设定颈部一级宏动云台运动阈值ηN和眼部二级微动云台运动阈值ηE，引入多光谱复合的仿生视觉系统的视轴转动角度β，根据视轴转动角度β阶段式控制多光谱复合的仿生视觉系统，实现头眼协调运动控制；利用红外图像与可见光各自提取运动目标的特征分别进行粗略定位和精确定位，利用KCF跟踪方法估计新一帧运动目标的状态，并引入比例峰值作为跟踪结果可信度的判定条件，实现运动目标的实时在线检测与跟踪。

Bionic Vision Target Detection and Tracking Method Based on Multispectral Composition

【技术实现步骤摘要】
基于多光谱复合的仿生视觉目标检测与跟踪方法
本专利技术涉及一种基于多光谱复合的仿生视觉目标检测与跟踪方法，涉及仿生机器人
，可以用于服务机器人技术和智能监控领域。
技术介绍
近年来，随着仿生学与机器视觉不断融合，仿生视觉机器人技术正以前所未有的速度向前发展并实现突破，借鉴人眼光学系统成像机理构建智能仿生眼，实现运动目标的实时检测与跟踪是仿生视觉机器人技术的重点研究方向，在智能视频监控和服务机器人系统等相关领域有着广泛的应用前景。一直以来，国内外众多学者分别从不同角度和方向对仿生视觉机器人目标跟踪系统开展了许多探索与研究。美国西北大学(NorthwesternUniversity)模拟人眼视网膜中锥状细胞和杆状细胞分布情况，联合多个学院制作了一个半球形视网膜探测器，首次实现变分辨率曲面成像。美国陆军夜视电子传感器研究院Vizgaitis等人模拟人眼图像采集过程设计了双波段多视场的红外光学图像采集系统，可以实现全天候大视场的目标跟踪任务。浙江大学的王宣银等人，提出了基于柔性驱动并联仿生人眼结构，利用仿生气动肌肉执行器、CMOS传感器和三维加速度传感器制作了仿人眼视觉感知系统。河北工业大学控制科学与工程学院杨福才等人为了实现稳健红外目标跟踪，提出了基于稀疏编码直方图特征和扰动感知模型的红外目标跟踪方法。葡萄牙科英布拉大学科技学院Henriques等人为了提高跟踪算法的计算速度，提出了一种核相关滤波器跟踪算法，利用循环矩阵在目标周围区域采集正负样本，利用岭回归训练目标检测器，可以满足目标跟踪算法实时性要求。山东大学电气工程学院黎昊等模拟人眼球的运动方式，开发了仿生眼用四自由度步进电机驱动控制系统，可以实现仿生眼球的基本运动功能。大连理工大学机械工程学院刘毅等人模仿人的头、眼、颈运动方式，设计了仿人眼和人颈视觉系统，实现机器人静态目标定位任务。然而，目前仿生移动机器人目标检测跟踪的研究多是基于工学方法，利用左右摄像机获得目标的单通道图像分别进行处理，而未进行有效的图像信息共享，且左右眼和头颈缺乏有效的协调联动机制，未能实现图像信息的最大化利用。鉴于此，本文针对可见光图像和红外图像在目标检测和跟踪应用中的优缺点，将二者提取到的有效特征信息进行复合，并采用头眼协调运动控制策略，实现对运动目标的实时在线检测和跟踪目的。
技术实现思路
本专利技术针对单波段的图像传感器难以在光照和温度都发生变化的复杂动态环境下保证目标检测和跟踪的准确性，结合可见光图像和红外图像自身成像特性，公开了一种基于多光谱复合的仿生视觉目标检测与跟踪方法。该方法模拟人眼锥细胞和杆状细胞的成像特性，将红外和可见光图像检测到的目标有效信息进行复合，并采用头眼协调运动控制策略，实现对运动目标的实时在线检测和跟踪。为实现上述专利技术目的，本专利技术的技术方案是：一种基于多光谱复合的仿生视觉目标检测与跟踪方法，包括以下步骤：步骤1、模拟灵长类动物头眼协调运动机制，搭建多光谱复合的仿生视觉系统，包括颈部一级宏动云台、眼部二级微动云台、热红外相机、可见光相机、头眼协调控制系统；步骤2、设定颈部一级宏动云台运动阈值ηN和眼部二级微动云台运动阈值ηE，引入多光谱复合的仿生视觉系统的视轴转动角度β，根据视轴转动角度β阶段式控制多光谱复合的仿生视觉系统，实现头眼协调运动控制；步骤3、利用热红外相机粗略定位目标在图像坐标系中的位置，当目标在图像坐标系的中心区域时，利用可见光相机定位目标的精确位置，并通过KCF跟踪方法估计新一帧目标的运动状态；否则，通过头眼协调控制系统调整热红外相机的拍摄角度，重复步骤3,；步骤4、引入比例峰值，对新一帧目标的运动状态的跟踪结果的可信度进行判定，将可信度符合判定条件的新一帧图像中目标的运动状态反馈给头眼协调控制系统，完成运动目标的实时跟踪，否则，重复步骤3。进一步的，所述步骤1中颈部一级宏动云台、眼部二级微动云台均为4自由度云台。进一步的，所述步骤2多光谱复合的仿生视觉系统的阶段式控制具体包括三个阶段：1)0<β<ηN，此时由颈部一级宏动云台完成注视点转移任务，转动角度ηN＝β，不需要眼部二级微动云台参与运动；2)ηN<β<ηE，此时需要颈部一级宏动云台和眼部二级微动云台同时运动来完成注视点转移任务，颈部一级宏动云台转动角度ηN，眼部二级微动云台转动角度ηE＝β-ηN；3)ηE<β，此时需要颈部一级宏动云台和眼部二级微动云台同时运动来完成注视点转移任务，颈部转动角度ηN＝β-ηE，眼球转动角度ηE。进一步的，所述步骤3具体包括：利用热红外相机采集大视场低分辨率图像，提取CENTRIST特征，利用训练好的线性SVM分类器粗略确定目标在图像坐标系中的位置；利用已知的相机焦距f和目标中心点偏离图像主点的误差量为△x计算仿生视觉系统视轴需要转动角度β，头眼协调控制系统根据视轴转动角度β阶段式驱动两级云台转动，使目标保持在红外图像的中心区域；利用可见光相机采集小视场高分辨率图像，提取当前帧图像的HOG特征，确定运动目标的精确位置，利用KCF跟踪方法估计新一帧运动目标的状态；进一步的，所述步骤4具体包括：引入比例峰值s，对新一帧目标的运动状态的跟踪结果的可信度进行判定，s值越大表明跟踪结果可靠性越高，式中，f(z)为新一帧图像分类器的响应值，ф为以最大值为中心的响应分布图的20％区域，μф和σф分别为区域ф内的均值和标准差；将比例峰值进行标准化：式中，标准化后的Ot取值在[0.1]之间，st为第t帧的比例峰值；设定阈值θ为分类器重定位判定条件，即当分类器检测峰值Ot小于重定位判定阈值θ时，说明跟踪结果不可靠，需要利用红外图像CENTRIST特征重新定位目标；当分类器检测峰值Ot大于重定位判定阈值θ时，说明跟踪结果有效，提取检测目标的HOG特征，从检测到的目标周围选取正负样本，加入训练集并更新SVM分类器。将可信度符合判定条件的新一帧图像中目标的运动状态反馈给头眼协调控制系统，完成运动目标的实时跟踪。本专利技术的有益效果是：本专利技术的方法将采集到的红外和可见光多模态图像信息进行复合，并采用头眼协调运动控制策略进行目标检测与跟踪，可以解决单波段图像目标检测跟踪方法在出视野、部分遮挡以及相似目标干扰等复杂情况下出现检测跟踪失败的问题。经实验验证，相比于传统单通道图像目标跟踪方法，基于多光谱图像的目标跟踪方法成功率分别提高了13.6％和7.8％，具有较强的鲁棒性。附图说明图1为多光谱复合的仿生视觉系统图；图2为双视场多光谱成像光学系统图；图3为小视场下目标的精确定位图；图4为大视场下目标的粗略定位图。具体实施方式下面将结合附图对本专利技术实施例中的技术方案进行清楚、完整地描述。为了验证本专利技术基于多光谱复合的仿生视觉目标检测与跟踪方法的准确性以及主动视觉控制理论的有效性，通过以下试验进行具体分析。搭建如图1所示的多光谱复合的仿生视觉系统，包括：型号为Raven-640-Analog的比利时Xenics热红外相机，型号为MER-310-12UC的大恒图像公司水星系列彩色工业相机，自主搭建的两级4自由仿生视觉云台，经中国计量院鉴定后，左右旋转精度为±2.4′，上下俯仰精度为±0.6′，采用STM32F4开发板作为云台电机控制模块，赛灵思公司ZYN本文档来自技高网...

【技术保护点】
1.一种基于多光谱复合的仿生视觉目标检测与跟踪方法，其特征在于，包括以下步骤：步骤1、模拟灵长类动物头眼协调运动机制，搭建多光谱复合的仿生视觉系统，包括颈部一级宏动云台、眼部二级微动云台、热红外相机、可见光相机、头眼协调控制系统；步骤2、设定颈部一级宏动云台运动阈值ηN和眼部二级微动云台运动阈值ηE，引入多光谱复合的仿生视觉系统的视轴转动角度β，根据视轴转动角度β阶段式控制多光谱复合的仿生视觉系统，实现头眼协调运动控制；步骤3、利用热红外相机粗略定位目标在图像坐标系中的位置，当目标在图像坐标系的中心区域时，利用可见光相机定位目标的精确位置，并通过KCF跟踪方法估计新一帧目标的运动状态；否则，通过头眼协调控制系统调整热红外相机的拍摄角度，重复步骤3,；步骤4、引入比例峰值，对新一帧目标的运动状态的跟踪结果的可信度进行判定，将可信度符合判定条件的新一帧图像中目标的运动状态反馈给头眼协调控制系统，完成运动目标的实时跟踪，否则，重复步骤3。

【技术特征摘要】
1.一种基于多光谱复合的仿生视觉目标检测与跟踪方法，其特征在于，包括以下步骤：步骤1、模拟灵长类动物头眼协调运动机制，搭建多光谱复合的仿生视觉系统，包括颈部一级宏动云台、眼部二级微动云台、热红外相机、可见光相机、头眼协调控制系统；步骤2、设定颈部一级宏动云台运动阈值ηN和眼部二级微动云台运动阈值ηE，引入多光谱复合的仿生视觉系统的视轴转动角度β，根据视轴转动角度β阶段式控制多光谱复合的仿生视觉系统，实现头眼协调运动控制；步骤3、利用热红外相机粗略定位目标在图像坐标系中的位置，当目标在图像坐标系的中心区域时，利用可见光相机定位目标的精确位置，并通过KCF跟踪方法估计新一帧目标的运动状态；否则，通过头眼协调控制系统调整热红外相机的拍摄角度，重复步骤3,；步骤4、引入比例峰值，对新一帧目标的运动状态的跟踪结果的可信度进行判定，将可信度符合判定条件的新一帧图像中目标的运动状态反馈给头眼协调控制系统，完成运动目标的实时跟踪，否则，重复步骤3。2.如权利要求1所述的一种基于多光谱复合的仿生视觉目标检测与跟踪方法，其特征在于，所述步骤1中颈部一级宏动云台、眼部二级微动云台均为4自由度云台。3.如权利要求1所述的一种基于多光谱复合的仿生视觉目标检测与跟踪方法，其特征在于，所述步骤2多光谱复合的仿生视觉系统的阶段式控制具体包括三个阶段：1)0<β<ηN，此时由颈部一级宏动云台完成注视点转移任务，转动角度ηN＝β，不需要眼部二级微动云台参与运动；2)ηN<β<ηE，此时需要颈部一级宏动云台和眼部二级微动云台同时运动来完成注视点转移任务，颈部一级宏动云台转动角度ηN，眼部二级微动云台转动角度ηE＝β-ηN；3)ηE<β，此时需要颈...

【专利技术属性】
技术研发人员：娄小平，李巍，祝连庆，孟晓辰，樊凡，潘志康，董明利，
申请(专利权)人：北京信息科技大学，
类型：发明
国别省市：北京,11