【技术实现步骤摘要】
本专利技术涉及图像标定技术和计算机视觉，特别涉及一种基于红外与事件相机标定的移动目标跟踪方法。
技术介绍
1、红外图像反映不同目标物体的辐射信息，能够在雨、雾和无光等恶劣条件下获取真实背景信息；事件相机能够提取像素强度变化，当目标移动时像素强度发生变化，移动目标的轮廓会被清晰记录在事件帧上。当事件相机移动时，场景中的静态信息也会被捕捉，影响检测算法对于移动目标的判断；当事件相机处于静态时，能够快速捕捉到移动目标，但是背景信息缺乏，人眼无法直观的判断目标位置；红外目标跟踪算法已经相对成熟，然而复杂的目标运动场景仍需进一步改进和优化。通过联合红外与事件的优势，能够实现对全天候移动目标的检测跟踪。由于红外相机和事件相机光轴不重合，其拍摄的图像在空间上存在误差，为了实现红外与事件的联合跟踪，首先需要对两者生成的图像进行对齐，使得两个相机图像上空间位置能够一一对应。
2、基于特征的图像配准方法因其不依赖硬件，适应性强，被广泛应用于图像配准领域。然而由于成像原理不同，红外与事件相机图像存在巨大差异，使用基于特征的配准方法极易造成不可控的扭曲现象。在静态的红外与事件双目系统中，相机的空间位置是固定的，这种恒定的相机几何关系使其图像之间具有空间变换关系，利用这种变换关系可以使图像对齐。为了建立空间变换关系，需要通过双目相机标定以获得相机内外参数，然而现有的标定方案并没有针对于红外相机与事件相机的双目标定，因此需要新的标定方法来实现红外与事件相机的标定。通过建立红外相机与事件相机的空间变换关系，能够联合红外与事件的成像和算法优势，实现
技术实现思路
1、本专利技术的目的在于现有技术存在的问题，提供一种基于红外与事件相机标定的移动目标跟踪方法，通过红外与事件相机成像特性定制双模态标定靶标系统，并搭建相机采集系统采集标定靶标图像，同时通过改进圆心检测算法实现对靶标特征的提取，完成红外与事件相机双目标定获得图像之间的变换矩阵。通过变换矩阵将事件相机检测到的移动目标位置信息传递给红外跟踪算法，实现对移动目标的检测跟踪。
2、为实现上述目的，本专利技术的技术方案是：一种基于红外与事件相机标定的移动目标跟踪方法，包括以下步骤：
3、步骤s1、基于红外与事件相机成像特性定制双模态标定靶标系统；
4、步骤s2、搭建红外与事件双目相机采集系统，系统相机光轴平行度为120″以内，控制双目相机视场重叠度为80％以上，固定相机后采集红外与事件标定靶标图像；
5、步骤s3、基于改进圆心提取算法对标定靶标图像进行精确的圆心定位，完成红外与事件相机双目标定，获得相机之间的单应性变换矩阵；
6、步骤s4、通过变换矩阵将事件帧的移动目标检测结果传递给红外跟踪模型，实现移动目标的跟踪。
7、在本专利技术一实施例中，步骤s1中，红外与事件相机成像特性是指在红外波长范围内，红外相机能够捕捉目标物体发射的或反射的红外辐射，记录不同目标物体的辐射差异；事件相机能够记录检测环境中的空间强度变化，能够以极高的速度和灵敏度捕捉移动目标。
8、在本专利技术一实施例中，步骤s1中，双模态标定靶标系统包括：红外标定靶标平板和闪烁平板光源；
9、所述红外标定靶标平板，是依据红外相机成像特性，选择在20℃～50℃温度范围内和8～14um的长波红外波段下，辐射系数差异较大的铝制片和pvc(polyvinylchloride)底板；首先在铝制片上激光切割出7×7的圆形镂空阵列，圆形半径为10mm，圆心间距为20mm，将铝制片阳极氧化后粘贴在白色pvc底板上，完成红外标定靶标平板制作；
10、所述闪烁平板光源，是依据事件相机成像特性，选取以预定频率闪烁的平板光源粘贴在红外标定靶标平板背部，完成双模态标定靶标系统的制作。
11、在本专利技术一实施例中，步骤s2中，红外与事件双目相机采集系统包括：一个8～14um的长波红外相机、一个事件相机、相机快拆板和相机支架；所述相机支架能够通过相机快拆板实现不同相机的快速装配和拆卸，并保证相机光轴平行度为120″以内，将相机支架固定在三角架上能够防止标定过程中的相机抖动。
12、在本专利技术一实施例中，所述步骤s2包括以下步骤：
13、步骤s21、选定红外与事件相机和镜头，获得相关参数包括相机分辨率(w×h)，像元尺寸μ和镜头焦距f，保证在预定距离下目标成像大小能够被清晰捕捉；
14、步骤s22、通过相机支架调整相机视场，控制双目相机视场重叠度为80％以上，并将相机支架固定在三角架上；
15、相机水平视场角度：θh＝2arctan(w/2f) (1)
16、相机垂直视场角度：θv＝2arctan(h/2f) (2)
17、步骤s23、用红外与事件双目相机采集系统的事件相机和红外相机从多个角度采集已知尺寸的红外与事件双模态标定靶标系统图像，并保证标定靶标系统的靶标图案在相机中均清晰完整。
18、在本专利技术一实施例中，所述步骤s3包括以下步骤：
19、步骤s31、所述改进圆心提取算法首先将标定靶标系统图像形态学处理后，通过边缘检测提取出标定靶标的完整轮廓掩膜，消除背景对圆心检测时产生的干扰；然后对标定靶标区域使用自适应阈值分割，纠正圆形图案边缘模糊现象；最后通过霍夫梯度法精确检测圆心；
20、步骤s32、利用靶标图像的圆心像素坐标进行相机标定，通过靶标圆心从世界坐标系到像素坐标系的转换，建立物像方程并利用最小二乘法得到红外相机的内参kinr、相对世界坐标系的旋转矩阵rinr、平移矩阵tinr和事件相机的内参keve、相对世界坐标系的旋转矩阵reve、平移矩阵teve；
21、步骤s33、设三维世界中某个物点的世界坐标为pw，在相机坐标系下用pw坐标表示，则有：
22、
23、联立上式得两个坐标系转换之间的关系：
24、
25、相机之间的单应性变换矩阵为：
26、
27、在本专利技术一实施例中，所述步骤s4具体包括：
28、以红外图像为基准，利用单应性变换矩阵对事件图像目标像素坐标信息进行平移和旋转操作，建立仿射变换方程式：
29、
30、其中，(xeve,yeve)为事件相机目标像素坐标矩阵，(xinr,yinr)为目标坐标对应在红外相机图像的像素坐标矩阵；
31、通过单应性变换矩阵将事件相机所检测到的移动目标坐标信息传递给红外跟踪算法，实现移动目标跟踪。
32、相较于现有技术，本专利技术具有以下有益效果：本专利技术方法通过红外与事件相机成像特性定制双模态标定靶标系统，并搭建相机采集系统采集标定靶标图像，同时通过改进圆心检测算法实现对靶标特征的提取，完成红外与事件相机双目标定获得图像之间的变换矩阵。通过变换矩阵将事件相机检测到的移动目标位置信息传递给红本文档来自技高网...
【技术保护点】
1.一种基于红外与事件相机标定的移动目标跟踪方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于红外与事件相机标定的移动目标跟踪方法，其特征在于，步骤S1中，红外与事件相机成像特性是指在红外波长范围内，红外相机能够捕捉目标物体发射的或反射的红外辐射，记录不同目标物体的辐射差异；事件相机能够记录检测环境中的空间强度变化，能够以极高的速度和灵敏度捕捉移动目标。
3.根据权利要求1所述的一种基于红外与事件相机标定的移动目标跟踪方法，其特征在于，步骤S1中，双模态标定靶标系统包括：红外标定靶标平板和闪烁平板光源；
4.根据权利要求1所述的一种基于红外与事件相机标定的移动目标跟踪方法，其特征在于，步骤S2中，红外与事件双目相机采集系统包括：一个8～14um的长波红外相机、一个事件相机、相机快拆板和相机支架；所述相机支架能够通过相机快拆板实现不同相机的快速装配和拆卸，并保证相机光轴平行度为120″以内，将相机支架固定在三角架上能够防止标定过程中的相机抖动。
5.根据权利要求1所述的一种基于红外与事件相机标定的移动目标跟踪方法，其特
6.根据权利要求1所述的一种基于红外与事件相机标定的移动目标跟踪方法，其特征在于，所述步骤S3包括以下步骤：
7.根据权利要求1所述的一种基于红外与事件相机标定的移动目标跟踪方法，其特征在于，所述步骤S4具体包括：
...【技术特征摘要】
1.一种基于红外与事件相机标定的移动目标跟踪方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于红外与事件相机标定的移动目标跟踪方法，其特征在于，步骤s1中，红外与事件相机成像特性是指在红外波长范围内，红外相机能够捕捉目标物体发射的或反射的红外辐射，记录不同目标物体的辐射差异；事件相机能够记录检测环境中的空间强度变化，能够以极高的速度和灵敏度捕捉移动目标。
3.根据权利要求1所述的一种基于红外与事件相机标定的移动目标跟踪方法，其特征在于，步骤s1中，双模态标定靶标系统包括：红外标定靶标平板和闪烁平板光源；
4.根据权利要求1所述的一种基于红外与事件相机标定的移动目标跟踪方法，其...
【专利技术属性】
技术研发人员：沈英，黄伟达，黄峰，王舒，叶佳丽，
申请(专利权)人：福州大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。