基于可见光及红外多光谱图像序列的目标识别方法和装置制造方法及图纸

本发明专利技术提出一种基于可见光及红外多光谱图像序列的目标识别方法和装置，其中，方法包括：使用多光谱相机对目标区域以均匀间隔采集多个波段的多光谱图像序列；同时使用近红外相机、中红外相机和远红外相机分别在对应的谱段范围内采集与每个红外相机对应的红外图像序列；同时使用可见光相机拍摄彩色图像序列；分别采用基于运动的前景提取算法以及基于表观的前景提取算法，获取包含候选矩形窗的目标同步图像；根据预先训练的与每个目标同步图像对应的分类器识别候选矩形窗中包含的目标类别识别概率；显示目标类别识别概率的加权融合结果。由此，充分利用了目标在各个维度的特征，能较大提升目标识别的精确度。

【技术实现步骤摘要】
基于可见光及红外多光谱图像序列的目标识别方法和装置
本专利技术涉及图像识别
，尤其涉及一种基于可见光及红外多光谱图像序列的目标识别方法和装置。
技术介绍
近年来,人工智能和计算机视觉的发展使得基于图像/视频的目标检测与识别方法的性能有了较大的提升,使其成为研究此类问题的新手段。相比于基于雷达、射频等方法,基于机器视觉的方法具备系统简单、硬件体积小、场景普适性强、探测距离远、识别粒度细等优点。这些特点也使得基于图像/视频的识别方法被应用在多种现实场景中，如地铁安检测温及人流量统计、车辆自动驾驶、无人机巡检、商品货架分拣等。这些现实需求也相应地对识别方法和框架提出了诸如实时性、全天候、高精度等新的要求。特别是对一些小型目标，他们在图像传感器中占据的像素较少，信噪比较低，难以被探测和识别。对于图像/视频(图像序列)输入的目标识别问题，常用的解决方案是在可见光谱段采用深度神经网络直接进行识别。这些方法对于在清晰视野下，细节分辨率较高、背景区分度较大的目标有较高的精度，但对于夜晚、复杂背景、小目标难以适用。所以，有些工作将除可见光图像特征外的其他特征加入至识别过程，包括运动特征、视频帧间联系、红外特征、不变矩特征等，得到基于多特征融合的识别结果。但这些工作也是仅满足一类或少数几类识别场景，并且识别精度较低，难以处理环境变化、复杂背景、以及多实例等问题，对于多数常见识别场景都不能提供高精度的识别结果。
技术实现思路
本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本专利技术的第一个目的在于提出一种基于可见光及红外多光谱图像序列的目标识别方法，该方法提取了目标多个谱段的特征，形成了多维度的特征描述，能适用多种不同场景，具备全天候、精度高、鲁棒性好的特点。本专利技术的第二个目的在于提出一种基于可见光及红外多谱段图像序列的目标识别装置。本专利技术的第三个目的在于提出一种计算机设备。为达上述目的，本专利技术第一方面实施例提出了一种基于可见光及红外多光谱图像序列的目标识别方法，包括：使用多光谱相机对目标区域以均匀间隔采集多个波段的多光谱图像序列；同时使用近红外相机、中红外相机和远红外相机分别在对应的谱段范围内采集与每个红外相机对应的红外图像序列；同时使用可见光相机拍摄彩色图像序列；分别采用基于运动的前景提取算法以及基于表观的前景提取算法，对所述多光谱图像序列、所述红外图像序列和所述彩色图像序列中的同步图像进行计算，获取包含候选矩形窗的目标同步图像；根据预先训练的与每个所述目标同步图像对应的分类器识别每个所述目标同步图像中的候选矩形窗中包含的目标类别识别概率；在所述彩色图像序列中的彩色图像中，或者，所述红外图像序列的红外图像中显示所述目标类别识别概率的加权融合结果。可选的，所述使用多光谱相机对目标区域以均匀间隔采集多个波段的多光谱图像序列，包括：根据第一帧率采集所述多光谱图像序列，其中，每个所述波段的波长带宽应小于30nm，所述多光谱相机采集时覆盖可见光波段波长范围为380nm-760nm；所述同时使用近红外相机、中红外相机和远红外相机分别在对应的谱段范围内采集图每个红外相机对应的红外图像序列，包括：根据第二帧率同时使用近红外相机、中红外相机和远红外相机分别在对应的谱段范围内采集图每个红外相机对应的红外图像序列，其中，所述近红外相机采集时覆盖的波长范围为0.76um-1.3um，所述中红外相机采集时覆盖的波长范围为1.3um-3um，所述远红外相机采集时覆盖的波长范围为3um-15um；所述同时使用可见光相机拍摄彩色图像序列，包括：同时通过第三帧率使用可见光相机拍摄彩色图像序列。可选的，在所述使用多光谱相机对目标区域以均匀间隔采集多个波段的多光谱图像序列之前，还包括：确定所述近红外相机、中红外相机和远红外相机、所述多光谱相机和所述可见光相机的相机摆放位置，使得所有相机的视野覆盖所述目标区域。可选的，在所述对所述多光谱图像序列、所述红外图像序列和所述彩色图像序列中的同步图像进行计算之前，包括：确定所述第一帧率、所述第二帧率和所述第三帧率的最小公倍数对应的同步间隔；在所述多光谱图像序列、所述红外图像序列和所述彩色图像序列中确定与所述同步间隔对应的图像为所述同步图像。可选的，所述获取包含候选矩形窗的目标同步图像，包括：基于运动的前景提取算法提取所述每个同步图像中的第一矩形区域；基于表观的前景提取算法提取所述每个同步图像中的第二矩形区域；计算所述第一矩形区域和所述第二矩形区域的交比阈值；确定所述交比阈值大于预设阈值的同步图像为所述目标同步图像，并在所述第一矩形区域和所述第二矩形区域中确定包含重叠像素点最多的矩形区域为所述候选矩形窗。可选的，所述在所述彩色图像序列中的彩色图像中，或者，所述红外图像序列的红外图像中显示所述目标类别识别概率的加权融合结果，包括：在所述候选矩形窗中确定所述识别概率大于0.5的目标矩形框；将所有的所述目标矩形框采用非极大值抑制算法将对应的矩形框缩放至贴近对应的目标类别识别概率的大小；获取拍摄所述目标区域的环境光，根据所述环境光在所述可见光相机和所述近红外相机、中红外相机和远红外相机中确定目标显示设备；根据预设的单应性矩阵将每个缩放后的所述目标矩形框与所述目标显示设备对齐；将对齐后的每个缩放后所述目标矩形框对应的每个目标类别识别概率和对应的分类器的训练精度乘积获取乘积值；计算相同位置的缩放后的目标矩形框对应的每个所述目标类别识别概率的所有乘积值的加权和，在所述目标显示设备对应的图像中显示所述每个所述目标类别识别概率的所述加权和。可选的，所述根据预设的单应性矩阵将每个缩放后的所述目标矩形框与所述目标显示设备对齐，包括：根据预设算法对预设的单应性矩阵计算，将每个缩放后的所述目标矩形框与所述目标显示设备对齐，其中，所述预设算法为：其中，为所述预设的单应性矩阵，为所述每个矩形框中目标特征点的目标类别识别概率的图像坐标，为所述每个相匹配的所述目标矩形框中目标类别识别概率特征点对齐后的图像坐标。可选的，所述相机摆放位置为：所述近红外相机、中红外相机和远红外相机、所述多光谱相机和所述可见光相机位于同一平面且垂直于地面且均面向所述目标区域；所述可见光相机于中心位置，所述多光谱相机处于在垂直地面的正上方，所述近红外相机、中红外相机和远红外相机在垂直地面的正下方；所述近红外相机、中红外相机和远红外相机、所述多光谱相机和所述可见光相机之间，相邻相机的在空间位置的上下左右间距相同。为达上述目的，本专利技术第二方面实施例提出了一种基于可见光及红外多光谱图像序列的目标识别装置，包括：采集模块，用于使用多光谱相机对目标区域以均匀间隔采集多个波段的多光谱图像序列；所述采集模块，还用于同时使用近红外相机、中红外相机和远红外相机分别本文档来自技高网...

【技术保护点】
1.一种基于可见光及红外多光谱图像序列的目标识别方法，其特征在于，包括以下步骤：/n使用多光谱相机对目标区域以均匀间隔采集多个波段的多光谱图像序列；/n同时使用近红外相机、中红外相机和远红外相机分别在对应的谱段范围内采集与每个红外相机对应的红外图像序列；/n同时使用可见光相机拍摄彩色图像序列；/n分别采用基于运动的前景提取算法以及基于表观的前景提取算法，对所述多光谱图像序列、所述红外图像序列和所述彩色图像序列中的同步图像进行计算，获取包含候选矩形窗的目标同步图像；/n根据预先训练的与每个所述目标同步图像对应的分类器识别每个所述目标同步图像中的候选矩形窗中包含的目标类别识别概率；/n在所述彩色图像序列中的彩色图像中，或者，所述红外图像序列的红外图像中显示所述目标类别识别概率的加权融合结果。/n

【技术特征摘要】
1.一种基于可见光及红外多光谱图像序列的目标识别方法，其特征在于，包括以下步骤：
使用多光谱相机对目标区域以均匀间隔采集多个波段的多光谱图像序列；
同时使用近红外相机、中红外相机和远红外相机分别在对应的谱段范围内采集与每个红外相机对应的红外图像序列；
同时使用可见光相机拍摄彩色图像序列；
分别采用基于运动的前景提取算法以及基于表观的前景提取算法，对所述多光谱图像序列、所述红外图像序列和所述彩色图像序列中的同步图像进行计算，获取包含候选矩形窗的目标同步图像；
根据预先训练的与每个所述目标同步图像对应的分类器识别每个所述目标同步图像中的候选矩形窗中包含的目标类别识别概率；
在所述彩色图像序列中的彩色图像中，或者，所述红外图像序列的红外图像中显示所述目标类别识别概率的加权融合结果。


2.如权利要求1所述的方法，其特征在于，所述使用多光谱相机对目标区域以均匀间隔采集多个波段的多光谱图像序列，包括：
根据第一帧率采集所述多光谱图像序列，其中，每个所述波段的波长带宽应小于30nm，所述多光谱相机采集时覆盖可见光波段波长范围为380nm-760nm；
所述同时使用近红外相机、中红外相机和远红外相机分别在对应的谱段范围内采集图每个红外相机对应的红外图像序列，包括：
根据第二帧率同时使用近红外相机、中红外相机和远红外相机分别在对应的谱段范围内采集图每个红外相机对应的红外图像序列，其中，所述近红外相机采集时覆盖的波长范围为0.76um-1.3um，所述中红外相机采集时覆盖的波长范围为1.3um-3um，所述远红外相机采集时覆盖的波长范围为3um-15um；
所述同时使用可见光相机拍摄彩色图像序列，包括：
同时通过第三帧率使用可见光相机拍摄彩色图像序。


3.如权利要求1所述的方法，其特征在于，在所述使用多光谱相机对目标区域以均匀间隔采集多个波段的多光谱图像序列之前，还包括：
确定所述近红外相机、中红外相机和远红外相机、所述多光谱相机和所述可见光相机的相机摆放位置，使得所有相机的视野覆盖所述目标区域。


4.如权利要求2所述的方法，其特征在于，在所述对所述多光谱图像序列、所述红外图像序列和所述彩色图像序列中的同步图像进行计算之前，包括：
确定所述第一帧率、所述第二帧率和所述第三帧率的最小公倍数对应的同步间隔；
在所述多光谱图像序列、所述红外图像序列和所述彩色图像序列中确定与所述同步间隔对应的图像为所述同步图像。


5.如权利要求1-4任一所述的方法，其特征在于，所述获取包含候选矩形窗的目标同步图像，包括：
基于运动的前景提取算法提取所述每个同步图像中的第一矩形区域；
基于表观的前景提取算法提取所述每个同步图像中的第二矩形区域；
计算所述第一矩形区域和所述第二矩形区域的交比阈值；
确定所述交比阈值大于预设阈值的同步图像为所述目标同步图像，并在所述第一矩形区域和所述第二矩形区域中确定包含重叠像素点最多的矩形区域为所述候选矩形窗。


6.如权利要求1所述的方法，其特征在于，所述在所...

【专利技术属性】
技术研发人员：刘孙相与，李贵涛，詹亚锋，高鹏，赵孔亚，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京;11