一种适配多波段图像的多目标检测方法和系统技术方案

本发明专利技术公开了一种适配多波段图像的多目标检测方法和系统，首先对输入的多波段图像数据进行预处理，得到尺寸统一、特征匹配的多波段图像序列；再使用自编码神经网络方法生成保留多波段图像显著特征的特征融合图；应用标注工具及共享标注方式构建多波段图像联合数据集；训练并验证由卷积神经网络搭建的多波段检测模型Multiband‑net，得到包含权重参数的模型文件；调用模型文件实现对可见光、红外、二者融合图像的跨波段灵活检测，输出检测结果图像及视频。本发明专利技术的方法可以广泛应用于深度学习训练过程，提升目标检测模型精度及跨波段检测的泛化性能，系统分类模型在可见光和红外波段的平均精度分别达到84.89％、87.95％，在适配的不同波段上均取得更优的检测性能。

【技术实现步骤摘要】
一种适配多波段图像的多目标检测方法和系统
本申请涉及深度学习领域，图像处理
，具体涉及一种基于图像配准及特征融合技术的多波段图像联合数据集制作方法，以及基于该方法的多波段图像联合数据集训练得到多波段目标检测神经网络模型的方法及系统。
技术介绍
多目标检测是计算机视觉领域的基础问题，是解决目标识别、目标追踪、语义分割、图像描述、场景理解和事件检测等更高层次视觉任务的基础，并且在人工智能和信息技术的许多领域都有广泛的应用，如机器人视觉、自动驾驶、基于内容的图像检索、智能视频监控等。基于多波段特征融合的多目标检测技术正成为目前研究热点领域，尤其是基于可见光波段与红外波段特征融合的检测技术，通过对多波段传感器获取的同一场景的图像进行综合处理，融合可见光波段色彩、纹理等丰富细节信息以及红外波段显著边缘梯度特征和稳定成像能力，以生成更丰富、更可靠的图像信息，降低检测系统冗余性，增强系统在复杂气象和光线条件下执行检测功能的环境适应能力，提升系统的全天候工作能力，加强系统的目标识别检测能力。基于该技术的多目标检测和跟踪等军事领域和医学成像、智能交通、安检本文档来自技高网...

【技术保护点】
1.一种适配多波段图像的多目标检测方法，其特征在于，包括如下步骤：/nS1：通过多波段的图像采集装置采集得到经过畸变校正和空间配准的尺寸统一、特征匹配的可见光和红外图像序列；/nS2：使用自编码神经网络方法生成可见光图像与红外图像的特征融合图，最大限度保留可见光与红外源图像的多波段显著特征；/nS3：通过手工标注方式制作可见光图像序列的目标分类标注文件，得到可见光图像数据集V；/nS4：通过共享标注方式将可见光标注文件共享至具备相同特征分布的红外图像序列，得到红外图像数据集I；/nS5：通过共享标注方式将可见光标注文件共享至具备相同特征分布的融合图像序列，得到融合图像数据集F；/nS6：分别将...

【技术特征摘要】
1.一种适配多波段图像的多目标检测方法，其特征在于，包括如下步骤：
S1：通过多波段的图像采集装置采集得到经过畸变校正和空间配准的尺寸统一、特征匹配的可见光和红外图像序列；
S2：使用自编码神经网络方法生成可见光图像与红外图像的特征融合图，最大限度保留可见光与红外源图像的多波段显著特征；
S3：通过手工标注方式制作可见光图像序列的目标分类标注文件，得到可见光图像数据集V；
S4：通过共享标注方式将可见光标注文件共享至具备相同特征分布的红外图像序列，得到红外图像数据集I；
S5：通过共享标注方式将可见光标注文件共享至具备相同特征分布的融合图像序列，得到融合图像数据集F；
S6：分别将V、I数据集中的图像序列、标注文件序列以相同排列方式组织存储目录结构，得到可见光波段(V)和红外波段(I)图像的多波段联合数据集VI；
S7：分别将V、I、F数据集中的图像序列、标注文件序列以相同排列方式组织存储目录结构，得到可见光波段(V)、红外波段(I)、融合图像(F)的多波段联合数据集VIF；
S8：使用目标检测神经网络算法框架加载VIF数据集进行训练；
S9：对训练数据集样本进行划分，得到训练集、验证集、测试集；
S10：调用深度学习框架TensorFlow和Keras中的卷积层、池化层、损失函数与激活函数模块，构建多波段图像的目标检测网络模型MultiBand-NET，包含由DBL卷积网络单元、ResidualBlock残差网络单元构成的特征提取骨干网络，以及由Upsample上采样模块、Concat拼接融合层、Detection检测模块构成的多尺度检测头网络；
S11：设置训练超参数，包括预设网络输入图像尺寸宽度width数值、高度height数值、通道数channels数值，预设目标类别classes数值，预设目标多尺度边界框Anchors数组，输出通道数filters，学习率learning_rate，动量参数momentum，优化函数，权重衰减系数decay，训练迭代次数Epoches，训练批量参数batchsize；
S12：模型训练过程如下：加载训练集，加载预训练网络模型，采用随机初始化参数方式开始进行迭代训练，利用验证集对每一轮训练后的模型进行验证，在训练集和验证集关于检测模型损失函数评价指标Loss、val_loss均稳定收敛之后，为防止过拟合，停止模型训练，保存模型参数并得到检测模型MultiBand-NET，最后调用test函数在Test测试集上检测训练完成的检测模型，模型的评价指标为分类精度AP值、全局平均精度mAP值；
S13：得到最终的检测模型MultiBand-NET后，运行detector检测函数应用检测模型执行检测任务，通过调用系统图像传感器设备IO接口，对输入图像数据进行逐帧目标检测，检测模型输出帧画面中预设目标的boundingbox坐标、class分类结果、置信度概率值信息，调用opencv绘图函数绘制检测结果到原图像，在原帧图像上boundingbox坐标对应位置绘制boundingbox矩形框，矩形框左上角绘制分类标识文字和置信度概率值，并逐帧输出检测结果图像到系统窗口，同步将输出的检测结果图像数据保存为视频文件，形成检测记录。


2.根据权利要求1所述的一种适配多波段图像的多目标检测方法，其特征在于，所述步骤S1中，所述的多波段的图像采集装置包含可见光摄像头、红外热成像传感器的计算机装置；所述的畸变校正是指使用移动平面棋盘格的摄像机标定方法分别计算可见光摄像头和红外成像传感器的成像元件内、外参数和畸变系数标定，校正透镜畸变效应，得到目标原有的外形信息；所述的空间配准是使用SIFT特征匹配算法利用尺度不变性变换对可见光图像与红外图像中目标的边缘、角点进行匹配，以达到尺寸统一、特征匹配的可见光和红外图像序列。


3.根据权利要求1所述的一种适配多波段图像的多目标检测方法，其特征在于，所述步骤S2中的可见光与红外图像的特征融合图生成方法，是基于卷积神经网络构建的红外与可见光图像融合自编码器网络架构，包含编码器、融合层、解码器三部分，分别提取可见光图像和红外图像的所有显著特征，加以融合生成多波段特征融合图；其中，编码器将输入的可见光图像、红外图像序列进行卷积操作，实现数据降维，得到包含多波段显著特征的低维特征图；然后通过融合层将低维度可见光和红外特征图进行加权融合；最后通过解码器网络将低维融合特征图进行上采样复原至原图尺寸的高维特征融合图像。


4.根据权利要求1所述的一种适配多波段图像的多目标检测方法，其特征在于，所述步骤S3-S7中的多波段联合数据集的制作过程具体为：
1)可见光波段图像数据集V，对应的图像序列为{V1,V2,V3,…,Vi}，经过手动标注后对应的标注文件序列为
2)与可见光图像序列一一配准对应的红外波段图像数据集I，对应的图像序列为{I1,I2,I3,…,Ii}，直接使用可见光波段标注序列作为红外波段标注序列，使用批处理脚本修改标注文件名称，得到对应的标注文件序列为
3)由可见光波段图像与红外波段图像经过特征融合得到的融合数据集F，对应的融合图像序列为{F1,F2,F3,…,Fi}，直接使用可见光波段标注序列作为融合图像标注序列，使用批处理脚本修改标注文件名称，得到对应的标注文件序列为
4)联合可见光数据集V与红外数据集I，将可见光图像序列{V1,V2,V3,…,Vi}与红外图像序列{I1,I2,I3,…,Ii}按照排列方式P1进行混合排列，得到联合图像序列按照相同排列方式P1将可见光图像标注序列与...

【专利技术属性】
技术研发人员：王高峰，张非非，闾曾怡，张学谦，任一翔，金秉阳，茅泓锴，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江;33