一种基于全卷积网络的红外图像多目标分割方法技术

本发明专利技术公开了一种基于全卷积网络的红外图像多目标分割方法，特点是包括以下操作步骤：步骤S1，构建红外图像数据集；采集多种背景、多种目标、多种时间段的红外视频构建图像数据集作为模型的训练样本，利用多种传统图像处理手段对原始红外视频进行处理得到二值标注图像；步骤S2，获得并训练全卷积神经网络模型，采用分阶段损失函数的方式训练模型；步骤S3，移植模型，将网络模型移植到移动终端上进行实时分割。优点是实现了少量增加网络层数和通道数的情况下，充分利用其他网络层学习到的特征，更加有利于挖掘网络自身的算力；该神经网络可以学习到多层次的、更丰富的特征表示，表征能力更强，有助于实时图像分割实现良好效果。果。果。

【技术实现步骤摘要】
一种基于全卷积网络的红外图像多目标分割方法


[0001]本专利技术涉及图像分割的领域，尤其涉及一种基于全卷积网络的红外图像多目标分割方法。

技术介绍

[0002]近年来，随着边防警戒、设备安防、自动作战等需求的提升，针对人员、车辆、直升机等多种目标的图像分割技术越来越精细。现代红外图像分割的四大需求为自动化、精确化、快速化、多目标， 然而红外图像具有数据量少、图像清晰度不高、红外目标与环境相似度较高等特点, 导致传统的人工神经网络在红外图像数据集处理方面表现不佳。
[0003]现有技术的分割模型主要是对于固定背景下的图像或者单一目标效果较好。这些方法虽然能够提供初步的分割结果，但其对于复杂背景下的多目标图像分割效果欠佳。另一方面，近年来涌现了许多更深更宽的网络模型提升分割效果的方案。但它们只是以简单堆叠网络层的方式增加参数，而且暴露出来明显的运算速度下降难以实时分割的问题。
[0004]专利CN202111001405.3公开了一种基于热红外注意力机制神经网络的行车场景分割方法。本专利技术公开了一种基于热红外注意力机制神经网络的行车场景分割方法，本方法首先获取同场景、同分辨率的可见光、热红外影像，通过标记，形成复合影像训练数据集；接着构建热红外信息注意网络，使用复合影像训练集对其进行训练；当得到较好的训练模型后，使用热红外信息注意网络对行车影像进行分割；能够在不同环境下稳定地对行车环境影像进行分割，且分割精度较高。该方法利用了可见光和热红外影像，但是其采用的注意力机制神经网络参数较多、体积较大，难以移植到可移动设备中，也难以做到实时性。
[0005]专利CN200710072483.6公开了一种运动背景的红外图像实时目标识别与跟踪器及方法。包括红外成像探测部件、红外图像信号处理部件、伺服控制部件和通信模块四个部分。采用红外热像仪采集数字化的红外图像，采用伺服控制部件控制搜索和跟踪视场内目标，采用红外图像信号处理部件实时地检测、识别与跟踪目标，采用1553B总线与上位机通信构成红外图像跟踪结果显示。能检测15公里以上的景深范围，能进行
±
18
°
度的大角度搜索和2
°
～6
°
度的小角度精确跟踪。具有检测距离远、探测范围广、定位精度高、识别能力强、实时目标跟踪、全天候工作等特点。但该方法只利用传统图像处理算法，并且侧重于系统架构与集成，对于算法的处理上十分粗糙。
[0006]专利CN201810882454.4公开了一种基于FPGA的田间视频图像实时分割系统及方法，所述方案属于田间作物生长信息处理
，对图像分割算法的结构进行适用于硬件环境的更改，加入数据及流水线指令，使图像分割算法适应于实时图像分割的应用场景；通过对图像采集显示系统的各个模块进行设计，搭建基于摄像头的视频通路；结合田间植株超绿特征提取、Canny边缘检测算法、中值滤波和阈值分割及FPGA硬件开发的流程，实现田间视频图像分割。本专利技术的拥有丰富的寄存器资源和流水线结构，可实时处理大量的图像数据，极大程度的提高了图像处理的速度；本专利技术所使用的开发板成本更低，体积小，功耗低，更适合复杂的田间工作环境。但其只利用传统图像处理算法，不能针对特定目标进行
分割与识别，虽然速度快体积小，但精度不高，视觉效果不好。
[0007]专利CN202010878598.X公开了一种基于语义分割网络的抛洒物检测方法与系统，具体涉及道路检测领域，主要包括离线建模模块、在线背景获取模块和在线抛洒判断模块。本专利技术不用通过直接对抛洒物进行判断，而是通过运动目标的判断间接的判定抛洒物，提高了抛洒物的预检出率，同时采用双重背景和背景更新的策略来对预设背景图像进行更新，并通过候选判定区域、候选判定区域与预设背景图像的相似度判定，双重判定，提高了判定的准确度。然而该方法利用语义分割网络对背景进行分割，无法直接获取目标，对于图像既要预处理也要后处理，步骤较为繁琐。

技术实现思路

[0008]本专利技术目的是提供基于全卷积网络的红外图像多目标分割方法，以解决对于复杂背景下的多目标图像分割效果欠佳以及网络模型分割中暴露出来明显的运算速度下降难以实时分割等技术问题。
[0009]为了实现上述技术目的，达到上述的技术要求，本专利技术所采用的技术方案是：一种基于全卷积网络的红外图像多目标分割方法，包括以下操作步骤：步骤S1，构建红外图像数据集；采集多种背景、多种目标、多种时间段的红外视频构建图像数据集作为模型的训练样本，利用多种传统图像处理手段对原始红外视频进行处理得到二值标注图像；步骤S2，获得并训练全卷积神经网络模型，采用分阶段损失函数的方式训练模型；步骤S3，移植模型，将网络模型移植到移动终端上进行实时分割。
[0010]优选地：所述的步骤S1中多种传统图像处理手段为阈值分割方式、区域生长方式、滤波方式。
[0011]优选地：所述的全卷积神经网络模型的获得方法为输入图像经过一个过渡层之后输入到Fiboblock，之后其输出分为两路，一路经过一个过渡层之后输入到Denseblock，另一路经过Fiboblock与Denseblock上采样后的输出合并，再经过一个卷积层就得到了最终输出。
[0012]优选地：所述的过渡层由一个池化层和卷积层组成。
[0013]优选地：所述的Fiboblock每一个卷积层的输入，是前两个卷积层的输出合并而来，同时其每一个卷积层的输出通道数与输入通道数保持不变。
[0014]优选地：所述的步骤S2中分阶段损失函数的方式为前70轮使用Focal loss训练，后30轮使用Dice Loss训练。
[0015]本专利技术的有益效果；本专利技术采用特征复用的方式，综合考虑了分割效果和运算速度构建了全卷积神经网络模型；基于特征复用构建的全卷积神经网络可以少量增加网络层数和通道数的情况下，充分利用其他网络层学习到的特征，更加有利于挖掘网络自身的算力。该神经网络可以学习到多层次的、更丰富的的特征表示，表征能力更强，有助于实时图像分割实现良好效果；通过引入分阶段损失函数，使得损失函数可以充分发挥各自的作用，解决了大多数的多种损失函数结合只是简单累加而导致容易造成梯度冲突的情况，导致模型收敛缓慢的技术问题，本专利技术中分阶段损失函数既结合两者的优势，又回避了各自的缺点，充分发挥各自的作用；既可以保障损失函数稳定下降，又可以有效提升评价指标。
[0016]本专利技术大大增强了复杂背景下的多目标图像分割效果，运算速度快，有效实现图
像的实时分割。
附图说明
[0017]为了更清楚地说明专利技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是专利技术的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0018]图1是本专利技术的工作流程图。
[0019]图2是本专利技术的全卷积神经网络模型框架简图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于全卷积网络的红外图像多目标分割方法，其特征在于：包括以下操作步骤：步骤S1，构建红外图像数据集；采集多种背景、多种目标、多种时间段的红外视频构建图像数据集作为模型的训练样本，利用多种传统图像处理手段对原始红外视频进行处理得到二值标注图像；步骤S2，获得并训练全卷积神经网络模型，采用分阶段损失函数的方式训练模型；步骤S3，移植模型，将网络模型移植到移动终端上进行实时分割。2.根据权利要求1所述的一种基于全卷积网络的红外图像多目标分割方法，其特征在于：所述的步骤S1中多种传统图像处理手段为阈值分割方式、区域生长方式、滤波方式。3.根据权利要求1所述的一种基于全卷积网络的红外图像多目标分割方法，其特征在于：所述的全卷积神经网络模型的获得方法为输入图像经过一个过渡层之后输入到Fibobloc...

【专利技术属性】
技术研发人员：吴偌灏，张瀚，赵汗青，宿立升，
申请(专利权)人：北京航天金泰星测技术有限公司泰州分公司，
类型：发明
国别省市：