The invention discloses an infrared surface target instance segmentation method based on feature fusion and dense connection network, which collects and constructs the infrared image data set needed for example segmentation, obtains the original known infrared label image, preprocesses the infrared image data set for image enhancement, and processes the preprocessed training set to obtain classification results, border regression results and reality. For example, the results of mask segmentation are illustrated. Random gradient descent method is used to propagate back in convolution neural network according to the loss function of prediction and update the parameters of convolution network. Fixed number of training sets of infrared image data are selected for processing each time, and the parameters of convolution network are updated iteratively until the maximum number of iterations completes the training of convolution network. The image data of the test set is processed to obtain the average accuracy and time required for instance segmentation and the final instance segmentation result graph.
【技术实现步骤摘要】
基于特征融合和稠密连接网络的红外面目标实例分割方法
本专利技术属于图像处理
，具体涉及一种基于特征融合和稠密连接网络的红外面目标实例分割方法。
技术介绍
目标实例分割是对图像中的每个像素点，给出该像素点的实例类别，并预测类别标签和像素级实例掩码以定位图像中不同数量的实例。对图像进行实例分割可以获取图像的目标信息，更好的理解图像的高层次内容和代表的信息，实例分割是最重要、最具挑战性的任务之一，对图像中特定目标的定位、图像搜索、自动驾驶中道路场景的识别和视频监控等很有用，在实际应用中具有很高的实用价值。实例分割现有的基本思路都是目标检测加上语义分割来进行对个体的分割。目前，主要的目标检测方法可以大致分为两类，一类是基于传统机器学习的目标检测方法，一类是基于深度学习的目标检测方法。在深度学习流行之前，基于传统的机器学习的方法都是首先通过人工设计的特征提取器，将其送入分类器中进行分类。代表性的有：1、方向梯度直方图(HistorgramofOrientedGradient,Hog)+支持向量机(SVM)；2、Harr+abdboost分类器；3：基于可形变的组件模型...
【技术保护点】
1.一种基于特征融合和稠密连接网络的红外面目标实例分割方法，其特征在于，该方法通过以下步骤实现：步骤(1)采集并构建实例分割所需的红外图像数据集，在包含所需分割目标的红外图像数据集中标定所需分割目标的像素级轮廓与种类，获得原有已知的红外标签图像；步骤(2)对所述红外图像数据集作图像增强的预处理，并分为训练集和验证集两部分；步骤(3)对预处理后的训练集进行处理获得分类结果、边框回归结果和实例分割掩膜结果图；步骤(4)将分类结果和边框回归以及实例分割掩膜结果图与步骤(1)中原有标定的红外图像数据集进行损失函数计算，使用交叉损失熵计算预测结果图与真实分割结果图之间的误差，使用随机...
【技术特征摘要】
1.一种基于特征融合和稠密连接网络的红外面目标实例分割方法，其特征在于，该方法通过以下步骤实现：步骤(1)采集并构建实例分割所需的红外图像数据集，在包含所需分割目标的红外图像数据集中标定所需分割目标的像素级轮廓与种类，获得原有已知的红外标签图像；步骤(2)对所述红外图像数据集作图像增强的预处理，并分为训练集和验证集两部分；步骤(3)对预处理后的训练集进行处理获得分类结果、边框回归结果和实例分割掩膜结果图；步骤(4)将分类结果和边框回归以及实例分割掩膜结果图与步骤(1)中原有标定的红外图像数据集进行损失函数计算，使用交叉损失熵计算预测结果图与真实分割结果图之间的误差，使用随机梯度下降法在卷积神经网络中根据预测损失函数进行反向传播，并更新卷积网络的参数值；步骤(5)每次从步骤(2)选取固定数量的红外图像数据训练集送入网络进行处理，重复步骤(3)、(4)对卷积网络参数进行迭代更新，直至最大迭代次数完成对卷积网络的训练；步骤(6)使用步骤(5)训练完成的实例分割网络对测试集图像数据进行处理，获取实例分割的平均精度和所需时间，以及最终实例分割结果图。2.根据权利要求1所述的基于特征融合和稠密连接的红外面目标实例分割方法，其特征在于，步骤(2)中所述对红外图像数据集作图像增强的预处理，具体步骤如下：步骤(2a)设定红外图像数据大小，并进行剪裁；步骤(2b)对剪裁过的红外图像数据集进行随机的翻转变换，沿水平或垂直方向进行图像翻转；步骤(2c)对翻转变换过的红外图像数据集进行对比度变换，在红外图像数据集的HSV颜色空间，改变饱和度S和亮度分量V，保持色调H不变。对每个像素的饱和度S和亮度V分量进行指数运算。3.根据权利要求1或2所述的基于特征融合和稠密连接网络的红外面目标实例分割方法，其特征在于，所述步骤(3)对预处理后的训练集进行处理获得分类结果、边框回归结果和实例分割掩膜结果图，具体通过以下步骤实现：步骤(3a)将预处理后的训练集红外图像数据输入稠密连接网络进行特征提取得到多维度的特征图；步骤(3b)将所述多维度特征图使用注意力机制进行特征融合得到融合后的特征图；步骤(3c)将所述融合后的特征图送入候选区域建议模块并使用非极大值抑制提取一定数量的候选区域；步骤(3d)将所述融合后的特征图和提取的候选区域送入回归预测网络进行分类和边框回归以及掩膜网络进行目标分割得到结果图。4.根据权利要求3所述的基于特征融合和稠密连接的红外面目标实例分割方法，其特征在于，所述步骤(3)中所述稠密连接网络结构由稠密连接模块、转换模块以及若干单独的卷积层和池化层组成，连接顺序为转换模块和稠密连接交替连接；其中，所述稠密连接模块由若干个卷积模块构成，在同一稠密连接中，当前卷积模块与...
【专利技术属性】
技术研发人员：周慧鑫，周腾飞，张喆，赵东，宋江鲁奇，秦翰林，于跃，李欢，赖睿，黄楙森，杜娟，宋尚真，姚博，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西,61
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。