一种空间边缘增强的轻量级显著物体检测方法技术

本发明专利技术公开一种空间边缘增强的轻量级显著物体检测方法，该方法包括：将一定数量的原始图像对应的彩色信息图像、热红外信息图像及真实显著物信息图像作为训练集；将彩色信息图像和热红外信息图像作为轻量级卷积神经网络框架的输入层的两种数据输入轻量级卷积神经网络框架进行训练，得到每幅原始图像对应的预测图像；计算预测图像与真实显著物信息图像之间的损失函数；将损失函数的值最小的对应的权值矢量和偏置项对应作为轻量级卷积神经网络框架的最优权值矢量和最优偏置项，得到训练好的轻量级卷积神经网络。本发明专利技术利用双边增强对语义信息和空间信息增强，加强模型对显著物体定位的能力以及对显著物体边缘优化的能力。定位的能力以及对显著物体边缘优化的能力。定位的能力以及对显著物体边缘优化的能力。

【技术实现步骤摘要】
一种空间边缘增强的轻量级显著物体检测方法


[0001]本专利技术涉及图像处理
，特别是涉及一种空间边缘增强的轻量级显著物体检测方法。

技术介绍

[0002]目前，现有的基于卷积神经网络的显著性检测方法一般都利用大型的预训练模型如(vgg，resnet)作为骨干网络，并且添加大量的优化模块来优化检测结果，这就意味着这些模型的会伴随的很大的FLOPs(浮点运算数)、params (模型参数量)、Model Size(模型权重大小)以及很低的FPS(每秒推理帧数)。由于这些原因，这样的模型势必无法在实际场景应用。而轻量级预训练模型 (mobilenetv2)作为骨干网络可以解决上述大型预训练模型存在的问题。但是由于轻量级预训练模型的浅层空间边缘信息获取的能力不如大型预训练模型强，容易出现边缘信息不完整的情况。因此，本领域亟需提供一种显著性物体检测方案来解决上述问题。

技术实现思路

[0003]本专利技术的目的是提供一种卷积神经网络训练方法、物体检测方法、系统及介质，以解决轻量级预训练模型的浅层空间边缘信息获取的能力不如大型预训练本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种空间边缘增强的轻量级卷积神经网络的训练方法，其特征在于，所述方法包括：将一定数量的原始图像对应的彩色信息图像、热红外信息图像及真实显著物信息图像作为训练集；将所述彩色信息图像和所述热红外信息图像作为轻量级卷积神经网络框架的输入层的两种数据输入所述轻量级卷积神经网络框架进行训练，得到每幅原始图像对应的预测图像；所述轻量级卷积神经网络框架包括若干双边增强模块，所述双边增强模块用于利用所述彩色信息图像的彩色特征和对应的所述热红外信息图像的热红外特征相互增强空间边缘信息；计算所述预测图像与所述真实显著物信息图像之间的损失函数；将所述损失函数的值最小的对应的权值矢量和偏置项对应作为轻量级卷积神经网络框架的最优权值矢量和最优偏置项，得到训练好的轻量级卷积神经网络。2.根据权利要求1所述的空间边缘增强的轻量级卷积神经网络的训练方法，其特征在于，所述轻量级卷积神经网络框架包括输入层、隐层和输出层；所述输入层用于并行输入所述彩色信息图像和所述热红外信息图像；所述隐层包括彩色信息预训练层、热红外信息预训练层、双边增强模块层和转换模块层；所述彩色信息预训练层用于将输入的彩色信息图像处理得到预训练彩色信息；所述热红外信息预训练层用于将输入的热红外信息图像处理得到预训练热红外信息；所述双边增强模块层包括若干所述双边增强模块；所述转换模块层用于融合所述双边增强模块发热输出数据；所述输出层用于处理经所述转换模块层的输出数据，得到预测图像。3.根据权利要求2所述的空间边缘增强的轻量级卷积神经网络的训练方法，其特征在于，所述彩色信息预训练层包括依次连接的多个彩色轻量预训练模块；当前级的彩色轻量预训练模块的输出作为下一级的彩色轻量预训练模块的输入；所述热红外信息预训练层包括依次连接的多个热红外轻量预训练模块；当前级的热红外轻量预训练模块的输出作为下一级的热红外轻量预训练模块的输入；所述双边增强模块层中所述双边增强模块的数量、彩色轻量预训练模块的数量和热红外轻量预训练模块的数量相同；所述彩色轻量预训练模块的输出数据和对应的热红外轻量预训练模块的输出数据共同输入对应的所述双边增强模块；所述转换模块层包括与所述双边增强模块的数量相同的转换模块，多个所述转换模块依次连接，当前级的转换模块的输出作为下一级的转换模块的第一融合数据；其中，第一级的转换模块的第一融合数据为最后一级的所述双边增强模块的输出数据，第一级的转换模块的第二融合数据为倒数第二级的所述双边增强模块的输出数据；其他级的转换模块的第二融合数据依次为按照所述双边增强模块的倒序排列的输出数据。4.根据权利要求3所述的空间边缘增强的轻量级卷积神经网络的训练方法，其特征在于，所述彩色信息预训练层包括依次连接的第一彩色轻量预训练模块、第二彩色轻量预训练模块、第三彩色轻量预训练模块、第四彩色轻量预训练模块和第五彩色轻量预训练模块；所述热红外信息预训练层包括依次连接的第一热红外轻量预训练模块、第二热红外轻量预训练模块、第三热红外轻量预训练模块、第四热红外轻量预训练模块和第五热红外轻量预训练模块；
所述双边增强模块层包括第一双边增强模块、第二双边增强模块、第三双边增强模块、第四双边增强模块和第五双边增强模块；所述转换模块层包括依次连接的第一转换模块、第二转换模块、第三转换模块、第四转换模块和第五转换模块；所述第一双边增强模块用于对第一彩色轻量预训练模块和第一热红外轻量预训练模块输出的数据进行双边增强后输入所述第五转换模块；所述第二双边增强模块用于对第二彩色轻量预训练模块和第二热红外轻量预训练模块输出的数据进行双边增强后输入所述第四转换模块；所述第三双边增强模块用于对第三彩色轻量预训练模块和第三热红外轻量预训练模块输出的数据进行双边增强后输入所述第三转换模块；所述第四双边增强模块用于对第四彩色轻量预训练模块和第四热红外轻量预训练模块输出的数据进行双边增强后输入所述第二转换模块；所述第五双边增强模块用于对第五彩色轻量预训练模块和第五热红外轻量预训练模块输出的数据进行双边增强后输入所述第一转换模块。5.根据权利要求1所述的空间边缘增强的轻量级卷积神经网络的训练方法，其特征在于，所述双边增强模块包括彩色处理子模块和热红外处理子模块；所述彩色处理子模块包括第一卷积、第一Sigmoid激活、第一全局池化和第二Sigmoid激活；所述第一卷积与第一Sigmoid激活顺次连接，彩色特征经第一卷积与第一Sigmoid激活后得到彩色卷积数据；第一全局池化和第二Sigmoid激活顺次连接，彩色特征经第一全局池化和第二Sig...

【专利技术属性】
技术研发人员：周武杰，朱赟，吴俊一，许彩娥，强芳芳，
申请(专利权)人：浙江科技学院，
类型：发明
国别省市：