【技术实现步骤摘要】
多尺度信息增强双目卷积神经网络显著性图像检测方法
本专利技术涉及神经网络
，更具体的说是涉及一种多尺度信息增强双目卷积神经网络显著性图像检测方法。
技术介绍
近年来，由于计算机硬件能力迅速增加和深度神经网络的兴起，许多关于传统计算机视觉任务很快被重新定义，借助深度学习这一工具，很多视觉任务指标迅速被刷新，其中就包括显著性检测。显著性检测是一项基于人脑注意力机制的检测方法。当人看到一幅场景时，人类自动的优先处理一部分感兴趣的区域，而会暂时忽略掉不感兴趣区域，而人类通过自己独特的注意力机制筛选的感兴趣的区域就被称作显著性区域，而显著性检测是一种通过现有手段检测出显著性区域的任务，在计算机视觉上类似于抠图，语义分割等等。传统的显著性检测是依赖手工提取特征，过程繁琐且效率低下，其产生的结果也不够理想，在实际生活产业化中不容易去实现。当深度网络模型引入到显著性检测时，这些缺点慢慢被克服。即使使用较为简单的深度神经网络进行编码预训练，解码出来的结果也超过了大多数手工提取特征方法。显著性检测可以作为其他视觉任务的第一个步骤，如语义分...
【技术保护点】
1.一种多尺度信息增强双目卷积神经网络显著性图像检测方法，其特征在于，具体步骤包括如下：/n获取训练集，所述训练集包括N对场景图像数据，与所述场景图像数据对应的真实标签图像；其中N对所述场景图像数据包括N幅原始的RGB图像和N幅深度图像；/n构建端到端的卷积神经网络二分类训练模型；/n将训练集中的每对原始的所述场景图像数据输入到所述卷积神经网络二分类训练模型中进行训练，经过多尺度特征细化提取，得到训练集中的每对原始的所述场景图像数据对应显著性预测图像，并进行预融合得到最终显著性预测图；/n采用二分类交叉熵获得所述最终显著性预测图与所有真实显著检测图像集合之间的损失函数值；/...
【技术特征摘要】
1.一种多尺度信息增强双目卷积神经网络显著性图像检测方法，其特征在于，具体步骤包括如下：
获取训练集，所述训练集包括N对场景图像数据，与所述场景图像数据对应的真实标签图像；其中N对所述场景图像数据包括N幅原始的RGB图像和N幅深度图像；
构建端到端的卷积神经网络二分类训练模型；
将训练集中的每对原始的所述场景图像数据输入到所述卷积神经网络二分类训练模型中进行训练，经过多尺度特征细化提取，得到训练集中的每对原始的所述场景图像数据对应显著性预测图像，并进行预融合得到最终显著性预测图；
采用二分类交叉熵获得所述最终显著性预测图与所有真实显著检测图像集合之间的损失函数值；
重复计算损失函数值，确定最优权值矢量和最优偏置项优化卷积神经网络二分类训练模型的权重来获得训练好的卷积神经网络二分类训练模型。
2.根据权利要求1所述的一种多尺度信息增强双目卷积神经网络显著性图像检测方法，其特征在于，所述卷积神经网络二分类训练模型包括5个输出通道；其中，两个输入分别是RGB图像和深度图像像；第一输出通道和第二输出通道均包括第一神经网络块、第二神经网络块、融合块、多尺度特征提取块、注意力块和反向注意力块；所述第一神经网络块处理所述深度图像像得到第一特征图；所述第二神经网络块处理RGB图像得到第二特征图；所述第一特征图经所述反向注意力块得到第三特征图；所述反向注意力块的输入为第一特征图和下一级输出通道输出的显著性预测图像；所述融合块经所述第一特征图和所述第二特征图进行特征融合得到第五特征图；所述第二特征图和所述第三特征图作为所述多尺度特征提取块的输入，进行多尺度特征提取得到第四特征图；所述第四特征图和所述第五特征图作为注意力块的输入，得到显著性预测图像，经输出层输出；
其中，第三输出通道和第四输出通道的多尺度特征提取块与反向注意力块之间设置有上采样层；
第五输出通道的多尺度特征提取块仅有第二特征图作为输入；
每个输出通道得到显著性预测图像按通道相叠加得到最终显著性预测图像。
3.根据权利要求1所述的一种多尺度信息增强双目卷积神经网络显著性图像检测方法，其特征在于，
所述融合块均包括卷积层I、卷积层II，S型激活层I；
所述第一特征图经过所述卷积层I得到第六特征图；
所述第二特征图经过所述卷积层II得到第七特征图；
所述第六特征图经过S型激活层I与所述第七特征图进行张量相乘操作之后再加上所述第七特征图，得到的结果再与所述第六特征图进行通道堆叠操作，输出第五特征图。
4.根据权利要求2所述的一种多尺度信息增强双目卷积神经网络显著性图像检测方法，其特征在于，所述注意力块均包括：S型激活层A、卷积层A、卷积层B、激活层A和激活层B；
所述第四特征图经过所述S型激活层A通过张量操作压...
【专利技术属性】
技术研发人员：周武杰，柳昌，郭沁玲，雷景生，强芳芳，杨胜英，郭翔，
申请(专利权)人：浙江科技学院，
类型：发明
国别省市：浙江;33
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。