基于多层融合的卷积神经网络RGB-D显著性检测方法技术

本发明专利技术公开了一种基于多层融合的卷积神经网络RGB‑D显著性检测方法，包括：将VGG16网络中的全连层模块FC6和FC7转变为全卷积层、结合卷积层CONV1‑CONV5组成新的卷积神经网络；对新的卷积神经网络依次进行降维和融合操作，得到初始迭代的显著性检测结果；采用迭代优化对初始迭代的显著性检测结果进行细化；采用不同的训练数据对新的卷积神经网络依次进行初始化训练、第一第二次微调训练；对训练后的结果，使用显著性物体的最小包围框，对输入图像进行剪切和镜面翻转，获取显著性检测结果。本发明专利技术设计了有效的CNN模型，融合RGB和深度信息，并捕获显著对象的多尺度特征，融合了从较高层到较低层的卷积特征，以解决显著性物体的尺度问题。

【技术实现步骤摘要】
基于多层融合的卷积神经网络RGB-D显著性检测方法
本专利技术涉及RGB-D显著性检测领域，尤其涉及一种基于多层融合的卷积神经网络RGB-D显著性检测方法。
技术介绍
近年来，由于深度采集设备的发展和深度信息与显著性物体的密切关系，深度信息在图像显著性检测中引起了研究人员的关注。深度信息有助于区分具有相似颜色的前景物体和背景，得到较好的显著性检测结果。针对一些图像现有的显著性检测器无法得到较好的显著性检测结果，导致RGB显著性检测器失效的主要原因是，仅使用RGB无法提供有效的前景和背景区分能力。然而，目前一些显著性检测算法，仅仅将深度信息作为额外的特征计算前景区域和背景区域像素(或者超像素)之间的距离。但由于深度图只有一个通道，如何从单通道上提取有效特征比较困难。仅将深度图作为附加特征不能紧密地耦合RGB和深度信息。尽管在一些工作中已经验证了深度对于显著性检测的重要性，但由于缺少RGB-D数据，RGB-D显著性检测并不像RGB显著性检测那样流行。目前大多数RGB-D显著性检测器使用深度信息作为计算两个超像素之间距离的附加特征，这样无法有效的探索显著对象和RGB-D信息之间的关系。Qu等人通过CNN学习超像素的显著特征的组合[1]，以紧密耦合RGB和深度。Han等人提出了一种基于CNN的框架[2]，用于自动融合RGB和深度视图以获得显著性图。为了追求充分的融合，Chen等人提出了一种逐步互补的融合网络[3]。但这些方法都只是将RGB图像和深度图相结合，使用深度卷积网络直接输出显著性图，没有进一步利用深度图对显著性图进行优化。参考文献[1]L.Qu,S.He,J.Zhang,J.Tian,Y.Tang,andQ.Yang,Rgbdsalientobjectdetectionviadeepfusion,”IEEETransactionsonImageProcessing,vol.26,no.5,pp.2274–2285,2017.[2]J.Han,C.Hao,N.Liu,C.Yan,andX.Li,“Cnnsbasedrgb-dsaliencydetectionviacross-viewtransferandmultiviewfusion,”IEEETransactionsonCybernetics,vol.PP,no.99,pp.1–13,2017.[3]C.L.Y.ChenH.,“Progressivelycomplementarityawarefusionnetworkforrgb-dsalientobjectdetection,”inIEEEConferenceonComputerVisionandPatternRecognition,2018.
技术实现思路
本专利技术提供了一种基于多层融合的卷积神经网络RGB-D显著性检测方法，设计一个有效的CNN模型，融合RGB和深度信息，并捕获显著对象的多尺度特征，通过融合了从较高层到较低层的卷积特征，以解决显著性物体的尺度问题，详见下文描述：一种基于多层融合的卷积神经网络RGB-D显著性检测方法，所述方法包括：将VGG16网络中的全连层模块FC6和FC7转变为全卷积层、结合卷积层CONV1-CONV5组成新的卷积神经网络；对新的卷积神经网络依次进行降维和融合操作，得到初始迭代的显著性检测结果；采用迭代优化对初始迭代的显著性检测结果进行细化(细化后的结果用于下一次迭代使用)；采用不同的训练数据对新的卷积神经网络依次进行初始化训练、第一第二次微调训练；对训练后的结果，使用显著性物体的最小包围框，对输入图像进行剪切和镜面翻转，获取显著性检测结果。进一步地，所述新的卷积神经网络依次进行降维和融合操作具体为：使用通道数为60的3×3的卷积核分别对转化为全卷积层的FC7层、池化层pool4层、pool3层和pool2层(为VGG16网络中的公知池化层，本专利技术实施例对此不做赘述)进行降维操作，得到降维后通道数为60的新特征CFC7层、Cpool4层、Cpool3层和Cpool2层；从CFC7层开始逐渐融合尺度较小的Cpool4层、Cpool3层和Cpool2层的新特征。具体实现时，所述采用迭代优化对初始迭代的显著性检测结果进行细化具体为：使用深度图作为线索，对当前显著性图进行校正，给深度较小的像素赋予较大的显著性值。优选地，所述采用不同的训练数据对新的卷积神经网络依次进行初始化训练具体为：使用RGB图像、全零的显著性图和全零的深度图对所述新的卷积神经网络进行初始化。进一步地，所述采用不同的训练数据对新的卷积神经网络进行第一第二次微调训练具体为：使用RGB图像、初始化训练产生的显著性检测结果和全零的深度图，微调新的卷积神经网络；使用RGB图像、第一次微调产生的显著性检测结果和深度图，微调新的卷积神经网络。优选地，所述使用显著性物体的最小包围框，对输入图像进行剪切和镜面翻转具体为：通过剪切获取显著性物体的边界框，随机选取若干个开始和结束位置，采用水平翻转进一步扩展数据。本专利技术提供的技术方案的有益效果是：1、本专利技术采用多层融合的卷积神经网络结构，从高层开始逐步融合低层特征，迭代的优化显著性检测结果；2、本专利技术针对显著性检测的特点，提出了与图像分类不同的数据扩展方式，在扩展后的图像中保留了显著性物体的完整性；3、本专利技术利用多层融合的卷积神经网络的逐层抽象能力，有效的融合了RGB和深度信息，提升了显著性检测的结果。附图说明图1为本专利技术提出的网络结构示意图；图2为本专利技术提出的方法在不同迭代次数后得到的显著性检测结果示意图；图3为本专利技术提出方法和其他方法在公共数据集NJU400上的检测结果示意图；图4为本专利技术提出方法和其他方法在公共数据集NJU2000上的检测结果示意图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，下面对本专利技术实施方式作进一步地详细描述。实施例1一种基于多层融合的卷积神经网络RGB-D显著性检测方法，参见图1，该方法包括以下步骤：一、迭代优化检测到的显著物体本专利技术实施例中的RGB-D显著性检测的基本思想是使用循环卷积神经网络，迭代优化检测到的显著物体，形式化为：St＝φ(I,D,St-1；W)(1)其中，φ为网络模型函数，I为RGB图像，D为深度图，S为显著性检测结果，t为迭代次数，W为网络参数。二、网络基本架构参见图1，本专利技术实施例中的网络基本架构与VGG16网络结构相同(其中，VGG16网络结构主要包括：5个卷积层模块CONV1-CONV5、和两个全连层模块FC6、FC7，该VGG16网络结构为本领域技术人员所公知，本专利技术实施例对此不做赘述)，但本专利技术实施例将VGG16的全连层模块FC6和FC7转变为全卷积层。使用通道数为60的3×3的卷积核分别对转化为全卷积层的FC7层、池化层pool4层、pool3层和pool2层进行降维操作，用于减少FC7层、pool4层、pool3层和pool2层的特征的通道数，得到降维后通道数为60的新的特征CFC7层、Cpool4层、Cpool3层和Cpool2层。然后从CFC7层开始逐渐融合尺度较小的Cpool4层、Cpool3层和Cpool2层的新的特征，最后得到一次迭代的显著性检测结果。三、对显著性检测结果进行细化细本文档来自技高网...

【技术保护点】
1.一种基于多层融合的卷积神经网络RGB‑D显著性检测方法，其特征在于，所述方法包括：将VGG16网络中的全连层模块FC6和FC7转变为全卷积层、结合卷积层CONV1‑CONV5组成新的卷积神经网络；对新的卷积神经网络依次进行降维和融合操作，得到初始迭代的显著性检测结果；采用迭代优化对初始迭代的显著性检测结果进行细化；采用不同的训练数据对新的卷积神经网络依次进行初始化训练、第一第二次微调训练；对训练后的结果，使用显著性物体的最小包围框，对输入图像进行剪切和镜面翻转，获取显著性检测结果。

【技术特征摘要】
1.一种基于多层融合的卷积神经网络RGB-D显著性检测方法，其特征在于，所述方法包括：将VGG16网络中的全连层模块FC6和FC7转变为全卷积层、结合卷积层CONV1-CONV5组成新的卷积神经网络；对新的卷积神经网络依次进行降维和融合操作，得到初始迭代的显著性检测结果；采用迭代优化对初始迭代的显著性检测结果进行细化；采用不同的训练数据对新的卷积神经网络依次进行初始化训练、第一第二次微调训练；对训练后的结果，使用显著性物体的最小包围框，对输入图像进行剪切和镜面翻转，获取显著性检测结果。2.根据权利要求1所述的一种基于多层融合的卷积神经网络RGB-D显著性检测方法，其特征在于，所述新的卷积神经网络依次进行降维和融合操作具体为：使用通道数为60的3×3的卷积核分别对转化为全卷积层的FC7层、池化层pool4层、pool3层和pool2层进行降维操作，得到降维后通道数为60的新特征CFC7层、Cpool4层、Cpool3层和Cpool2层；从CFC7层开始逐渐融合尺度较小的Cpool4层、Cpool3层和Cpool2层的新特征。3.根据权利要求1所述的一种基于多层融合的卷积神经网...

【专利技术属性】
技术研发人员：黄睿，周末，
申请(专利权)人：中国民航大学，
类型：发明
国别省市：天津,12