多特征级联RGB-D显著性目标检测方法技术

本发明专利技术公开了一种特征级联RGB‑D显著性目标检测方法。选取RGB图像及其对应的深度图和真实显著性图像构成构成训练集，构建卷积神经网络，包括两个输入层、隐层和输出层，将训练集输入到卷积神经网络中进行训练，得到训练集中的每幅RGB图像对应的显著性预测图像，计算训练集中的每幅RGB图像对应的显著性预测图像与对应的真实显著性图像之间的损失函数值，不断训练取值最小的损失函数值对应的权值矢量和偏置项；待预测的RGB图像和深度图像输入到训练好的卷积神经网络训练模型中，得到预测分割图像。本发明专利技术模型结构新颖，经过模型处理之后得到的显著图与目标图相似率高。

Multi feature cascade rgb-d salient target detection method

【技术实现步骤摘要】
多特征级联RGB-D显著性目标检测方法
本专利技术涉及一种人眼显著性目标检测方法，尤其是涉及一种多特征级联RGB-D显著性目标检测方法。
技术介绍
显著性目标检测是图像处理的一个分支，也是计算机视觉的一个领域。从广义上说，计算机视觉就是赋予机器自然视觉能力的学科。自然视觉能力就是指生物视觉系统体现的视觉能力。实际上，计算机视觉本质上就是研究视觉感知问题。核心问题就是研究如何对输入的图像信息进行组织，对物体和场景进行识别，进而对图像内容给予解释。近几十年来，计算机视觉一直是人们越来越感兴趣和严格研究的课题。计算机视觉也越来越善于从图像中识别模式。甚至在各个领域都发挥了巨大作用，随着人工智能与计算机视觉技术的惊人成就在不同行业越来越普遍，计算机视觉的未来似乎充满了希望和难以想象的结果。而本文涉及到的显著性目标检测就是其中的一个分类，但也发挥着巨大的作用。显著性检测是一种预测人在图像中所处位置的方法，近年来引起了人们的广泛研究兴趣。它在图像分类、图像重定位和目标识别等诸多问题中起着重要的预处理作用。与RGB显著性检测不同的是，RGB显著性检测的研究较少。根据显著性的定义，显著性检测方法可以分为自顶向下方法和自底向上方法。自顶向下显著性检测是一种任务依赖的检测方法，它结合了高层次的特征来定位突出的目标。另一方面，自底向上的方法是无任务的，它利用低层次的特性从生物学角度来图出区域。
技术实现思路
为了解决
技术介绍
中的问题，本专利技术提供了一种多特征级联RGB-D显著性目标检测方法，经过模型处理之后得到的显著图与目标图相似率高，模型结构新颖。本专利技术采用的技术方案如下，包括以下步骤：步骤1_1：选取Q幅原始RGB图像及其对应的深度图，结合各幅原始RGB图像对应的真实显著性图像一起构成训练集；步骤1_2：构建卷积神经网络：卷积神经网络包括两个输入层、隐层和输出层，两个输入层连接到隐层的输入端，隐层的输出端连接到输出层；步骤1_3：将训练集中每幅原始RGB图像及其对应的深度图像，分别作为两个输入层的原始输入图像，输入到卷积神经网络中进行训练，得到训练集中的每幅原始RGB图像对应的预测显著性图像；计算训练集中的每幅原始RGB图像对应的预测显著性图像与对应的真实显著性图像之间的损失函数值，损失函数值采用BCE损失函数获得；步骤1_4：重复执行步骤1_3共V次，得到卷积神经网络分类训练模型，并共得到Q×V个损失函数值；然后从Q×V个损失函数值中找出值最小的损失函数值；接着将值最小的损失函数值对应的权值矢量和偏置项对应作为最优权值矢量和最优偏置项并替换训练好的卷积神经网络训练模型中的权值矢量和偏置项；步骤1_5：将待预测RGB图像及其对应的深度图像输入到训练好的卷积神经网络训练模型中，并利用最优权值矢量和最优偏置项进行预测，得到待预测RGB图像对应的预测显著性图像，从而实现显著性目标检测。所述步骤1_2中的两个输入层，第1个输入层是RGB图像输入层，第2个输入层是深度图像输入层；所述隐层包括RGB特征提取模块、深度特征提取模块、混合特征卷积层、细节信息处理模块、全局信息处理模块、SKNet网络模型和后处理模块；RGB特征提取模块包括四个依次连接的彩色图神经网络块、四个彩色注意力层、八个彩色上采样层、四个注意力卷积层和四个彩色卷积层；四个依次连接的彩色图神经网络块分别对应ResNet50中依次连接的四个模块，第一个彩色图神经网络块的输出分别连接至第一个RGB分支和第五个RGB分支，第二个彩色图神经网络块的输出分别连接至第二个RGB分支和第六个RGB分支，第三个彩色图神经网络块的输出分别连接至第三个RGB分支和第七个RGB分支，第四个彩色图神经网络块的输出分别连接至第四个RGB分支和第八个RGB分支；深度特征提取模块包括四个依次连接的深度图神经网络块、四个深度注意力层、八个深度上采样层、四个注意力卷积层和四个深度卷积层，四个依次连接的深度图神经网络块分别对应ResNet50中依次连接的四个模块，第一个深度图神经网络块的输出分别连接至第一个深度分支和第五个深度分支，第二个深度图神经网络块的输出分别连接至第二个深度分支和第六个深度分支，第三个深度图神经网络块的输出分别连接至第三个深度分支和第七个深度分支，第四个深度图神经网络块的输出分别连接至第四个深度分支和第八个深度分支；第一个RGB分支和第二个RGB分支的输出相乘后作为低级特征卷积层的其中一个输入，第一个深度分支和第二个深度分支的输出相乘后作为低级特征卷积层的另一个输入；第三个RGB分支和第四个RGB分支的输出相乘后作为高级特征卷积层的其中一个输入，第三个深度分支和第四个深度分支的输出相乘后作为高级特征卷积层的另一个输入；低级特征卷积层和高级特征卷积层的输出均输入混合特征卷积层；第五个RGB分支和第六个RGB分支的融合结果与第五个深度分支和第六个深度分支的融合结果相乘后输入细节信息处理模块；第七个RGB分支和第八个RGB分支的融合结果与第七个深度分支和第八个深度分支的融合结果相乘后输入全局信息处理模块；混合特征卷积层的输出和细节信息处理模块的输出融合后作为SKNet网络模型的其中一个输入，混合特征卷积层的输出和全局信息处理模块的输出融合后作为SKNet网络模型的另一个输入；后处理模块包括依次连接的第一个反卷积层和第二个反卷积层，后处理模块的输入为SKNet网络模型的输出，后处理模块的输出最后经输出层输出。所述第一个RGB分支包括依次连接的第一个彩色注意力层、第一个彩色上采样层和第一个注意力卷积层，第二个RGB分支包括依次连接的第二个彩色注意力层、第二个彩色上采样层和第二个注意力卷积层，第三个RGB分支包括依次连接的第三个彩色注意力层、第三个彩色上采样层和第三个注意力卷积层，第四个RGB分支包括依次连接的第四个彩色注意力层、第四个彩色上采样层和第四个注意力卷积层；第五个RGB分支包括依次连接的第一个彩色卷积层和第五个彩色上采样层，第六个RGB分支包括依次连接的第二个彩色卷积层和第六个彩色上采样层，第七个RGB分支包括依次连接的第三个彩色卷积层和第七个彩色上采样层，第八个RGB分支包括依次连接的第四个彩色卷积层和第八个彩色上采样层；所述第一个深度分支包括依次连接的第一个深度注意力层、第一个深度上采样层和第五个注意力卷积层，第二个深度分支包括依次连接的第二个深度注意力层、第二个深度上采样层和第六个注意力卷积层，第三个深度分支包括依次连接的第三个深度注意力层、第三个深度上采样层和第七个注意力卷积层，第四个深度分支包括依次连接的第四个深度注意力层、第四个深度上采样层和第八个注意力卷积层；第五个深度分支包括依次连接的第一个深度卷积层和第五个深度上采样层，第六个深度分支包括依次连接的第二个深度卷积层和第六个深度上采样层，第七个深度分支包括依次连接的第三个深度卷积层和第七个深度上采样层，第八个深度分支包括依次连接的第四个深度卷积层和第八个深度上采样层。所述细节信息处理本文档来自技高网...

【技术保护点】
1.一种多特征级联RGB-D显著性目标检测方法，其特征在于，包括以下步骤：/n步骤1_1：选取Q幅原始RGB图像及其对应的深度图，结合各幅原始RGB图像对应的真实显著性图像一起构成训练集；/n步骤1_2：构建卷积神经网络：卷积神经网络包括两个输入层、隐层和输出层，两个输入层连接到隐层的输入端，隐层的输出端连接到输出层；/n步骤1_3：将训练集中每幅原始RGB图像及其对应的深度图像，分别作为两个输入层的原始输入图像，输入到卷积神经网络中进行训练，得到训练集中的每幅原始RGB图像对应的预测显著性图像；计算训练集中的每幅原始RGB图像对应的预测显著性图像与对应的真实显著性图像之间的损失函数值，损失函数值采用BCE损失函数获得；/n步骤1_4：重复执行步骤1_3共V次，得到卷积神经网络分类训练模型，并共得到Q×V个损失函数值；然后从Q×V个损失函数值中找出值最小的损失函数值；接着将值最小的损失函数值对应的权值矢量和偏置项对应作为最优权值矢量和最优偏置项并替换训练好的卷积神经网络训练模型中的权值矢量和偏置项；/n步骤1_5：将待预测RGB图像及其对应的深度图像输入到训练好的卷积神经网络训练模型中，并利用最优权值矢量和最优偏置项进行预测，得到待预测RGB图像对应的预测显著性图像，从而实现显著性目标检测。/n...

【技术特征摘要】
1.一种多特征级联RGB-D显著性目标检测方法，其特征在于，包括以下步骤：
步骤1_1：选取Q幅原始RGB图像及其对应的深度图，结合各幅原始RGB图像对应的真实显著性图像一起构成训练集；
步骤1_2：构建卷积神经网络：卷积神经网络包括两个输入层、隐层和输出层，两个输入层连接到隐层的输入端，隐层的输出端连接到输出层；
步骤1_3：将训练集中每幅原始RGB图像及其对应的深度图像，分别作为两个输入层的原始输入图像，输入到卷积神经网络中进行训练，得到训练集中的每幅原始RGB图像对应的预测显著性图像；计算训练集中的每幅原始RGB图像对应的预测显著性图像与对应的真实显著性图像之间的损失函数值，损失函数值采用BCE损失函数获得；
步骤1_4：重复执行步骤1_3共V次，得到卷积神经网络分类训练模型，并共得到Q×V个损失函数值；然后从Q×V个损失函数值中找出值最小的损失函数值；接着将值最小的损失函数值对应的权值矢量和偏置项对应作为最优权值矢量和最优偏置项并替换训练好的卷积神经网络训练模型中的权值矢量和偏置项；
步骤1_5：将待预测RGB图像及其对应的深度图像输入到训练好的卷积神经网络训练模型中，并利用最优权值矢量和最优偏置项进行预测，得到待预测RGB图像对应的预测显著性图像，从而实现显著性目标检测。


2.根据权利要求1所述的一种多特征级联RGB-D显著性目标检测方法，其特征在于，所述步骤1_2中的两个输入层，第1个输入层是RGB图像输入层，第2个输入层是深度图像输入层；所述隐层包括RGB特征提取模块、深度特征提取模块、混合特征卷积层、细节信息处理模块、全局信息处理模块、SKNet网络模型和后处理模块；
RGB特征提取模块包括四个依次连接的彩色图神经网络块、四个彩色注意力层、八个彩色上采样层、四个注意力卷积层和四个彩色卷积层；四个依次连接的彩色图神经网络块分别对应ResNet50中依次连接的四个模块，第一个彩色图神经网络块的输出分别连接至第一个RGB分支和第五个RGB分支，第二个彩色图神经网络块的输出分别连接至第二个RGB分支和第六个RGB分支，第三个彩色图神经网络块的输出分别连接至第三个RGB分支和第七个RGB分支，第四个彩色图神经网络块的输出分别连接至第四个RGB分支和第八个RGB分支；
深度特征提取模块包括四个依次连接的深度图神经网络块、四个深度注意力层、八个深度上采样层、四个注意力卷积层和四个深度卷积层，四个依次连接的深度图神经网络块分别对应ResNet50中依次连接的四个模块，第一个深度图神经网络块的输出分别连接至第一个深度分支和第五个深度分支，第二个深度图神经网络块的输出分别连接至第二个深度分支和第六个深度分支，第三个深度图神经网络块的输出分别连接至第三个深度分支和第七个深度分支，第四个深度图神经网络块的输出分别连接至第四个深度分支和第八个深度分支；
第一个RGB分支和第二个RGB分支的输出相乘后作为低级特征卷积层的其中一个输入，第一个深度分支和第二个深度分支的输出相乘后作为低级特征卷积层的另一个输入；第三个RGB分支和第四个RGB分支的输出相乘后作为高级特征卷积层的其中一个输入，第三个深度分支和第四个深度分支的输出相乘后作为高级特征卷积层的另一个输入；
低级特征卷积层和高级特征卷积层的输出均输入混合特征卷积层；
第五个RGB分支和第六个RGB分支的融合结果与第五个深度分支和第六个深度分支的融合结果相乘后输入细节信息处理模块；第七个RGB分支和第八个RGB分支的融合结果与第七个深度分支和第八个深度分支的融合结果相乘后输入全局信息处理模块；
混合特征卷积层的输出和...

【专利技术属性】
技术研发人员：周武杰，潘思佳，林鑫杨，黄铿达，雷景生，何成，王海江，薛林林，
申请(专利权)人：浙江科技学院，
类型：发明
国别省市：浙江;33