一种多模态多拼接的RGB-D显著性目标检测方法技术

本发明专利技术公开了一种多模态多拼接的RGB

【技术实现步骤摘要】
一种多模态多拼接的RGB
‑
D显著性目标检测方法


[0001]本专利技术涉及图像检测领域，具体涉及一种多模态多拼接的RGB
‑
D显著性目标检测方法。

技术介绍

[0002]显著性目标检测是计算机视觉的一个重要组成部分，随着计算机视觉领域的不断发展，迫切需要效率更高，准确度更好的显著性目标检测方法。
[0003]在显著性检测发展的期间，各种方法层出不穷，例如利用了图像的颜色特征、位置信息、纹理特征等。一些传统方法更是采用中心先验、边缘先验、语义先验等。但是由于图像中的颜色场景非常复杂，对象和背景之间没有明显的对比时，这些模型经常会失败，光是靠这些特征很难分辨相近似的物体。

技术实现思路

[0004]为解决上述问题，本专利技术提供了一种多模态多拼接的RGB
‑
D显著性目标检测方法，可以快速高效实现显著性目标的检测，且可以显著性检测的精度。
[0005]同时利用可见光摄像头与近红外摄像头的互补性，利用深度学习算法同时对可见光人脸图片进行特征提取，最后使用融合算法对深度学习模型提取到的特征进行得分层次的融合，起到一个优势互补的作用。
[0006]为实现上述目的，本专利技术采取的技术方案为：一种多模态多拼接的RGB
‑
D显著性目标检测方法，包括如下步骤：S1、将图像划分不重叠子区域，分别提取各个图像子区域的RGB图像颜色信息、Depth图像深度信息、对称不变LBP特征，并基于对称不变LBP特征形成区域直方图；S2、基于类条件互信息熵度量RGB图像颜色信息、Depth图像深度信息、区域直方图的相关性,利用自适应的得分融合算法实现RGB图像颜色信息、Depth图像深度信息、区域直方图在得分层次进行融合，求出每个图像子区域的最终的得分；S3、基于每个图像子区域的最终得分实现图像的显著性目标检测。
[0007]进一步地，所述步骤S1中，基于深度卷积网络实现各个子区域的RGB图像颜色信息、Depth图像深度信息、对称不变LBP特征的提取。
[0008]进一步地，所述步骤S1中，首先基于Dssd_ Xception _coco模型实现图像内载目标的检测，然后基于目标的检测结果实现图像子区域的划分。
[0009]进一步地，每一个目标配置一图像子区域，剩余背景配置一图像子区域。
[0010]进一步地，所述Dssd_ Xception _coco模型采用DSSD目标检测算法，用coco数据集预训练Xception神经网络，然后用先前准备好的数据集训练该模型，微调深度神经网络中的各项参数，最后得到合适的用于检测图像内载各目标的检测模型。
[0011]进一步地，所述步骤S3中，基于ResNet50模型根据每个图像子区域的最终得分实现图像的显著性目标检测。
[0012]进一步地，还包括：实现图像人眼观测角度的识别的步骤，不同的人眼观测角度对应不同的图像偏转角度调整模型，基于图像偏转角度模型实现图像偏转角度的调整本专利技术具有以下有益效果：可以快速高效实现显著性目标的检测，且可以显著性检测的精度。
附图说明
[0013]图1为本专利技术实施例1一种多模态多拼接的RGB
‑
D显著性目标检测方法的流程图图2为本专利技术实施例2一种多模态多拼接的RGB
‑
D显著性目标检测方法的流程图。
具体实施方式
[0014]为了使本专利技术的目的及优点更加清楚明白，以下结合实施例对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。
[0015]实施例1一种多模态多拼接的RGB
‑
D显著性目标检测方法，包括如下步骤：S1、将图像划分不重叠子区域，分别提取各个图像子区域的RGB图像颜色信息、Depth图像深度信息、对称不变LBP特征，并基于对称不变LBP特征形成区域直方图；S2、基于类条件互信息熵度量RGB图像颜色信息、Depth图像深度信息、区域直方图的相关性,利用自适应的得分融合算法实现RGB图像颜色信息、Depth图像深度信息、区域直方图在得分层次进行融合，求出每个图像子区域的最终的得分；S3、基于ResNet50模型根据每个图像子区域的最终得分实现图像的显著性目标检测。
[0016]本实施例中，所述步骤S1中，基于深度卷积网络实现各个子区域的RGB图像颜色信息、Depth图像深度信息、对称不变LBP特征的提取。
[0017]本实施例中，所述步骤S1中，首先基于Dssd_ Xception _coco模型实现图像内载目标的检测，然后基于目标的检测结果实现图像子区域的划分。每一个目标配置一图像子区域，剩余背景配置一图像子区域。所述Dssd_ Xception _coco模型采用DSSD目标检测算法，用coco数据集预训练Xception神经网络，然后用先前准备好的数据集训练该模型，微调深度神经网络中的各项参数，最后得到合适的用于检测图像内载各目标（比如人物、树木、家具等）的检测模型。
[0018]实施例2一种多模态多拼接的RGB
‑
D显著性目标检测方法，包括如下步骤：S1、实现图像人眼观测角度的识别，不同的人眼观测角度对应不同的图像偏转角度调整模型，基于图像偏转角度模型实现图像偏转角度的调整；S2、将图像划分不重叠子区域，分别提取各个图像子区域的RGB图像颜色信息、Depth图像深度信息、对称不变LBP特征，并基于对称不变LBP特征形成区域直方图；S3、基于类条件互信息熵度量RGB图像颜色信息、Depth图像深度信息、区域直方图的相关性,利用自适应的得分融合算法实现RGB图像颜色信息、Depth图像深度信息、区域直方图在得分层次进行融合，求出每个图像子区域的最终的得分；
S4、基于ResNet50模型根据每个图像子区域的最终得分实现图像的显著性目标检测。
[0019]本实施例中，所述步骤S1中，基于深度卷积网络实现各个子区域的RGB图像颜色信息、Depth图像深度信息、对称不变LBP特征的提取。
[0020]本实施例中，所述步骤S1中，首先基于Dssd_ Xception _coco模型实现图像内载目标的检测，然后基于目标的检测结果实现图像子区域的划分，每一个目标配置一图像子区域，剩余背景配置一图像子区域。所述Dssd_ Xception _coco模型采用DSSD目标检测算法，用coco数据集预训练Xception神经网络，然后用先前准备好的数据集训练该模型，微调深度神经网络中的各项参数，最后得到合适的用于检测图像内载各目标（比如人物、树木、家具等）的检测模型。
[0021]以上所述仅是本专利技术的优选实施方式，应当指出，对于本
的普通技术人员来说，在不脱离本专利技术原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本专利技术的保护范围。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多模态多拼接的RGB
‑
D显著性目标检测方法，其特征在于，包括如下步骤：S1、将图像划分不重叠子区域，分别提取各个图像子区域的RGB图像颜色信息、Depth图像深度信息、对称不变LBP特征，并基于对称不变LBP特征形成区域直方图；S2、基于类条件互信息熵度量RGB图像颜色信息、Depth图像深度信息、区域直方图的相关性,利用自适应的得分融合算法实现RGB图像颜色信息、Depth图像深度信息、区域直方图在得分层次进行融合，求出每个图像子区域的最终的得分；S3、基于每个图像子区域的最终得分实现图像的显著性目标检测。2.如权利要求1所述的一种多模态多拼接的RGB
‑
D显著性目标检测方法，其特征在于，所述步骤S1中，基于深度卷积网络实现各个子区域的RGB图像颜色信息、Depth图像深度信息、对称不变LBP特征的提取。3.如权利要求1所述的一种多模态多拼接的RGB
‑
D显著性目标检测方法，其特征在于，所述步骤S1中，首先基于Dssd_ Xception _coco模型实现图像内载目标的检测，然后基于目标的检测...

【专利技术属性】
技术研发人员：陈莉，赵志华，
申请(专利权)人：西北大学，
类型：发明
国别省市：