基于视差净化的二型残差双目显着物体图像分割方法技术

本发明专利技术公开了一种基于视差净化的二型残差双目显着物体图像分割方法。训练阶段：采集物体图像建立训练集；构建二型残差网络：将彩色图和视差图输入残差双流网络预训练，输出双流预测分割图；将彩色图输入残差单流网络预训练，输出单流预测分割图；计算两个损失值并反向传播训练两个残差双单流网络，调整网络模型参数；测试阶段：对待显着分割的物体图像，将视差图输入视差净化选择器输出互获得正负样本，合并双流显着性预测图与单流显着性预测图得到预测结果集合。本发明专利技术拥有残差网络高效且完整提取的特点，减少了下采样的操作，避免了信息的弥散，结果更接近真实的人类观察物体的情况，解决了3D信息存在噪声的问题，获得了更精确的分割结果。

【技术实现步骤摘要】
基于视差净化的二型残差双目显着物体图像分割方法
本专利技术涉及一种基于双目视觉的立体图像处理方法，尤其是涉及一种基于视差净化的二型残差双目显着物体图像分割方法。
技术介绍
长久以来，人们一直希望得到能够模拟真实情况下人类观察物体习惯的算法。而其中以显着性来检测物体是非常常见且在行为模拟上取得巨大成功的一个研究分支。人类视觉系统在判断所接收的视觉信息的时候，都会有次序的对接收到的物体信息进行排列。从而优先对其认为重要的物体进行处理。近年来，随着深度学习技术和3D设备和技术的不断发展，显着性物体检测取得了重大突破。现有的3D技术主要以深度图和视差图为主，其提供了物体的距离信息。这是一个非常重要的信息，因为其解决了人类习惯性观察距离较近物体这一关键的问题。但不论是那种信息，都不可避免的存在信息的噪声问题。有些甚至会出现非显着的物体距离最近从而对深度学习算法出现干扰和污染的情况。因此，设计一种能够判断视差图的质量是否足够，其包含的信息能否对整个神经网络带来正面的帮助的算法是一个很好的改进途径。
技术实现思路
r>本专利技术所要解本文档来自技高网...

【技术保护点】
1.一种基于视差净化的二型残差双目显着物体图像分割方法，分为训练阶段和测试阶段的两个阶段，其特征在于：/n所述的训练阶段过程的具体步骤为：/n步骤1_1：采集物体图像或基于公开数据集建立训练集，物体图像包括彩色图和视差图；/n步骤1_2：构建基于视差净化的二型残差网络：/n所述的基于视差净化的二型残差网络主要由三部分组成，三部分分别为视差净化(DDU)选择器、残差双流网络和残差单流网络；/n步骤1_3：将训练集中彩色图和视差图作为训练样本输入残差双流网络中进行预训练，输出双流预测分割图

【技术特征摘要】
1.一种基于视差净化的二型残差双目显着物体图像分割方法，分为训练阶段和测试阶段的两个阶段，其特征在于：
所述的训练阶段过程的具体步骤为：
步骤1_1：采集物体图像或基于公开数据集建立训练集，物体图像包括彩色图和视差图；
步骤1_2：构建基于视差净化的二型残差网络：
所述的基于视差净化的二型残差网络主要由三部分组成，三部分分别为视差净化(DDU)选择器、残差双流网络和残差单流网络；
步骤1_3：将训练集中彩色图和视差图作为训练样本输入残差双流网络中进行预训练，输出双流预测分割图同时将训练集中的彩色图作为训练样本输入残差单流网络中进行预训练，输出单流预测分割图
步骤1_4：利用损失函数计算双流预测分割图和单流预测分割图分别与已标注的标签图之间的损失值，得到残差双流网络的损失值Loss1和残差单流网络的损失值loss2，通过两个损失值Loss1、Loss2进行反向传播分别训练两个残差双流网络和残差单流网络，得到预训练好的两个残差双流网络和残差单流网络，分别调整出双流残差网络最优的网络模型参数Wop1和单流残差网络最优的网络模型参数Wop2；
所述的测试阶段过程的具体步骤为：
步骤2_1：针对待显着分割的物体图像{X(i,j)}，将物体图像中的视差图输入到训练好的视差净化选择器输出互获得正负样本的结果：
若输出判断为正样本，则将物体图像中的彩色图和视差图一起输入到残差双流网络中进行预测处理，输出得到双流显著性预测图{XPre(i,j)}；
若输出判断为负样本，则仅将物体图像中的彩色图输入到残差单流网络中进行预测处理，输出得到单流显著性预测图{SPre{i,j}}；
步骤2_2：最终合并双流显着性预测图{XPre(i,j)}与单流显着性预测图{SPre{i,j}}得到了预测结果集合{Pre{i,j}}，预测结果集合{Pre{i,j}}即为对原始的物体图像进行分割的结果。


2.根据权利要求1所述的一种基于视差净化的二型残差双目显着物体图像分割方法，其特征在于：
所述的视差净化选择器具体包括二值化处理模块、相似度处理模块、决策树和阈值判断模块；其中二值化处理模块、相似度处理模块在训练阶段是一同连接到决策树的输入端，决策树的输出端和阈值判断模块始终连接，并采用以下方式处理训练：一方面将物体图像中的视差图和对应的标签图输入相似度处理模块处理，通过计算S-measure值，获得视差图和标签图之间的相似度值Sm作为决策树训练的标签，并且另一方面将视差图使用Otsu算法进行二值化，获得视差图的目标区域和背景区域，分别计算视差图二值化后像素为目标区域所对应原来未二值化的原始视差图在该区域所有像素的方差He和视差图二值化后像素为背景区域所对应原来未二值化的原始视差图在该区域所有像素的方差Em；最后构造一个树深为3的决策树，以两个方差He值和Em作为决策树的输入，相似度值Sm作为决策树的监督，进行训练从而得到一个能够估计视差图S-measure值的决策树；最后，根据设置阈值判断模块判断为：当S-measure小于或等于0.45时，该视差图为质量不合格的负样本，当S-measure值大于0.45时，该样本为质量合格的正样本。


3.根据权利要求1所述的一种基于视差净化的二型残差双目显着物体图像分割方法，其特征在于：
所述的残差双流网络包含八个Res2net模块、八个educe卷积模块、四个GFU模块、两个卷积模块和一个上采样神经网络模块；彩色图输入到第一卷积模块，第一卷积模块的输出依次经第一Res2net模块、第二Res2net模块、第三Res2net模块传递处理后输入到第四Res2net模块，第一Res2net模块、第二Res2net模块、第三Res2net模块和第四Res2net模块的输出分别经各自的第四educe卷积模块、第三educe卷积模块、第二educe卷积模块、第一educe卷积模块；视差图输入到第二卷积模块，第二卷积模块的输出依次经第八Res2net模块、第七Res2net模块、第六Res2net模块传递处理后输入到第五Res2net模块，第八Res2net模块、第七Res2net模块、第六Res2net模块和第五Res2net模块的输出分别经各自的第八reduce卷积模块、第七reduce卷积模块、第六reduce卷积模块、第五reduce卷积模块后连接输入到第四GFU模块、第三GFU模块、第二GFU模块、第一GFU模块；第一GFU模块的输出连接输入到第二GFU模块，第二GFU模块的输出连接输入到第三GFU模块，第三GFU模块的输出连接输入到第四GFU模块，第...

【专利技术属性】
技术研发人员：周武杰，陈昱臻，雷景生，郭翔，王海江，何成，周扬，
申请(专利权)人：浙江科技学院，
类型：发明
国别省市：浙江;33