【技术实现步骤摘要】
本专利技术属于计算机，具体的说是一种基于边缘强化模块的rgbd图像实例分割方法。
技术介绍
1、随着深度学习的突破和卷积神经网络的日益突出，计算机视觉界在实例分割方面取得了巨大进展。但具体来说，这些令人印象深刻的作品的主要焦点在于rgb图像的分析。然而，在许多真实的计算机视觉场景中，很少处于这样单一的二维图像中。相反，对于与智能机器人相关的应用，如自主导航和无序抓取等任务，仅仅使用二维物体检测系统是不够的，分析和理解rgbd(rgb彩色图像和depth深度图像，rgbd)多模态信息已经变得更重要。
2、而且，仅使用rgb图像进行实例分割的缺点是，在不同对比度场景下，rgb图像提供的颜色和纹理信息难以反映实例之间的几何结构信息，尤其在实例的边缘容易出现严重的误分割。随着深度相机的普及，引入深度信息提出rgbd图像实例分割方法被越来越多研究人员关注。然而，大部分网络无法合理地融合rgb和深度信息。
技术实现思路
1、为解决上述技术问题，本专利技术提供了一种基于边缘强化模块的rgbd图像实例分割方法，能够更好地适应不同光照和复杂环境情况，改善了每个实例边缘处的分割效果，并大幅提升整体分割的miou指标。
2、本专利技术技术方案结合附图说明如下：
3、一种基于边缘强化模块的rgbd图像实例分割方法，包括以下步骤：
4、步骤一、输入场景rgb图像和深度图像，计算图像对应的灰度边缘图与深度边缘图；再将rgb图像和深度图像分别输入彩色特征提取网络和
5、步骤二、将灰度边缘图与深度边缘图输入边缘强化模块，分别输出灰度边缘权重图与深度边缘权重图，再分别与步骤一中所得到的尺度最大的特征图，即第一个彩色特征图和第一个深度特征图做元素乘法运算然后相加得到rgbd边缘强化特征图；
6、步骤三、将步骤二得到的rgbd边缘强化特征图与第一个尺度的彩色特征图和第一个尺度的深度特征图相加得到第一个尺度的融合特征图，将其余四个尺度的彩色特征图和深度特征图相加得到对应的四个尺度的融合特征图；
7、步骤四、将五个尺度的融合特征图分别传入检测分支得到检测框和分类结果，然后将检测分支中生成的分割特征图传入分割分支，由分割分支得到分割掩码图，综合两分支的输出最终得到实例分割结果。
8、进一步的，所述步骤一的具体方法如下：
9、11)利用opencv4中的cvtcolor函数将rgb图的色彩空间转至灰度图gray；灰度图gray的表达式如下：
10、gray＝0.299×r+0.587×g+0.114×b
11、式中，r、g、b分别对应rgb图像的r通道、g通道、b通道图像；
12、12)分别计算灰度图和深度图的边缘图，具体计算步骤如下：
13、对于尺寸为m×n的单通道图像，计算图像中每个像素点的左梯度图和右梯度图和的计算式如下：
14、
15、
16、式中，和和是分别用于计算和水平和垂直一阶差分的线性运算符，计算式如下：
17、
18、
19、
20、
21、式中，ui为被计算的第i个像素的像素值；ua(i)、ub(i)、uc(i)、ud(i)分别为位于ui左侧、上方、右侧、下方的最近邻像素；
22、13)将和逐像素进行或操作得到完整边缘图ue；由灰度图计算得出的边缘图记作ue(g)，深度图采用相同计算得出的边缘图记作ue(d)；
23、14)使用resnet-50加fpn作为彩色特征提取网络，在fpn的输出处获取五个从大到小尺度的彩色特征图；使用resnet-34加fpn作为深度特征提取网络，在fpn的输出处获取五个从大到小尺度的深度特征图。
24、进一步的，述步骤二的具体方法如下：
25、21)将灰度边缘图与深度边缘图输入边缘强化模块，分别输出灰度边缘权重图与深度边缘权重图；
26、所述边缘强化模块分为三个阶段，在第一阶段，对输入的灰度边缘图ue(g)和深度边缘图ue(d)进行特征提取，计算式如下：
27、
28、
29、式中，kn×n()为卷积核大小为n×n的卷积操作；为卷积核大小为n×n且扩大率为2的空洞卷积操作；relu(x)为rectified linear unit(relu)激活函数，数学表达式为：
30、relu(x)＝max(0,x)
31、即当输入x大于等于0时，输出为x，否则输出为0；
32、第二阶段，输入w1(g)和w1(d)至第二计算模块，计算式如下：
33、
34、
35、第三阶段，输入w2(g)和w2(d)至第三计算模块，输出最终灰度边缘权重图we(g)与深度边缘权重图we(d)，增加了一层卷积核为1×1的卷积层，计算式如下：
36、
37、
38、22)根据we(g)、we(d)以及从特征提取网络得到的第一尺度彩色特征图和第一尺度深度特征图计算得出rgbd边缘强化特征图fe(rgbd)，表达式如下：
39、
40、式中，为逐像素位置相乘的操作；为逐像素位置相加的操作。
41、进一步的，所述步骤三的具体方法如下：
42、31)第一尺度的特征融合图是由rgbd边缘强化特征图fe(rgbd)、第一尺度的彩色特征图以及第一尺度的深度特征图计算得出的，表达式如下：
43、
44、32)第二到第五尺度的特征融合图分别由第二到第五尺度的彩色特征图以及第二到第五尺度的深度特征图计算得出的，表达式如下：
45、
46、进一步的，所述步骤四的具体方法如下：
47、41)将五个尺度的融合特征图分别传入检测分支，检测分支包含两个阶段；
48、在检测分支的第一阶段中，先采用rpn网络得到不同尺度的融合特征图中不同尺度的特征区域，然后对特征区域进行裁剪，裁剪后对目标特征区域统一缩放至7*7大小，对分割特征区域统一缩放至14*14大小，输出固定大小的目标特征图和分割特征图；
49、在检测分支的第二阶段中，目标特征图经过输出节点为4的全连接操作得到检测框，经过输出节点为类别数的全连接操作得到分类结果；
50、42)将检测分支第一阶段生成的分割特征图传入分割分支，在分割分支中，分割特征图依次经过四个卷积模块、一个卷积核大小为2×2的转置卷积操作和一次relu激活函数，最后经过一个卷积核大小为1×1的卷积操作得到分割掩码图；
51、43)综合检测分支与分割分支两分支的输出即检测分支输出的检测框与分割分支输出的分割掩码得到实例分割结果。
52、进一步的，所述卷积模块包含了一个卷积核大小为3×3的卷积操作和一个re本文档来自技高网...
【技术保护点】
1.一种基于边缘强化模块的RGBD图像实例分割方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于边缘强化模块的RGBD图像实例分割方法，其特征在于，所述步骤一的具体方法如下：
3.根据权利要求2所述的一种基于边缘强化模块的RGBD图像实例分割方法，其特征在于，所述步骤二的具体方法如下：
4.根据权利要求1所述的一种基于边缘强化模块的RGBD图像实例分割方法，其特征在于，所述步骤三的具体方法如下：
5.根据权利要求2所述的一种基于边缘强化模块的RGBD图像实例分割方法，其特征在于，所述步骤四的具体方法如下：
6.根据权利要求5所述的一种基于边缘强化模块的RGBD图像实例分割方法，其特征在于，所述卷积模块包含了一个卷积核大小为3×3的卷积操作和一个ReLU激活函数。
【技术特征摘要】
1.一种基于边缘强化模块的rgbd图像实例分割方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于边缘强化模块的rgbd图像实例分割方法，其特征在于，所述步骤一的具体方法如下：
3.根据权利要求2所述的一种基于边缘强化模块的rgbd图像实例分割方法，其特征在于，所述步骤二的具体方法如下：
4.根据权利要求1所述的一种基于边...
【专利技术属性】
技术研发人员：李岩，李鑫，范玉魁，施日生，姜慧，张子扬，
申请(专利权)人：深圳市华成工业控制股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。