【技术实现步骤摘要】
本专利技术属于计算机视觉领域，尤其涉及一种基于边界融合的接地设备相连螺栓可见光深度图像语义分割方法。
技术介绍
1、图像语义分割是将图像中每个像素与特定的类标签关联起来，从图像中推理出高层语义。语义分割是计算机视觉研究中的一个重要领域，其主要任务是让计算机能够知道图像中每个像素“是什么”，语义分割是图像理解的基石性技术，在智能视觉监控、人机交互、虚拟现实和智能机器人中具有举足轻重的作用。
2、目前主流的图像语义分割模型是与深度学习相结合而形成的，在这种模型中，通过卷积神经网络和深度学习等方法对像素的特征进行提取，并以此训练模型，最后逐一标注像素语义结果，然而，该模型只是简单的从像素的角度去提取特征，忽略了对象的整体性特性。接地设备相连螺栓图像大多都是颜色和纹理相近，容易造成图像对象的丢失从而导致语义分割精度不足，并且在接地设备安装完成后的验收通常是人工验收，存在效率低，精度低的问题。因此需要一种能够更加充分地融合图像特征以及精确分割相似图像的图像语义分割方法，对提升接地扁铁设备的安装验收效率具有重要意义。
技术实现思路
1、本专利技术所要解决的技术问题是：在接地设备相连螺栓可见光深度图像语义分割过程中，如何将加深图像特征和深度特征的融合，从而提高对于相似纹理图像的语义分割精度，为后续测量提供准确的数据。
2、为解决上述技术问题，本专利技术提供一种接地设备相连螺栓可见光深度图像语义分割方法，包括以下步骤：
3、步骤s1：获取包含接地扁铁相连螺栓的r
4、步骤s2：对训练数据集进行预处理并获取各训练图像的边界信息；
5、步骤s3：使用步骤s22预处理后的训练数据集中训练图像对rgb-d语义分割模型中的编码模块、解码模块以及多特征融合模块进行训练，得到所述rgb-d语义分割模型；
6、步骤s4：将待进行语义分割的接地设备相连螺栓图像数据输入模型得到预测的图像语义分割结果。
7、前述的一种接地设备相连螺栓可见光深度图像语义分割方法，在步骤s1中，具体步骤为：
8、步骤s11：分别通过rgb相机和深度传感器对接地设备相连螺栓进行拍摄，捕捉到其rgb图像以及相应的深度图像；
9、步骤s12：使用标注工具对步骤s11所获得的图片进行标注，得到先验图像语义分割信息；
10、步骤s13：根据步骤s11、步骤s12中所获得的rgb-d图像和先验图像语义分割信息得到所需的训练数据集。
11、前述的一种接地设备相连螺栓可见光深度图像语义分割方法，在步骤s2中，具体步骤为：
12、步骤s21：获取步骤s1中所得到的训练数据集；
13、步骤s22：对训练数据集使用直方图均衡化的方法进行预处理；
14、步骤s23：利用基于canny算子的边缘检测算法，计算得到各训练图像的边界信息。
15、前述的一种接地设备相连螺栓可见光深度图像语义分割方法，在步骤s3中，具体步骤为：
16、步骤s31：使用编码模块对rgb图像和深度图像的特征进行分别提取；
17、步骤s32：使用特征融合模块对两特征图像进行融合输出；
18、步骤s33：将特征图输入解码模块，分别得到训练图像的语义分割预测结果和边界预测结果；
19、步骤s34：利用损失函数去计算图像语义分割预测结果与预先标注的图像语义分割信息之间的误差；
20、步骤s35：利用训练数据集多次重复执执行步骤31至步骤s34，直至所述模型的误差满足预设的误差条件，最终得到优化的rgb-d语义分割模型。
21、前述的一种接地设备相连螺栓可见光深度图像语义分割方法，在步骤s31中，利用两个平行排列的残差网络resnet组成一双路编码模块，分别接收rgb图像和深度图像，当rgb图像与深度图像被送入两个残差网络中，经过卷积和池化操作分别得到相应的rgb图像特征与深度图像特征。
22、前述的一种接地设备相连螺栓可见光深度图像语义分割方法，在步骤s32中，在双路编码模块的每一层网络后面引用注意力辅助模块，得到每一层网络新的特征图，对于步骤s31得到的某一特征图a∈rc×h×w，首先对特征图a进行全局平均池化，得到一个大小为c×1×1的特征图b，第m个通道特征图表示如下：
23、
24、在公式(1)其中：i∈{1,2,3,…,h}，j∈{1,2,3,…,w}，h、w依次代表特征图a的高度和宽度，对于特征图a，r表示特征图维度，c为通道数；
25、保持特征图b的通道数c不变，加入一元卷积层用来确定通道间的权重分布，然后，在卷积结果上使用sigmoid激活函数得到约束权重向量的值，并使约束权重向量的值保持在[0，1]之间，σ是sigmoid激活函数，此过程可由公式(2)表示：
26、s＝σ(f(b)) (2)
27、f(b)表示一元卷积操作；
28、最后，将约束值s与输入特征图a进行叉乘，得到一个包含更多有用信息的特征图a*，其表达式为：
29、a*＝a×σ(f(b)) (3)
30、将rgb特征图像和深度特征图像输出映射按照设定比率输入注意力辅助机制融合语义特征，得到全局特征图。
31、前述的一种接地设备相连螺栓可见光深度图像语义分割方法，在步骤s33中，将步骤s32中得到的特征图输入双路解码模块，双路解码模块由语义分支和边界分支两个分支构成，语义分支负责从rgb图像和深度图像中提取语义信息，并利用所述语义信息生成语义预测结果；边界分支通过分析rgb图像和深度图像的边缘，确定图像中不同区域之间的边界，并输出边界的语义预测结果；将经过特征融合后得到的全局特征图输入至语义分支以及边界分支，分别得到训练图像的语义分割预测结果y2和边界预测结果y4。
32、前述的一种接地设备相连螺栓可见光深度图像语义分割方法，在步骤s34中，利用损失函数计算图像语义分割预测结果与预先标注的图像语义分割信息之间的误差；
33、依据步骤s33中得到的图像语义分割预测结果y2和步骤s12中得到的先验的图像语义分割信息y1，利用dice系数损失函数得到两者之间的误差x1；
34、
35、∩表示交操作、∪表示并操作；
36、依据步骤s33中得到的边界预测结果y4和步骤s1中得到的训练图像的边界信息y3，利用boundary loss损失函数得到两者之间的误差x2；
37、x2＝max{0，1-y3y4}(5)
38、将由两种不同的损失函数所得到的误差相加得到所需rgb-d语义分割模型的总误差：
39、l＝a1x1+a2x2(6)
40、在公式(6)中l表示整个rgb-d语义分割模型的总误差；x1，x2分别表示所述预测语义分割结果与所述先验本文档来自技高网...
【技术保护点】
1.一种接地设备相连螺栓可见光深度图像语义分割方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种接地设备相连螺栓可见光深度图像语义分割方法，在步骤S1中，具体步骤为：
3.根据权利要求2所述的一种接地设备相连螺栓可见光深度图像语义分割方法，在步骤S2中，具体步骤为：
4.根据权利要求3所述的一种接地设备相连螺栓可见光深度图像语义分割方法，在步骤S3中，具体步骤为：
5.根据权利要求4所述的一种接地设备相连螺栓可见光深度图像语义分割方法，在步骤S31中，利用两个平行排列的残差网络ReSNet组成一双路编码模块，分别接收RGB图像和深度图像，当RGB图像与深度图像被送入两个残差网络中，经过卷积和池化操作分别得到相应的RGB图像特征与深度图像特征。
6.根据权利要求5所述的一种接地设备相连螺栓可见光深度图像语义分割方法，在步骤S32中，在双路编码模块的每一层网络后面引用注意力辅助模块，得到每一层网络新的特征图，对于步骤S31得到的某一特征图A∈RC×H×W，首先对特征图A进行全局平均池化，得到一个大小为C×1×1的
7.根据权利要求6所述的一种接地设备相连螺栓可见光深度图像语义分割方法，在步骤S33中，将步骤S32中得到的特征图输入双路解码模块，双路解码模块由语义分支和边界分支两个分支构成，语义分支负责从RGB图像和深度图像中提取语义信息，并利用所述语义信息生成语义预测结果；边界分支通过分析RGB图像和深度图像的边缘，确定图像中不同区域之间的边界，并输出边界的语义预测结果；将经过特征融合后得到的全局特征图输入至语义分支以及边界分支，分别得到训练图像的语义分割预测结果Y2和边界预测结果Y4。
8.根据权利要求7所述的一种接地设备相连螺栓可见光深度图像语义分割方法，在步骤S34中，利用损失函数计算图像语义分割预测结果与预先标注的图像语义分割信息之间的误差；
9.根据权利要求8所述的一种接地设备相连螺栓可见光深度图像语义分割方法，在步骤S4中，具体步骤为：
...【技术特征摘要】
1.一种接地设备相连螺栓可见光深度图像语义分割方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种接地设备相连螺栓可见光深度图像语义分割方法，在步骤s1中，具体步骤为：
3.根据权利要求2所述的一种接地设备相连螺栓可见光深度图像语义分割方法，在步骤s2中，具体步骤为：
4.根据权利要求3所述的一种接地设备相连螺栓可见光深度图像语义分割方法，在步骤s3中，具体步骤为：
5.根据权利要求4所述的一种接地设备相连螺栓可见光深度图像语义分割方法，在步骤s31中，利用两个平行排列的残差网络resnet组成一双路编码模块，分别接收rgb图像和深度图像，当rgb图像与深度图像被送入两个残差网络中，经过卷积和池化操作分别得到相应的rgb图像特征与深度图像特征。
6.根据权利要求5所述的一种接地设备相连螺栓可见光深度图像语义分割方法，在步骤s32中，在双路编码模块的每一层网络后面引用注意力辅助模块，得到每一层网络新的特征图，对于步骤s31得到的...
【专利技术属性】
技术研发人员：董景，薛黎，许斌，孙志强，王琳，汤思成，汪垟言，金杰，侯庆军，王继龙，李庆武，徐畅，李骁，
申请(专利权)人：常州常供电力设计院有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。