【技术实现步骤摘要】
本专利技术属于工业零件双目匹配，具体涉及一种基于全局信息感知的工业零件双目匹配方法及装置。
技术介绍
1、双目匹配是传统三维重建中用于估计目标物体深度的部分，即采用双目匹配算法估计物体的深度。
2、目前，为了使估计物体的深度的准确性保持在较高水准，对传统的双目匹配算法的鲁棒性要求比较高，但是，在对不可见部分的建模的场景中，传统双目匹配算法就很难凭借“经验”来估计物体的深度，主要因素是传统立体匹配对于场景处理能力有限，尤其在处理遮挡、缺乏特征的区域或具有重复纹理的区域时，往往表现效果不佳。
技术实现思路
1、针对上述现有技术的不足，本专利技术提供一种基于全局信息感知的工业零件双目匹配方法及装置。
2、本专利技术的目的是通过以下技术方案实现的：
3、根据本说明书的第一方面，提供一种基于全局信息感知的工业零件双目匹配方法，包括以下步骤：
4、步骤s1，将关于工业零件的双目散斑数据输入基于深度级可分离卷积的多尺度金字塔残差网络，分别输出左图特征集fl、右图特征集fr；
5、步骤s2，分别取左图特征集fl的尺度特征、右图特征集fr的尺度特征输入分组关联代价体构建分支，并与左图特征集fl共同输入沙漏网络进行代价聚合，得到聚合后的代价体ca；
6、步骤s3，将代价体ca输入分类模块后回归得到各像素初始视差dinit；
7、步骤s4，将左图特征集fl进行下采样后，输入由一系列通道transformer模块形成u型结
8、步骤s5，先使用轻量级3d正则化网络r处理所述步骤s2中得到的代价体ca，得到几何编码体cg，然后将所述代价体ca和所述几何编码体cg编码组合，得到金字塔型组合几何编码体cgeo；
9、步骤s6，先将所述步骤s4中得到的自注意力特征隐藏状态hcat作为初始隐藏状态h0和初始单元状态c0，自注意力特征偏置向量bcat作为初始单元偏置向量b0，然后将所述像素初始视差dini和所述金字塔型组合几何编码体cgeo与初始隐藏状态h0和初始单元状态c0以及初始单元偏置向量b0共同输入循环迭代网络中，每一次循环都会输出细化的视差图dn，下一时刻的隐藏状态hn+1和下一时刻单元状态cn+1，n为当前的迭代次数；
10、步骤s7，对将所述视差图dn作为这一次迭代初始视差dinit，上一次迭代输出的隐藏状态hn+1作为该次迭代输入的隐藏状态hn，上一次迭代输出的单元状态cn+1作为该次迭代输入的单元状态cn，共同输入循环迭代网络中，直到最后一次迭代输出最终的视差图dpre，得到工业零件双目匹配模型；根据由工业零件双目匹配模型得到的视差图dpre，获得图像中工业零件的深度。
11、进一步地，所述步骤s1中基于深度级可分离卷积的多尺度金字塔残差网络基于倒置残差结构，倒置残差结构的主分支具有三个卷积，中间的卷积通道使用深度分离卷积结构，中间的卷积通道数较多，而旁边的卷积通道数相对较小，所述多尺度金字塔残差网络将6层倒置残差结构中相邻2层为一个区块(即第0层与第1层为一个区块，第1层与第2层为一个区块，第2层与第3层为一个区块，以此类推)，分成5个区块，所述多尺度金字塔残差网络将输入的图像首先通过卷积层和归一化层进行处理，然后依次通过区块零到区块四进行特征提取，得到不同尺度的粗特征x32、粗特征x16、粗特征x8和粗特征x4，在这个过程中，每一层的输出都被保存下来，用于后面的反卷积操作，然后，将粗特征x32和粗特征x16，粗特征x16和粗特征x8，粗特征x8和粗特征x4分别通过反卷积层进行上采样和特征融合，最后输出不同尺度的特征。
12、进一步地，先将所述步骤s2中左图特征集fl和右图特征集fr、最大视差maxdisp以及分组数量num_groups作为输入，然后构建一个分组视差卷积体，所述分组视差卷积体的每一层都是一个分组相关图，表示参考图像和目标图像在某个视差下的分组相关性，为了计算这些相关图，函数会遍历所有可能的视差，然后计算它们的逐元素乘积，并在每个组内的通道上求平均，这个函数实现的是分组特征图的相关性计算，用于测量两个特征图在每个组内的相似性；在计算相关图时，函数会根据当前的视差对特征图进行相应的平移，测量分组视差。
13、进一步地，在所述步骤s4中引入一种仅依赖信道数量的计算复杂度线性机制，具体如下：
14、
15、其中，fsq是用于减少计算复杂性，使输出的形状与期望的形状匹配，以便进行矩阵乘法的操作，uc为卷积输入；
16、首先，对每个信道进行全局平均池化操作，将每个特征映射压缩成一个单一的数值，然后，将得到的向量通过一个有两个全连接层组成的小型网络，第一个全连接层将向量的维度降低，然后第二个全连接层将维度提升回原来的大小，最后，将原始特征映射的每个信道乘以对应的权重。
17、进一步地，所述步骤s5中3d正则化网络r使用从立体图像中的左图特征集fl计算出权重，利用权重来调整代价体ca的通道，以进行成本聚合；对于尺度为的代价体ci，其中，i依次取4、8、16、32，引导代价体的激励c′i表示为:
18、c′i＝σ(fl,i)⊙ci
19、其中，σ为sigmoid函数，⊙为哈达玛积。
20、进一步地，在所述步骤s6中，采用迭代模块的多尺度设计，迭代模块由三个不同尺度的lstm模块组成，分别为图像分辨率大小的和每一个lstm模块都与相邻不同尺度的lstm模块相互作用；
21、通过引入一个额外的隐藏状态c，隐藏状态h用于通过视差头生成更新矩阵，而新引入的隐藏状态c仅用于跨迭代传递信息：
22、ct+1＝ct*σ(ff(ht)+b)+σ(fi(ht)+b)*θ(fc(ht)+b)
23、ht+1＝σ(fo(ht)+b)*θ(ct+1)
24、其中σ为sigmoid函数，θ为tanh函数，ct为当前时刻的跨迭代传递的信息，ct+1为下一时刻的跨迭代传递的信息，ht为当前时刻用于生成差异的更新矩阵，ht+1为下一时刻用于生成差异的更新矩阵，b为单元偏置向量，ff、fi、fc、fo为可学习权重。
25、进一步地，所述步骤s7中工业零件双目匹配模型的损失函数为：
26、
27、
28、其中是初始视差dinit和视差真值dgt之间的误差损失，由和细化视差di与视差真值dgt之间的误差损失的和组成，n为迭代次数，i为当前迭代次数，di为当前迭代次数的细化的视差图，γ＝0.9，使得迭代次数越靠后的细化的视差图所占的权重越大。
29、根据本说明书的第二方面，提供一种基于全局信息感知的工业零件双目匹配方法，包括以下步骤：
30、步骤s1，将关于工业零件的双目散斑数据输入基于本文档来自技高网...
【技术保护点】
1.一种基于全局信息感知的工业零件双目匹配方法，其特征在于，包括：
2.根据权利要求1所述的基于全局信息感知的工业零件双目匹配方法，其特征在于，所述步骤S1中基于深度级可分离卷积的多尺度金字塔残差网络基于倒置残差结构，倒置残差结构的主分支具有三个卷积，中间的卷积通道使用深度分离卷积结构，中间的卷积通道数较多，而旁边的卷积通道数相对较小，所述多尺度金字塔残差网络将6层倒置残差结构中相邻2层为一个区块，分成5个区块，所述多尺度金字塔残差网络将输入的图像首先通过卷积层和归一化层进行处理，然后依次通过区块零到区块四进行特征提取，得到不同尺度的粗特征x32、粗特征x16、粗特征x8和粗特征x4，在这个过程中，每一层的输出都被保存下来，用于后面的反卷积操作，然后，将粗特征x32和粗特征x16，粗特征x16和粗特征x8，粗特征x8和粗特征x4分别通过反卷积层进行上采样和特征融合，最后输出不同尺度的特征。
3.根据权利要求1所述的基于全局信息感知的工业零件双目匹配方法，其特征在于，先将所述步骤S2中左图特征集Fl和右图特征集Fr、最大视差maxdisp以及分组数量num_
4.根据权利要求1所述的基于全局信息感知的工业零件双目匹配方法，其特征在于，在所述步骤S4中引入一种仅依赖信道数量的计算复杂度线性机制，具体如下：
5.根据权利要求1所述的基于全局信息感知的工业零件双目匹配方法，其特征在于，所述步骤S5中3D正则化网络R使用从立体图像中的左图特征集Fl计算出权重，利用权重来调整代价体CA的通道，以进行成本聚合；对于尺度为的代价体Ci，其中，i依次取4、8、16、32，引导代价体的激励C′i表示为:
6.根据权利要求1所述的基于全局信息感知的工业零件双目匹配方法，其特征在于，在所述步骤S6中，采用迭代模块的多尺度设计，迭代模块由三个不同尺度的LSTM模块组成，分别为图像分辨率大小的和每一个LSTM模块都与相邻不同尺度的LSTM模块相互作用；
7.根据权利要求1所述的基于全局信息感知的工业零件双目匹配方法，其特征在于，所述步骤S7中工业零件双目匹配模型的损失函数为：
8.一种基于全局信息感知的工业零件双目匹配方法，其特征在于，其特征在于，包括以下步骤：
9.一种基于全局信息感知的工业零件双目匹配装置，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，其特征在于，所述处理器执行所述可执行代码时，用于实现如权利要求1-8中任一项所述的基于全局信息感知的工业零件双目匹配方法。
...【技术特征摘要】
1.一种基于全局信息感知的工业零件双目匹配方法，其特征在于，包括：
2.根据权利要求1所述的基于全局信息感知的工业零件双目匹配方法，其特征在于，所述步骤s1中基于深度级可分离卷积的多尺度金字塔残差网络基于倒置残差结构，倒置残差结构的主分支具有三个卷积，中间的卷积通道使用深度分离卷积结构，中间的卷积通道数较多，而旁边的卷积通道数相对较小，所述多尺度金字塔残差网络将6层倒置残差结构中相邻2层为一个区块，分成5个区块，所述多尺度金字塔残差网络将输入的图像首先通过卷积层和归一化层进行处理，然后依次通过区块零到区块四进行特征提取，得到不同尺度的粗特征x32、粗特征x16、粗特征x8和粗特征x4，在这个过程中，每一层的输出都被保存下来，用于后面的反卷积操作，然后，将粗特征x32和粗特征x16，粗特征x16和粗特征x8，粗特征x8和粗特征x4分别通过反卷积层进行上采样和特征融合，最后输出不同尺度的特征。
3.根据权利要求1所述的基于全局信息感知的工业零件双目匹配方法，其特征在于，先将所述步骤s2中左图特征集fl和右图特征集fr、最大视差maxdisp以及分组数量num_groups作为输入，然后构建一个分组视差卷积体，所述分组视差卷积体的每一层都是一个分组相关图，表示参考图像和目标图像在某个视差下的分组相关性，为了计算这些相关图，函数会遍历所有可能的视差，然后计算它们的逐元素乘积，并在每个组内的通道上求平均，这个函数实现的是分组特征图的相关性计算，用于测量两个特征图...
【专利技术属性】
技术研发人员：田彦，林毅龙，邢龙，许嘉辉，薛鹏程，魏博，
申请(专利权)人：浙江工商大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。