双目图像匹配方法、装置、设备及介质制造方法及图纸

本申请实施例提供了双目图像匹配方法、装置、设备及介质；其中方法包括获取双目图像；对双目图像进行特征提取处理得到多张不同尺度的特征图，对多张特征图进行融合处理得到多张融合特征图；根据多张融合特征图生成多个类型不同的代价体；由沙漏模块根据代价体聚合得到目标代价体；由多个代价体合并得到源代价体；由注意力模块根据源代价体和目标代价体生成第一目标代价体；由沙漏模块根据第一目标代价体聚合得到第二目标代价体；根据第二目标代价体进行视觉回归处理得到视差图；能够关注双目图像匹配过程中代价体的有用信息，提升视差图生成效率，提升视差图的质量。提升视差图的质量。提升视差图的质量。

【技术实现步骤摘要】
双目图像匹配方法、装置、设备及介质


[0001]本申请实施例涉及但不限于图像处理领域，尤其涉及双目图像匹配方法、装置、设备及介质。

技术介绍

[0002]双目图像立体匹配，也指视差估计，通常旨在获得左右输入图像对之间的视差，在视觉处理领域和机械人应用领域发挥着作用。获得高精度的结果通常需要大量耗时的计算成本，同样地反复聚合富含特征信息的混合型代价体有助于获得相对准确的视差，但是需要耗费大量的计算资源，并且导致运行速度变慢，这阻碍了双目图像匹配模型以更高效的方式获得结果。

技术实现思路

[0003]以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。
[0004]本申请实施例提供了双目图像匹配方法、装置、设备及介质，能够关注双目图像匹配过程中代价体的有用信息，提升视差图的质量。
[0005]本申请的第一方面的实施例，一种双目图像匹配方法，包括：
[0006]获取双目图像；
[0007]对所述双目图像进行特征提取处理得到多张不同尺度的特征图，对多张所述特征图进行融合处理得到多张融合特征图；
[0008]根据多张所述融合特征图生成多个类型不同的代价体；
[0009]由沙漏模块根据所述代价体聚合得到目标代价体；
[0010]由多个所述代价体合并得到源代价体；
[0011]由注意力模块根据所述源代价体和所述目标代价体生成第一目标代价体；
[0012]由沙漏模块根据所述第一目标代价体聚合得到第二目标代价体；
[0013]根据所述第二目标代价体进行视觉回归处理得到视差图。
[0014]本申请的第一方面的某些实施例，所述代价体包括相减型代价体、连接合并型代价体和分组相关性代价体；所述根据多张所述融合特征图生成多个类型不同的代价体，包括：
[0015]由第一功能函数根据多张所述融合特征图生成所述相减型代价体；
[0016]由第二功能函数根据多张所述融合特征图生成所述连接合并型代价体；
[0017]由第三功能函数根据多张所述融合特征图生成所述分组相关性代价体。
[0018]本申请的第一方面的某些实施例，所述由多个所述代价体合并得到源代价体，包括：
[0019]由所述相减型代价体、所述连接合并型代价体和所述分组相关性代价体合并得到类型为混合型代价体的源代价体。
[0020]本申请的第一方面的某些实施例，所述注意力模块包括3D卷积层、激活函数层和相乘层；所述由注意力模块根据所述源代价体和所述目标代价体生成第一目标代价体，具体为：所述源代价体经所述3D卷积层和所述激活函数层处理后的结果和所述目标代价体输入至所述相乘层进行相乘处理，生成第一目标代价体。
[0021]本申请的第一方面的某些实施例，所述沙漏模块包括9个3D卷积块、2个3D反卷积块、2个注意力模块、2个激活函数层；第一个3D卷积块的输出作为第二个3D卷积块和第一个右支路的3D卷积块的输入；第二个3D卷积块的输出作为第三个3D卷积块和第一个左支路的3D卷积块的输入；第三个3D卷积块的输出和第一个右支路的3D卷积块的输出连接合并的结果作为第一个注意力模块的输入；第一个注意力模块的输出作为第四个3D卷积块、第二个右支路的3D卷积块和第二个左支路的3D卷积块的输入；第四个3D卷积块的输出作为第五个3D卷积块的输入，第五个3D卷积块的输出和第二个右支路的3D卷积块的输出连接合并的结果作为第二个注意力模块的输入，第二个注意力模块的输出作为第一个3D反卷积块的输入；第一个3D反卷积块的输出与第二个左支路的3D卷积块的输出连接合并的结果作为第一个激活函数层的输入，第一个激活函数层的输出作为第二个3D反卷积块的输入，第二个3D反卷积块的输出和第一个左支路的3D卷积块的输出连接合并的结果作为第二个激活函数的输入。
[0022]本申请的第一方面的某些实施例，所述3D卷积块包括3D卷积层、批标准化层和激活函数层。
[0023]本申请的第一方面的某些实施例，所述3D反卷积块包括3D反卷积层和批标准化层。
[0024]本申请的第二方面的实施例，一种双目图像匹配装置包括：
[0025]图像获取单元，用于获取双目图像；
[0026]特征提取单元，用于对所述双目图像进行特征提取处理得到多张不同尺度的特征图，对多张所述特征图进行融合处理得到多张融合特征图；
[0027]代价体生成单元，用于根据多张所述融合特征图生成多个类型不同的代价体；
[0028]目标代价体生成单元，用于由沙漏模块根据所述代价体聚合得到目标代价体；
[0029]源代价体生成单元，用于由多个所述代价体合并得到源代价体；
[0030]第一目标代价体生成单元，用于由注意力模块根据所述源代价体和所述目标代价体生成第一目标代价体；
[0031]第二目标代价体生成单元，用于由沙漏模块根据所述第一目标代价体聚合得到第二目标代价体；
[0032]视差图生成单元，用于根据所述第二目标代价体进行视觉回归处理得到视差图。
[0033]本申请的第三方面的实施例，一种电子设备，包括存储器、处理器、存储在所述存储器上并可在所述处理器上运行的程序以及用于实现所述处理器和所述存储器之间的连接通信的数据总线，所述程序被所述处理器执行时实现如上所述的双目图像匹配方法。
[0034]本申请的第四方面的实施例，一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如上所述的双目图像匹配方法。
[0035]上述方案至少具有以下的有益效果：通过注意力模块强调和关注所需信息并且抑制无用信息，减少聚合代价体过程的计算量，并保留混合型代价体的优点，以生成更好的第
一目标代价体；通过增加了注意力模块的沙漏模块能够在迭代过程中向特征消息少于其他类型代价体的相减型代价体提供和存储更多有用的信息数据，强调沙漏模块中相减型代价体的有用信息并抑制的有害消息的传播，以生成更好的第二目标代价体，进而提升视差图生成效率和提升视差图的质量。
附图说明
[0036]附图用来提供对本申请技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本申请的技术方案，并不构成对本申请技术方案的限制。
[0037]图1是本申请的实施例所提供的双目图像匹配方法的步骤图；
[0038]图2是注意力模块的结构图；
[0039]图3是沙漏模块的结构图；
[0040]图4是双目图像匹配方法对应的网络结构的示意图。
具体实施方式
[0041]为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
[0042]需要说明的是，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种双目图像匹配方法，其特征在于，包括：获取双目图像；对所述双目图像进行特征提取处理得到多张不同尺度的特征图，对多张所述特征图进行融合处理得到多张融合特征图；根据多张所述融合特征图生成多个类型不同的代价体；由沙漏模块根据所述代价体聚合得到目标代价体；由多个所述代价体合并得到源代价体；由注意力模块根据所述源代价体和所述目标代价体生成第一目标代价体；由沙漏模块根据所述第一目标代价体聚合得到第二目标代价体；根据所述第二目标代价体进行视觉回归处理得到视差图。2.根据权利要求1所述的一种双目图像匹配方法，其特征在于，所述代价体包括相减型代价体、连接合并型代价体和分组相关性代价体；所述根据多张所述融合特征图生成多个类型不同的代价体，包括：由第一功能函数根据多张所述融合特征图生成所述相减型代价体；由第二功能函数根据多张所述融合特征图生成所述连接合并型代价体；由第三功能函数根据多张所述融合特征图生成所述分组相关性代价体。3.根据权利要求2所述的一种双目图像匹配方法，其特征在于，所述由多个所述代价体合并得到源代价体，包括：由所述相减型代价体、所述连接合并型代价体和所述分组相关性代价体合并得到类型为混合型代价体的源代价体。4.根据权利要求1所述的一种双目图像匹配方法，其特征在于，所述注意力模块包括3D卷积层、激活函数层和相乘层；所述由注意力模块根据所述源代价体和所述目标代价体生成第一目标代价体，具体为：所述源代价体经所述3D卷积层和所述激活函数层处理后的结果和所述目标代价体输入至所述相乘层进行相乘处理，生成第一目标代价体。5.根据权利要求1所述的一种双目图像匹配方法，其特征在于，所述沙漏模块包括9个3D卷积块、2个3D反卷积块、2个注意力模块、2个激活函数层；第一个3D卷积块的输出作为第二个3D卷积块和第一个右支路的3D卷积块的输入；第二个3D卷积块的输出作为第三个3D卷积块和第一个左支路的3D卷积块的输入；第三个3D卷积块的输出和第一个右支路的3D卷积块的输出连接合并的结果作为第一个注意力模块的输入；第一个注意力模块的输出作为第四个3D卷积块、第二个右支路的3D...

【专利技术属性】
技术研发人员：常青玲，崔岩，戴成林，许璟恒，刘兴林，
申请(专利权)人：广东四维看看智能设备有限公司，
类型：发明
国别省市：