面向超高速运动场景的双目脉冲深度数据采集方法及装置制造方法及图纸

本申请涉及一种面向超高速运动场景的双目脉冲深度数据采集方法及装置。其中，所述方法包括：采集运动场景下的双目脉冲信号；对所述双目脉冲信号进行特征提取，获取所述运动场景下的脉冲信号降维特征；根据所述脉冲信号降维特征和注意力机制模型，预估所述运动场景下的双目脉冲特征点匹配关系；对所述双目脉冲特征点匹配关系进行视差回归计算，确定所述运动场景下的预估深度图。本申请可有效地解决传统相机在高速运动模糊、过曝光或低光照等运动场景下无法进行深度估计的问题。景下无法进行深度估计的问题。景下无法进行深度估计的问题。

【技术实现步骤摘要】
面向超高速运动场景的双目脉冲深度数据采集方法及装置


[0001]本专利技术涉及计算机视觉
，更为具体来说，本专利技术涉及一种面向超高速运动场景的双目脉冲深度数据采集方法及装置。

技术介绍

[0002]深度估计是一个长期存在且具有挑战性的问题，例如在自动驾驶、机器人和医疗诊断等多种应用中都需要使用到深度估计。实际上，传统的基于帧的相机在快速运动场景中存在深度估计的局限性，导致了使用模糊图像时性能急剧下降的问题。

技术实现思路

[0003]本申请实施例提供了一种面向超高速运动场景的双目脉冲深度数据采集方法及装置。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。
[0004]第一方面，本申请实施例提供了一种面向超高速运动场景的双目脉冲深度数据采集方法，该方法包括：
[0005]采集运动场景下的双目脉冲信号；
[0006]对所述双目脉冲信号进行特征提取，获取所述运动场景下的脉冲信号降维特征；
[0007]根据所述脉冲信号降维特征和注意力机制模型，预估所述运动场景下的双目脉冲特征点匹配关系；
[0008]对所述双目脉冲特征点匹配关系进行视差回归计算，确定所述运动场景下的预估深度图。
[0009]可选的，所述采集运动场景下的双目脉冲信号，包括：
[0010]通过神经形态视觉传感器采集所述运动场景下的双目脉冲信号。
[0011]可选的，所述对所述双目脉冲信号进行特征提取，获取所述运动场景下的脉冲信号降维特征，包括：
[0012]通过脉冲编码器将所述双目脉冲信号累积为积分帧；
[0013]将所述积分帧输入沙漏模型，输出所述运动场景下的脉冲信号降维特征。
[0014]可选的，所述注意力机制模型包括自注意力机制与交叉注意力机制；其中，
[0015]所述自注意力机制在同一脉冲信号上，计算自特征注意力矩阵，通过所述自特征注意力矩阵捕捉所述脉冲信号和所述脉冲信号降维特征的内部相关性；
[0016]所述交叉注意力机制在所述双目脉冲信号上，计算交叉特征注意力矩阵，通过所述交叉特征注意力矩阵捕捉所述双目脉冲信号之间的像素坐标点的特征相关性。
[0017]将所述自注意力机制与所述交叉注意力机制交替连接，组成所述注意力机制模型。
[0018]可选的，所述根据所述脉冲信号降维特征和注意力机制模型，预估所述运动场景
下的双目脉冲特征点匹配关系，包括：
[0019]将所述脉冲信号降维特征输入所述注意力机制模型；
[0020]将所述注意力机制模型输出的最后一轮所述交叉特征注意力矩阵作为所述双目脉冲特征点匹配关系。
[0021]可选的，所述对所述双目脉冲特征点匹配关系进行视差回归计算，确定所述运动场景下的预估深度图，包括：
[0022]对所述双目脉冲特征点匹配关系进行所述视差回归计算，得到所述运动场景下的视差；
[0023]根据所述视差，推出所述运动场景下的预估深度图。
[0024]可选的，所述方法还包括：
[0025]在采集所述双目脉冲信号的同时，通过时钟同步技术采集所述运动场景下的真实深度图；
[0026]将所述真实深度图与所述预估深度图进行比较，确定所述预估深度图的准确性。
[0027]第二方面，本申请实施例提供了一种面向超高速运动场景的双目脉冲深度数据采集装置，该装置包括：
[0028]采集模块，用于采集运动场景下的双目脉冲信号；
[0029]特征提取模块，用于对所述双目脉冲信号进行特征提取，获取所述运动场景下的脉冲信号降维特征；
[0030]匹配关系确定模块，用于根据所述脉冲信号降维特征和注意力机制模型，预估所述运动场景下的双目脉冲特征点匹配关系；
[0031]深度确定模块，用于对所述双目脉冲特征点匹配关系进行视差回归计算，确定所述运动场景下的预估深度图。
[0032]第三方面，本申请实施例提供一种计算机存储介质，计算机存储介质存储有多条指令，指令适于由处理器加载并执行上述的方法步骤。
[0033]第四方面，本申请实施例提供一种终端，可包括：处理器和存储器；其中，存储器存储有计算机程序，计算机程序适于由处理器加载并执行上述的方法步骤。
[0034]本申请实施例提供的技术方案可以包括以下有益效果：
[0035]在本申请实施例中，所述面向超高速运动场景的双目脉冲深度数据采集方法及装置。通过神经形态视觉传感器采集运动场景下的双目脉冲信号，对所述双目脉冲信号进行特征提取，获取所述运动场景下的脉冲信号降维特征；根据所述脉冲信号降维特征和注意力机制模型，预估所述运动场景下的双目脉冲特征点匹配关系；对所述双目脉冲特征点匹配关系进行视差回归计算，确定所述运动场景下的预估深度图。本申请可有效地解决传统相机在高速运动模糊、过曝光或低光照等运动场景下无法进行深度估计的问题；能够使用神经形态视觉传感器解决动态物体和静态物体的深度估计问题。
[0036]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本专利技术。
附图说明
[0037]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本专利技术的实施
例，并与说明书一起用于解释本专利技术的原理。
[0038]图1是本申请实施例提供的一种面向超高速运动场景的双目脉冲深度数据采集方法的流程示意图；
[0039]图2是本申请实施例提供的一种面向超高速运动场景的双目脉冲深度数据采集方法的框架图；
[0040]图3是本申请实施例提供的一种面向超高速运动场景的双目脉冲深度数据采集方法的注意力机制模型的框架图；
[0041]图4是本申请实施例提供的一种面向超高速运动场景的双目脉冲深度数据采集装置的装置示意图；
[0042]图5是本申请实施例提供的一种终端示意图。
具体实施方式
[0043]以下描述和附图充分地示出本专利技术的具体实施方案，以使本领域的技术人员能够实践它们。
[0044]应当明确，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本专利技术保护的范围。
[0045]下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本专利技术相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本专利技术的一些方面相一致的系统和方法的例子。
[0046]在本专利技术的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本专利技术中的具体含义。此本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向超高速运动场景的双目脉冲深度数据采集方法，其特征在于，包括以下步骤：采集运动场景下的双目脉冲信号；对所述双目脉冲信号进行特征提取，获取所述运动场景下的脉冲信号降维特征；根据所述脉冲信号降维特征和注意力机制模型，预估所述运动场景下的双目脉冲特征点匹配关系；对所述双目脉冲特征点匹配关系进行视差回归计算，确定所述运动场景下的预估深度图。2.根据权利要求1所述的双目脉冲深度数据采集方法，其特征在于，所述采集运动场景下的双目脉冲信号，包括：通过神经形态视觉传感器采集所述运动场景下的双目脉冲信号。3.根据权利要求1所述的双目脉冲深度数据采集方法，其特征在于，所述对所述双目脉冲信号进行特征提取，获取所述运动场景下的脉冲信号降维特征，包括：通过脉冲编码器将所述双目脉冲信号累积为积分帧；将所述积分帧输入沙漏模型，输出所述运动场景下的脉冲信号降维特征。4.根据权利要求3所述的双目脉冲深度数据采集方法，其特征在于，所述注意力机制模型包括自注意力机制与交叉注意力机制；其中，所述自注意力机制在同一脉冲信号上，计算自特征注意力矩阵，通过所述自特征注意力矩阵捕捉所述脉冲信号和所述脉冲信号降维特征的内部相关性；所述交叉注意力机制在所述双目脉冲信号上，计算交叉特征注意力矩阵，通过所述交叉特征注意力矩阵捕捉所述双目脉冲信号的像素坐标点之间的特征相关性。将所述自注意力机制与所述交叉注意力机制交替连接，组成所述注意力机制模型。5.根据权利要求4所述的双目脉冲深度数据采集方法，其特征在于，所述根据所述脉冲信号降维特征和注意力机制模型，预估所述运动场景下的双目脉冲特征点匹配关系，包括：将所述脉冲信号降维特征输入...

【专利技术属性】
技术研发人员：田永鸿，王艺璇，李家宁，朱林，项锡捷，
申请(专利权)人：北京大学，
类型：发明
国别省市：