基于事件相机的姿态估计方法、装置、设备及存储介质制造方法及图纸

本申请提供了一种基于事件相机的姿态估计方法、装置、设备及存储介质，该方法包括：获取对应于姿态估计时间区间的起始时刻和终止时刻的APS图像对，以及获取关联于姿态估计时间区间的第一区间事件数据和第二区间事件数据；根据第一区间事件数据中多个子区间事件数据生成第一事件图像组，根据第二区间事件数据中多个子区间事件数据生成第二事件图像组；基于APS图像对进行特征提取，得到APS图像特征，基于第一事件图像组以及第二事件图像组进行特征提取，得到事件图像特征；对APS图像特征及事件图像特征进行特征过滤及融合，得到融合特征；基于融合特征进行姿态回归，得到系统姿态变化数据。由此，可以有效提高姿态估计的精度和稳定性。和稳定性。和稳定性。

【技术实现步骤摘要】
基于事件相机的姿态估计方法、装置、设备及存储介质


[0001]本申请涉及运动估计
，尤其涉及一种基于事件相机的姿态估计方法、装置、设备及存储介质。

技术介绍

[0002]目前，视觉里程计(VO，Visual Odometry)被广泛应用于无人驾驶车辆、无人机、机器人等设备的导航定位中，目前主流的视觉里程计实现方法主要是基于图像中物体的几何特性来估计相机的姿态，所以要求图像含有大量稳定的纹理特征，一旦场景中出现遮挡物或在雾天雨天取景，在没有其他传感器(IMU、激光、雷达等)的情况下，几何法的求解精度都会受到很严重的干扰，导致运动估计的准确性较低。

技术实现思路

[0003]本申请实施例提供了一种基于事件相机的姿态估计方法、装置、设备及存储介质，至少能够解决相关技术中基于图像中物体的几何特性来进行运动估计，所导致的估计结果的准确性较低的问题。
[0004]本申请实施例第一方面提供了一种基于事件相机的姿态估计方法，包括：分别获取对应于姿态估计时间区间的起始时刻和终止时刻的两张APS图像组成APS图像对，以及获取关联于姿态估计时间区间的第一区间事件数据和第二区间事件数据；根据所述第一区间事件数据中多个子区间事件数据生成第一事件图像组，以及根据所述第二区间事件数据中多个子区间事件数据生成第二事件图像组；基于所述APS图像对进行特征提取，得到APS图像特征，以及基于所述第一事件图像组以及所述第二事件图像组进行特征提取，得到事件图像特征；对所述APS图像特征以及所述事件图像特征进行特征过滤及融合，得到融合特征；基于所述融合特征进行姿态回归，得到系统姿态变化数据。
[0005]本申请实施例第二方面提供了一种基于事件相机的姿态估计装置，包括：获取模块，用于分别获取对应于姿态估计时间区间的起始时刻和终止时刻的两张APS图像组成APS图像对，以及获取关联于姿态估计时间区间的第一区间事件数据和第二区间事件数据；生成模块，用于根据所述第一区间事件数据中多个子区间事件数据生成第一事件图像组，以及根据所述第二区间事件数据中多个子区间事件数据生成第二事件图像组；提取模块，用于基于所述APS图像对进行特征提取，得到APS图像特征，以及基于所述第一事件图像组以及所述第二事件图像组进行特征提取，得到事件图像特征；融合模块，用于对所述APS图像特征以及所述事件图像特征进行特征过滤及融合，得到融合特征；估计模块，用于基于所述融合特征进行姿态回归，得到系统姿态变化数据。
[0006]本申请实施例第三方面提供了一种电子设备，包括：存储器及处理器，其中，处理器用于执行存储在存储器上的计算机程序，处理器执行计算机程序时，实现上述本申请实施例第一方面提供的姿态估计方法中的各步骤。
[0007]本申请实施例第四方面提供了一种计算机可读存储介质，其上存储有计算机程
序，计算机程序被处理器执行时，实现上述本申请实施例第一方面提供的姿态估计方法中的各步骤。
[0008]由上可见，根据本申请方案所提供的基于事件相机的姿态估计方法、装置、设备及存储介质，分别获取对应于姿态估计时间区间的起始时刻和终止时刻的两张APS图像组成APS图像对，以及获取关联于姿态估计时间区间的第一区间事件数据和第二区间事件数据；根据第一区间事件数据中多个子区间事件数据生成第一事件图像组，以及根据第二区间事件数据中多个子区间事件数据生成第二事件图像组；基于APS图像对进行特征提取，得到APS图像特征，以及基于第一事件图像组以及第二事件图像组进行特征提取，得到事件图像特征；对APS图像特征以及事件图像特征进行特征过滤及融合，得到融合特征；基于融合特征进行姿态回归，得到系统姿态变化数据。通过本申请方案的实施，结合事件相机和标准相机两者收集的数据共同估计系统在运动过程中的姿态变化，当系统处于高速和高动态范围的场景下，可以提供更多运动信息用以估计系统自身的姿态变化，有效提高了姿态估计的精度和稳定性。
附图说明
[0009]图1为本申请一实施例提供的应用场景的场景示意图；
[0010]图2为本申请一实施例提供的电子设备的结构示意图；
[0011]图3为本申请一实施例提供的姿态估计方法的基本流程示意图；
[0012]图4为本申请一实施例提供的一种姿态估计神经网络的结构示意图；
[0013]图5为本申请一实施例提供的姿态估计方法的细化流程示意图；
[0014]图6为本申请一实施例提供的姿态估计装置的程序模块示意图。
具体实施方式
[0015]为使得本申请的专利技术目的、特征、优点能够更加的明显和易懂，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而非全部实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0016]在本申请实施例的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
[0017]下面将结合附图详细说明本申请实施例的一种基于事件相机的姿态估计方法、装置、设备及存储介质。
[0018]为了解决相关技术中基于图像中物体的几何特性来进行运动估计，所导致的估计结果的准确性较低的问题，本申请一实施例提供了一种基于事件相机的姿态估计方法，应用于如图1所示的场景，在该应用场景中，可以包括APS(Active
‑
Pixel Sensor，有源像素传感器)相机101、事件相机102以及电子设备103。
[0019]值得说明的是，有源像素传感器是一种常用的图像传感器，其中每个像素传感器单元具有光电检测器和至少一个有源晶体管，在金属氧化物半导体(MOS)有源像素传感器
中，MOS场效应晶体管(MOSFET)用作放大器，APS的类型有多种，包括早期的NMOS型APS和更常见的互补MOS(CMOS)型APS。
[0020]而事件相机所配置的事件监测视觉传感器(EVS，Event
‑
based Vision Sensor)是一种新型传感器，其模拟人类的视网膜，响应由于运动产生的亮度变化的像素点脉冲，因此它能够以极高的帧率捕获场景的亮度变化(也即光强变化)，记录特定时间点和特定像素位置的事件，形成事件流而不是帧流，从而可以解决传统相机信息冗余、数据存储量和实时处理量较大等问题。
[0021]另外，电子设备103是具备数据处理功能的各种终端设备，包括但不限于智能手机、平板电脑、膝上型便携计算机、台式计算机、车载终端以及机载终端等。
[0022]在图1所示的应用场景中，可以分别通过APS相机101采集APS图像以及通过事件相机102同步采集相应的事件数据，然后本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于事件相机的姿态估计方法，其特征在于，包括：分别获取对应于姿态估计时间区间的起始时刻和终止时刻的两张APS图像组成APS图像对，以及获取关联于姿态估计时间区间的第一区间事件数据和第二区间事件数据；根据所述第一区间事件数据中多个子区间事件数据生成第一事件图像组，以及根据所述第二区间事件数据中多个子区间事件数据生成第二事件图像组；基于所述APS图像对进行特征提取，得到APS图像特征，以及基于所述第一事件图像组以及所述第二事件图像组进行特征提取，得到事件图像特征；对所述APS图像特征以及所述事件图像特征进行特征过滤及融合，得到融合特征；基于所述融合特征进行姿态回归，得到系统姿态变化数据。2.根据权利要求1所述的姿态估计方法，其特征在于，所述获取关联于姿态估计时间区间的第一区间事件数据和第二区间事件数据的步骤，包括：根据所述姿态估计时间区间的中间时刻，将所述姿态估计时间区间等分为第一时间区间以及第二事件区间；分别获取对应于所述第一时间区间的第一区间事件数据以及对应于所述第二时间区间的第二区间事件数据。3.根据权利要求2所述的姿态估计方法，其特征在于，所述根据所述第一区间事件数据中多个子区间事件数据生成第一事件图像对的步骤之前，还包括：根据所述第一时间区间的中间时刻将所述第一区间事件数据拆分为两个所述子区间事件数据，以及根据所述第二时间区间的中间时刻将所述第二区间事件数据拆分为两个所述子区间事件数据。4.根据权利要求1所述的姿态估计方法，其特征在于，所述对所述APS图像特征以及所述事件图像特征进行特征过滤及融合，得到融合特征的步骤，包括：对所述APS图像特征进行卷积处理，分别得到相应的第一Query矩阵、第一Key矩阵以及第一Value矩阵，将所述第一Query矩阵、所述第一Key矩阵以及所述第一Value矩阵输入预设第一特征过滤公式进行计算，得到第一粗过滤特征；对所述事件图像特征进行卷积处理，分别得到相应的第二Query矩阵、第二Key矩阵以及第二Value矩阵，将所述第二Query矩阵、所述第二Key矩阵以及所述第二Value矩阵输入预设第二特征过滤公式进行计算，得到第二粗过滤特征；基于所述第一粗过滤特征以及所述第二粗过滤特征进行特征融合，得到融合特征。5.根据权利要求4所述的姿态估计方法，其特征在于，所述第一特征过滤公式表示为：其中，f
i
表示所述第一粗过滤特征，Q
f
、K
f
以及V
f
分别表示所述第一Query矩阵、所述第一Key矩阵以及所述第一Value矩阵，d
k
表示矩阵元素的方差，T表示转置运算；所述第二特征过滤公式表示为：
其中，e
i
表示所述第二粗过滤特征，Q
e
、K
e
以及V
e
分别表示所述第二Query矩阵、所...

【专利技术属性】
技术研发人员：沈益冉，郭旭城，邓坚，
申请(专利权)人：深圳锐视智芯科技有限公司，
类型：发明
国别省市：