一种基于事件和帧的异步特征跟踪方法和系统技术方案

本申请提供一种基于事件和帧的异步特征跟踪方法和系统，方法包括：基于FAST角点检测的特征块初始化方法，基于事件信息积分的光流和仿射变换优化方法更新特征块位置，基于历史损失函数值的优化结果评估方法验证光流和仿射变换的有效性，基于最近邻搜索的特征块关联方法确定新的特征块初始化。该方法在公开数据集上进行评估，评估指标为特征初始化和特征丢失之间的时间间隔，即特征时间，反映跟踪器的鲁棒性。与原始方法相比，本发明专利技术在保证跟踪精度的同时，提高约10％～30％的特征时间，为视觉里程计等计算机视觉任务奠定基础。觉里程计等计算机视觉任务奠定基础。觉里程计等计算机视觉任务奠定基础。

【技术实现步骤摘要】
一种基于事件和帧的异步特征跟踪方法和系统


[0001]本申请涉及特征跟踪
，尤其涉及一种基于事件和帧的异步特征跟踪(AFTEF Asynchronous Feature Tracking using Events and Frames)方法和系统。

技术介绍

[0002]动态视觉传感器，作为一种新兴的生物启发的事件相机，吸引了机器人学和计算机视觉研究人员的兴趣。不同于输出信息为绝对亮度帧的传统相机，事件相机的输出是对局部像素的亮度变化做出反应的异步事件流。事件信息包括时间戳、极性和像素坐标。事件相机的优点包括低功耗、高动态范围和高时间分辨率。此外，事件相机对场景的运动很敏感，能够以低延迟(1μs)反映每个像素对应的亮度变化。另一个受生物启发的传感器，动态和主动像素视觉传感器能够提供异步的事件流和亮度帧。
[0003]特征检测和跟踪是基于特征的视觉里程计领域的一个关键组成部分。由于事件相机的异步事件流与亮度帧不同，基于帧的特征检测和跟踪算法不能直接应用于异步事件流。因此，需要探索新的算法来处理这种异步事件流并释放其潜力。在这种情况下本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于事件和帧的异步特征跟踪方法，其特征在于，包括如下步骤：步骤1、在帧上使用基于决策树的FAST角点检测方法，并使用非极大值抑制得到初始化的特征点；步骤2、在特征点周围的像平面提取特征块；步骤3、建立事件相机生成事件的观测模型；步骤4、利用观测模型，对事件流的极性信息积分，得到光度增量图像的观测值；步骤5、基于局部特征块光度不变性原理，由图像梯度、光流和仿射变换得到光度增量图像的预测值；步骤6、基于两个归一化的光度增量图像的差值建立损失函数，使用非线性优化方法最小化损失函数得到特征块的运动参数；步骤7、基于损失函数的历史值进行评估，判断所述运动参数的有效性；步骤8、使用光流和仿射变换更新特征块的位置；步骤9、初始化新的特征点后，遍历所有已存在的特征块，根据欧氏距离找到最近的初始特征点，并确保其距离低于阈值；步骤10、以未匹配上的初始化特征点为中心提取新的特征块。2.根据权利要求1所述的基于事件和帧的异步特征跟踪方法，其特征在于：所述步骤1中的FAST角点检测方法是一种基于帧的角点检测方法。3.根据权利要求1所述的基于事件和帧的异步特征跟踪方法，其特征在于：所述步骤3中的事件相机是一种异步输出离散信息的仿生视觉传感器，其输出信息被称为事件，包括像平面坐标、时间戳和极性。4.根据权利要求1所述的基于事件和帧的异步特...

【专利技术属性】
技术研发人员：邓若愚，胡尚薇，
申请(专利权)人：同济人工智能研究院苏州有限公司，
类型：发明
国别省市：