特征点跟踪方法与装置、电子设备制造方法及图纸

本发明专利技术公开了一种特征点跟踪方法与装置、电子设备。为解决现有特征点跟踪方案对噪声敏感、准确性不高、响应速度慢的缺点，本发明专利技术通过对事件流压帧，获得事件帧；为特征点创建当前时刻和上一时刻的特征点坐标列表、特征点序号列表和特征点跟踪次数列表；将所述事件帧输入光流估计网络，获得像素点的光流；根据上一时刻的特征点坐标列表和对应像素点的光流，获得当前时刻的特征点坐标列表。本发明专利技术根据光流估计网络和两个时刻特征点坐标、序号、跟踪次数列表，获得了高时间分辨率、高动态范围、响应速度快，以及鲁棒性好的特征点跟踪技术效果。本发明专利技术适于事件相机、计算机视觉领域。计算机视觉领域。计算机视觉领域。

【技术实现步骤摘要】
特征点跟踪方法与装置、电子设备


[0001]本专利技术属于计算机视觉领域，特别涉及一种基于事件相机的特征点跟踪方法与装置、电子设备。

技术介绍

[0002]特征点（检测与）跟踪是计算机视觉领域的重要基础问题之一。传统帧相机由于成像机制天然地存在时间维度的信息丢失以及动态范围低等问题，这会导致基于传统帧相机的计算机视觉系统在高速、恶劣光照的场景下失效。不同于传统帧相机，事件相机只捕获场景中的光照强度变化，具有超低的延迟、高动态范围以及低功耗的特性，弥补了传统帧相机该方面的缺陷，因此基于事件相机的技术方案，逐渐成为高速计算机视觉（尤其是自动驾驶等）领域的研究热点。
[0003]当前基于事件相机的特征点跟踪方案主要有：现有技术1：CN110390685B；现有技术2： CN111899276A；现有技术3：KR20220155041A。
[0004]当前基于事件相机的特征点检测和跟踪，主要有将事件帧当做传统图像帧提取特征点的方法、直接使用异步事件流的角点检测方法等，这些方法基于手工设计参数以及光度一致性假设的方法，存在对噪声敏感、准确性不高、响应速度慢的缺点，使得这类特征点跟踪方案不具备较好的鲁棒性。
[0005]为此，本领域需要一种高时间分辨率、高动态范围、高响应速度，以及鲁棒性好的特征点跟踪方案。

技术实现思路

[0006]为了解决或缓解上述部分或全部技术问题，本专利技术是通过如下技术方案实现的：一种特征点跟踪方法，该方法包括如下步骤：通过对事件流压帧，获得事件帧；为特征点创建当前时刻和上一时刻的特征点坐标列表、特征点序号列表和特征点跟踪次数列表；将所述事件帧输入光流估计网络，获得像素点的光流；根据上一时刻的特征点坐标列表和对应像素点的光流，获得当前时刻的特征点坐标列表。
[0007]在某类实施例中，至少根据以下方式之一，更新当前时刻的特征点坐标列表：i）若特征点的特征点坐标超出事件帧的图像尺寸范围，则至少将该特征点的特征点坐标从当前时刻的特征点坐标列表中删除；ii）若特征点的特征点坐标的设定范围内事件点的数量小于阈值，则至少将该特征点的特征点坐标从当前时刻的特征点坐标列表中删除。
[0008]在某类实施例中，若当前时刻的特征点坐标列表中特征点的数量大于或等于第一数量，则根据当前时刻的特征点坐标列表和上一时刻的特征点坐标列表，以及相机内参，对特征点坐标去畸变并转换至归一化平面，然后使用Ransac方法计算本质矩阵，判断出属于
外点的特征点，并至少将该特征点的特征点坐标从当前时刻的特征点坐标列表中删除。
[0009]在某类实施例中，除了在当前时刻的特征点坐标列表中删除该特征点的特征点坐标外，还删除该特征点在当前时刻的特征点序号列表和当前时刻的特征点跟踪次数列表中对应的信息，以及还删除该特征点在上一时刻的特征点坐标列表、上一时刻的特征点序号列表和上一时刻的特征点跟踪次数列表中对应的信息。
[0010]在某类实施例中，针对经过各种删除更新操作处理后的当前时刻的特征点坐标列表中所记录的全部特征点，在当前时刻的特征点跟踪次数列表中所对应的特征点跟踪次数，均执行计数自增1操作。
[0011]在某类实施例中，若当前时刻的特征点坐标列表中特征点的数量小于最大特征点检测数量，则根据当前时刻的特征点坐标列表和当前时刻的特征点跟踪次数列表，创建全1的掩膜；并且，根据特征点的跟踪次数对特征点进行降序排序，然后依次遍历特征点，在掩膜中将该特征点周围设定范围内的区域设为0。
[0012]在某类实施例中，将事件帧输入特征点检测网络，得到新的特征点；去除位于0值掩模处的特征点，并根据特征点检测网络输出热图的值，降序保留前n个新特征点，将该n个新特征点的信息更新至当前时刻的特征点坐标列表、特征点序号列表和特征点跟踪次数列表；其中，整数n等于最大特征点检测数量减去当前时刻的特征点坐标列表中特征点的数量。
[0013]在某类实施例中，将当前时刻的特征点坐标列表、特征点序号列表和特征点跟踪次数列表，分别对应地赋值给上一时刻的特征点坐标列表、特征点序号列表和特征点跟踪次数列表。
[0014]在某类实施例中，根据相机内参，将当前时刻的特征点坐标列表进行去畸变并转化到归一化坐标平面上，得到去畸变后归一化的特征点坐标列表。
[0015]在某类实施例中，所述特征点是经由特征点检测网络而获得的；所述特征点检测网络包括编码器和解码器。
[0016]在某类实施例中，所述编码器包括ResNet或VGG；或/和，所述解码器包括卷积层和ReLu激活神经元。
[0017]在某类实施例中，将事件帧输入编码器得到第一特征图；将第一特征图输入解码器得到第二特征图；所述第二特征图经过Softmax后去除最后一个通道得到第三特征图；对第三特征图执行重整形得到热图。
[0018]在某类实施例中，遍历热图上的每个像素点，若像素点的值大于第二阈值，则将该像素点作为特征点。
[0019]一种特征点跟踪装置，该装置被配置为执行如前任一项所述的特征点跟踪方法。
[0020]一种电子设备，该电子设备使用如前所述的特征点跟踪装置，用于实现特征点跟踪。
[0021]本专利技术的部分或全部实施例，具有如下有益技术效果：1）通过利用事件相机的高时间分辨率、高动态范围，解决传统相机在时间维度的信息丢失以及在恶劣光照的场景下（高动态范围）信息丢失的问题。
[0022]2）本专利技术的特征点跟踪方法，基于深度学习的特征检测模块和光流估计模块，特征点提取与跟踪相比现有技术更具鲁棒性，且速度快。
[0023]3）不需要测距传感器，成本低。
[0024]4）配合基于滑动窗口的视觉惯性紧耦合非线性优化完成对运动相机位姿或/和三维点云的估计。
[0025]更多的有益效果将在优选实施例中作进一步的介绍。
[0026]以上披露的技术方案/特征，旨在对具体实施方式部分中所描述的技术方案、技术特征进行概括，因而记载的范围可能不完全相同。但是该部分披露的这些新的技术方案同样属于本专利技术文件所公开的众多技术方案的一部分，该部分披露的技术特征与后续具体实施方式部分公开的技术特征、未在说明书中明确描述的附图中的部分内容，以相互合理组合的方式披露更多的技术方案。
[0027]本专利技术任意位置所披露的所有技术特征所组合出的技术方案，用于支撑对技术方案的概括、专利文件的修改、技术方案的披露。
附图说明
[0028]图1是视觉里程计方案流程图；图2是特征点检测网络的示意图；图3是某类实施例中光流估计网络示意图；图4是本专利技术特征点跟踪方法流程图；图5是本专利技术某实施例中电子设备的构成图。
具体实施方式
[0029]由于不能穷尽描述各种替代方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案中的要点内容进行清楚、完整地描述。对于下文未详细披露的其它的技术方案和细节，一般均属于本领域通过常规手段即可实现的技术目标或技术特征，限于篇幅，本专利技术不对其详细介绍。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种特征点跟踪方法，其特征在于，该方法包括如下步骤：通过对事件流压帧，获得事件帧；为特征点创建当前时刻和上一时刻的特征点坐标列表、特征点序号列表和特征点跟踪次数列表；将所述事件帧输入光流估计网络，获得像素点的光流；根据上一时刻的特征点坐标列表和对应像素点的光流，获得当前时刻的特征点坐标列表。2.根据权利要求1所述的特征点跟踪方法，其特征在于：至少根据以下方式之一，更新当前时刻的特征点坐标列表：i）若特征点的特征点坐标超出事件帧的图像尺寸范围，则至少将该特征点的特征点坐标从当前时刻的特征点坐标列表中删除；ii）若特征点的特征点坐标的设定范围内事件点的数量小于阈值，则至少将该特征点的特征点坐标从当前时刻的特征点坐标列表中删除。3.根据权利要求1所述的特征点跟踪方法，其特征在于：若当前时刻的特征点坐标列表中特征点的数量大于或等于第一数量，则根据当前时刻的特征点坐标列表和上一时刻的特征点坐标列表，以及相机内参，对特征点坐标去畸变并转换至归一化平面，然后使用Ransac方法计算本质矩阵，判断出属于外点的特征点，并至少将该特征点的特征点坐标从当前时刻的特征点坐标列表中删除。4.根据权利要求2或3所述的特征点跟踪方法，其特征在于：除了在当前时刻的特征点坐标列表中删除该特征点的特征点坐标外，还删除该特征点在当前时刻的特征点序号列表和当前时刻的特征点跟踪次数列表中对应的信息，以及还删除该特征点在上一时刻的特征点坐标列表、上一时刻的特征点序号列表和上一时刻的特征点跟踪次数列表中对应的信息。5.根据权利要求4所述的特...

【专利技术属性】
技术研发人员：余淮，王翔远，杨文，余磊，王帆，乔宁，陈匡义，
申请(专利权)人：成都时识科技有限公司，
类型：发明
国别省市：