基于事件相机的光流估计方法及装置制造方法及图纸

技术编号:38481579 阅读:16 留言:0更新日期:2023-08-15 16:59
本发明专利技术提供一种基于事件相机的光流估计方法及装置。其中,所述方法包括:步骤一:采用事件相机采集一事件帧;步骤二:根据事件帧获取对应的光流向量;以及,根据事件帧和/或光流向量更新采集下一个事件帧的间隔时间;步骤三:循环执行步骤一至步骤二,直至获取预设时间段内所有事件帧的光流向量。可见,本申请根据光流情况动态调整采集间隔时间,能在光流值较小的情况下增大采集间隔时间,降低光流估计的计算量;且在光流值较大的情况下缩小采集间隔时间,采集更多的光流信息,提高光流估计的精准度。因此,本申请提供的方法利于降低计算量,提高光流估计的精准度,容易在低端硬件上实现,利于降低成本。利于降低成本。利于降低成本。

【技术实现步骤摘要】
基于事件相机的光流估计方法及装置


[0001]本专利技术涉及计算机视觉
,特别涉及一种基于事件相机的光流估计方法及装置。

技术介绍

[0002]仿生物学的动态视觉传感器(Dynamic Vision Sensor ,DVS)是目前较为热门的图像传感器研究方向。动态视觉传感器又称为事件相机(Event

based camera, EB),具有高分辨率、低延时性、高动态范围以及低功耗等优势。事件相机的每个像素都有一个独立的光电传感模块,当该像素的亮度变化超过设定阈值时,就会生成并输出事件数据。并且,事件相机中所有的像素均是独立作业,能够独立响应场景中的亮度变化,实时地记录每个像素的亮度变化事件。而传统的CMOS传感器、CCD传感器或者RGBD相机是通过一定时间的曝光,使感光元件积累一定的光子,进而获取成像信息。若在曝光累积的时间段内物体存在快速运动,就会出现成像模糊等问题,且在亮度极低或者亮度极高的场景下,传统相机则无法获取高清的图像。因此,鉴于事件相机的成像优势,利用事件相机进行光流估计,有利于提高光流估计的准确性,从而提高运动分析、目标跟踪以及三维重建等应用场景的应用效果。
[0003]然而,现有的基于事件相机进行光流估计的方法仍存在计算量大、估计效率低等问题,且有的光流估计方法对于硬件实现的要求较高,则导致实现成本高。
[0004]因此,亟需一种新的光流估计方法,以解决上述问题。

技术实现思路

[0005]本专利技术的目的在于提供一种基于事件相机的光流估计方法及装置,以解决如何降低光流估计的计算量、如何提高光流估计的精准度以及如何降低成本中的至少一个问题。
[0006]为解决上述技术问题,本专利技术提供一种基于事件相机的光流估计方法,包括:步骤一:采用事件相机采集一事件帧;步骤二:根据所述事件帧获取对应的光流向量;以及,根据所述事件帧和/或所述光流向量更新采集下一个所述事件帧的间隔时间;步骤三:循环执行所述步骤一至所述步骤二,直至获取预设时间段内所有事件帧的所述光流向量。
[0007]可选的,在所述的基于事件相机的光流估计方法中,在根据所述事件帧获取对应的光流向量的过程,包括:获取所述事件帧中每个像素单元对应的多个光流向量;遍历比较各个所述光流向量的模,并以模最小的所述光流向量作为所述像素单元的光流向量;其中,所述事件帧的光流向量包括每个所述像素单元的光流向量。
[0008]可选的,在所述的基于事件相机的光流估计方法中,获取所述事件帧中每个像素单元对应的多个光流向量的过程,包括:
在每个所述像素单元的预设邻域内,以所述像素单元为光流向量起点,对应获取多个所述光流向量。
[0009]可选的,在所述的基于事件相机的光流估计方法中,获取所述事件帧中每个像素单元对应的多个光流向量的过程,包括:在每个所述像素单元的预设邻域内,分别以预设轨迹中的多个位置为光流向量起点,对应获取多个所述光流向量。
[0010]可选的,在所述的基于事件相机的光流估计方法中,获取所述事件帧中每个像素单元对应的多个光流向量的过程,包括:在每个所述像素单元的预设邻域内,对应获取多个光流向量,且各个所述光流向量的方向为上一个所述事件帧中同一所述像素单元的光流向量的方向。
[0011]可选的,在所述的基于事件相机的光流估计方法中,根据所述事件帧和/或所述光流向量更新采集下一个所述事件帧的间隔时间的过程,包括:判断所述事件帧中所有像素单元对应的事件数量的总值或平均值是否大于阈值范围,如是,将缩小后的当前所述事件帧的采集间隔时间作为采集下一个所述事件帧的间隔时间;如否,判断所述事件帧中所有像素单元对应的事件数量的总值或平均值是否小于所述阈值范围;如是,将增大后的当前所述事件帧的采集间隔时间作为采集下一个所述事件帧的间隔时间;如否,将当前所述事件帧的采集间隔时间作为采集下一个所述事件帧的间隔时间。
[0012]可选的,在所述的基于事件相机的光流估计方法中,根据所述事件帧和/或所述光流向量更新采集下一个所述事件帧的间隔时间的过程,包括:将所述事件帧划分为多个区域,各个所述区域相间隔,且每一所述区域包括至少一个像素单元;判断是否存在任意一个所述区域内所有所述像素单元对应的事件数量的总值大于阈值范围;如是,将缩小后的当前所述事件帧的采集间隔时间作为采集下一个所述事件帧的间隔时间;如否,判断所述区域内所有所述像素单元对应的事件数量的总值小于所述阈值范围的所述区域的占比是否大于预设比例,如是,将增大后的当前所述事件帧的采集间隔时间作为采集下一个所述事件帧的间隔时间;如否,将当前所述事件帧的采集间隔时间作为采集下一个所述事件帧的间隔时间。
[0013]可选的,在所述的基于事件相机的光流估计方法中,根据所述事件帧和/或所述光流向量更新采集下一个所述事件帧的间隔时间的过程,包括:判断所述事件帧的光流向量的模是否大于阈值范围;如是,将缩小后的当前所述事件帧的采集间隔时间作为采集下一个所述事件帧的间隔时间;如否,判断所述事件帧的光流向量的模是否小于所述阈值范围;如是,将增大后的当前所述事件帧的采集间隔时间作为采集下一个所述事件帧的间隔时间;如否,将当前所述事件帧的采集间隔时间作为采集下一个所述事件帧的间隔时间。
[0014]可选的,在所述的基于事件相机的光流估计方法中,采用事件相机采集一事件帧的过程,包括:在预设的采集时间段内,所述事件相机获取所有事件,并累积所有所述事件以形成所述事件帧。
[0015]基于同一专利技术构思,本专利技术还提供一种光流估计装置,包括处理器;所述处理器用于运行计算机程序指令,以执行所述的基于事件相机的光流估计方法。
[0016]综上所述,本专利技术提供一种基于事件相机的光流估计方法及装置。其中,所述方法包括:步骤一:采用事件相机采集一事件帧;步骤二:根据所述事件帧获取对应的光流向量;以及,根据所述事件帧和/或所述光流向量更新采集下一个所述事件帧的间隔时间;步骤三:循环执行所述步骤一至所述步骤二,直至获取预设时间段内所有事件帧的所述光流向量。可见,本申请提供的所述方法是采用事件相机的事件累积来获取所述事件帧,以确保所述事件帧携带较多信息,具有较佳的信噪比。以及,本申请根据光流情况来动态调整采集间隔时间,能够在光流值较小的情况下增大采集间隔时间,从而降低光流估计的计算量;且在光流值较大的情况下缩小采集间隔时间,采集更多的光流信息,从而提高光流估计的精准度。相较于固定的采集间隔时间,本申请提供的所述方法灵活性高,有助于降低计算量,提高光流估计的精准度,且容易在低端硬件上实现,利于降低制备成本。
附图说明
[0017]本领域的普通技术人员将会理解,提供的附图用于更好地理解本专利技术,而不对本专利技术的范围构成任何限定。
[0018]图1是本专利技术实施例中基于事件相机的光流估计方法的流程图。
[0019]图2是本专利技术实施例中事件相机的像素模块的结构示意图。
[0020]图3是本专利技术实施例中事件帧中像素单元的结构示意图。
[0021本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种基于事件相机的光流估计方法,其特征在于,包括:步骤一:采用事件相机采集一事件帧;步骤二:根据所述事件帧获取对应的光流向量;以及,根据所述事件帧和/或所述光流向量更新采集下一个所述事件帧的间隔时间;步骤三:循环执行所述步骤一至所述步骤二,直至获取预设时间段内所有事件帧的所述光流向量。2.根据权利要求1所述的基于事件相机的光流估计方法,其特征在于,在根据所述事件帧获取对应的光流向量的过程,包括:获取所述事件帧中每个像素单元对应的多个光流向量;遍历比较各个所述光流向量的模,并以模最小的所述光流向量作为所述像素单元的光流向量;其中,所述事件帧的光流向量包括每个所述像素单元的光流向量。3.根据权利要求2所述的基于事件相机的光流估计方法,其特征在于,获取所述事件帧中每个像素单元对应的多个光流向量的过程,包括:在每个所述像素单元的预设邻域内,以所述像素单元为光流向量起点,对应获取多个所述光流向量。4.根据权利要求2所述的基于事件相机的光流估计方法,其特征在于,获取所述事件帧中每个像素单元对应的多个光流向量的过程,包括:在每个所述像素单元的预设邻域内,分别以预设轨迹中的多个位置为光流向量起点,对应获取多个所述光流向量。5.根据权利要求2所述的基于事件相机的光流估计方法,其特征在于,获取所述事件帧中每个像素单元对应的多个光流向量的过程,包括:在每个所述像素单元的预设邻域内,对应获取多个光流向量,且各个所述光流向量的方向为上一个所述事件帧中同一所述像素单元的光流向量的方向。6.根据权利要求1所述的基于事件相机的光流估计方法,其特征在于,根据所述事件帧和/或所述光流向量更新采集下一个所述事件帧的间隔时间的过程,包括:判断所述事件帧中所有像素单元对应的事件数量的总值或平均值是否大于阈值范围,如是,将缩小后的当前所述事件帧的采集间隔时间作为采集下一个所述事件帧的间隔时间;如否,判断所述事件帧中所有像素单元对应的事件数量的总值或平均值是否小于...

【专利技术属性】
技术研发人员:刘文张馨元葛林英王威王腾
申请(专利权)人:苏州多感科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1