【技术实现步骤摘要】
【国外来华专利技术】用于动态视觉传感器的块匹配光流和立体视觉
本专利技术涉及一种用于使用诸如动态视觉传感器(DVS)(例如，US7,728,269)之类的基于事件的视觉传感器来计算光流的方法和设备。特别地，本专利技术涉及在FPGA上计算光流的基于事件的块匹配算法。在下文中，这样的基于事件的视觉传感器也被称为基于事件的相机或DVS。
技术介绍
光流(OF)的迅速和低功率计算在机器人学中潜在地有用。基于事件的视觉传感器产生快速且稀疏的输出并且具有较高的动态范围，但是常规的光流算法基于帧并且无法直接与这种基于事件的相机一起使用。先前的DVS光流方法在密集纹理输入的情况下无法正常工作，并且不是设计成用于在逻辑电路中实施。光流(OF)估计一直是计算机视觉中的核心主题；光流被广泛地用于分割、3D重建和导航。光流首先在神经科学的背景下被研究用于了解昆虫和哺乳动物的运动知觉。在计算机视觉中，光流描述了由相机/视觉传感器在空间中移动所引起的运动场。特别地，在对象和/或视觉传感器/相机正移动的场景(例如，3D)的图像序列中，该场景的...
【技术保护点】
1.一种用于对由基于事件的视觉传感器捕获的场景中的光流进行计算的方法，所述基于事件的视觉传感器包括多个像素并且被配置为输出变化事件的流，其中，每个变化事件对应于由所述像素中的一个像素检测到的亮度变化，并且每个变化事件包括：时间戳、检测到所述亮度变化的像素的像素地址以及描述所述亮度变化的符号的参数，/n-其中，变化事件被累积到至少三个时间片帧中，所述至少三个时间片帧即为始于时间t的当前第一时间片帧(t)、始于时间t-d的第二时间片帧(t-d)以及始于时间t-2*d的第三时间片帧(t-2*d)，其中，d是相应的时间片帧的持续时间，/n-其中，在所述持续时间d期间变化事件被累积到...
【技术特征摘要】
【国外来华专利技术】20170529 EP 17173250.61.一种用于对由基于事件的视觉传感器捕获的场景中的光流进行计算的方法，所述基于事件的视觉传感器包括多个像素并且被配置为输出变化事件的流，其中，每个变化事件对应于由所述像素中的一个像素检测到的亮度变化，并且每个变化事件包括：时间戳、检测到所述亮度变化的像素的像素地址以及描述所述亮度变化的符号的参数，
-其中，变化事件被累积到至少三个时间片帧中，所述至少三个时间片帧即为始于时间t的当前第一时间片帧(t)、始于时间t-d的第二时间片帧(t-d)以及始于时间t-2*d的第三时间片帧(t-2*d)，其中，d是相应的时间片帧的持续时间，
-其中，在所述持续时间d期间变化事件被累积到所述当前第一时间片帧中，
-其中，使用距离度量对所述第二时间片帧(t-d)的参考块与所述第三时间片帧(t-2*d)中的搜索块进行比较以找到与所述参考块最相似的搜索块，所述参考块包括以所述当前第一时间片帧(t)中的最近的变化事件的像素为中心的像素，以及
-其中，所述三个时间片帧(t、t-d、t-2*d)周期性地交换，使得所述当前第一时间片帧(t)变为所述第二时间片帧(t-d)、所述第二时间片帧(t-d)变为所述第三时间片帧(t-2*d)，并且所述第三时间片帧(t-2*d)被清除并变为所述当前第一时间片帧(t)。
2.根据权利要求1所述的方法，其中，所述距离度量是参考块像素与搜索块像素之间的绝对差之和。
3.根据权利要求1或2所述的方法，其中，使用对所述基于事件的视觉传感器的原始地址空间进行二次采样的多组时间片帧。
4.根据前述权利要求中的一项所述的方法，其中，所述时间片帧的所述交换是以恒定的时间间隔进行的。
5.根据权利要求1至3中的一项所述的方法，其中，所述时间片帧的所述交换是在累积到所述第一时间片帧(t)中的某一总事件计数、特别是恒定的总事件计数的状态下进行的。
6.根据权利要求1至3中的一项所述的方法，其中，所述时间片帧的所述交换是在所述当前第一时间片(t)的任意子区域累积指定数量的变化事件时进行的。
7.根据权利要求1至3中的一项所述的方法，其中，所述时间片帧的所述交换是在自所述时间片帧的上一次交换起所述场景的总的集成的运动超过阈值量时进行的。
8.根据权利要求1至3中的一项所述的方法，其中，在所述持续时间d之后，所述时间片帧的所述交换是根据所述参考块与相应的最相似的搜索块之间的平均匹配距离(D)来控制的，所述平均匹配距离是使用所计算的光流分布的直方图来确定的。
9.根据权利要求5所述的方法，其中，所述总事件计数是根据所述参考块与相应的最相似的搜索块之间的平均匹配距离(D)来控制的，所述平均匹配距离是使用所计算的光流分布的直方图来确定的。
10.根据权利要求6所述的方法，其中，所述指定数量是根据所述参考块与相应的最相似的搜索块之间的平均匹配距离(D)来控制的，所述平均匹配距离是使用所计算的光流分布的直方图来确定的。
11.根据前述权利要求中的一项所述的方法，其中，所述第一时间片帧、所述第二时间片帧和所述第三时间片帧各自形成二进制的位图时间片帧。
12.根据权利要求1至10中的一项所述的方法，其中，所述第一时间片帧、所述第二时间片帧和所述第三时间片帧各自形成多位像素的时间片帧。
13.根据前述权利要求中的一项所述的方法，其中，对相应的第三时间片帧进行穷举式搜索以找到所述最相似的搜索块。
14.根据权利要求1至12中的一项所述的方法，其中，使用菱形搜索以找到所述最相似的搜索块。
15.根据前述权利要求中的一项所述的方法，其中，仅对包括足够的预定数量的有效像素的那些参考块与搜索块进行比较以便拒绝离群值，其中，有效像素是已累积有变化事件的像素。
16.根据前述权利要求中的一项所述的方法，其中，在所述参考块与所述最相似的搜索块之间的距离超过距离阈值的情况下，所述最相似的搜索块作为离群值而被拒绝。
17.根据前述权利要求中的一项所述的方法，其中，所述最近的变化事件中的一些变化事件被累积到所述当前第一时间片中，但是被跳过且因此不用于将参考块对中以提高实时性能。
18.根据权利要求17所述的方法，其中，所述跳过是在用于执行所述方法的设备仍在忙于处理来自先前的变化事件的光流的情况下进行的。
19.根据前述权利要求中的一项所述的方法，其中，包括像素位置(x,y)、速度矢量(vx,vy)、且特别地包括沿所述速度矢量的方向的速度的光流事件是根据相应的参考块和最相似的搜索块来计算的。
20.根据权利要求19所述的方法，其中，所述光流事件被累积到规则地间隔开的、可选地被二次采样的运动场上。
21.根据前述权利要求中的一项、特别地根据权利要求2和权利要求4所述的方法，其中，参考块与搜索块之间的绝对距离之和是并行计算的。
22.根据前述权利要求中的一项、特别地根据权利要求2和权利要求4所述的方法，其中，绝对距离的最小和是并行计算的。
23.一种用于对来自左部的基于事件的视觉传感器(l)和右部的基于事件的视觉传感器(r)的立体视觉的方法，其中，每个基于事件的视觉传感器(l、r)包括多个像素并且被配置为输出变化事件的流，其中，每个变化事件对应于由所述像素中的一个像素检测到的亮度变化，并且每个变化事件包括时间戳、检测到所述亮度变化的像素的像素地址以及描述所述亮度变化的符号的参数，
-其中，对于每个视觉传感器(l、r)而...
【专利技术属性】
技术研发人员：托比亚斯·德尔布鲁克，敏·刘，
申请(专利权)人：苏黎世大学，
类型：发明
国别省市：瑞士;CH
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。