跟踪场景中的对象的方法技术

本发明专利技术涉及一种跟踪由基于事件的传感器观察到的场景中的对象的方法，所述基于事件的传感器从感测元件矩阵中异步地产生事件，其中根据入射在所述感测元件上的光的变化由所述矩阵中的每个感测元件产生相应事件，所述方法包括：由第一进程从由所述基于事件的传感器产生的异步事件中检测所述场景中的对象；以及由第二进程确定与从由所述基于事件的传感器产生的异步事件中检测到的对象相关联的踪迹；其中所述第一进程的时间分辨率低于所述第二进程的时间分辨率。

【技术实现步骤摘要】
【国外来华专利技术】跟踪场景中的对象的方法
技术介绍
本专利技术涉及对象跟踪领域，其中定位对象并随时间推移确定其轨迹。具体地，本专利技术涉及用于使用基于事件的传感器跟踪对象的方法。在估计对象移动到场景中时对象轨迹的意义上，跟踪场景中的对象是计算机视觉中的重要课题。对象跟踪在广泛的应用(如视觉监控、视频压缩、驾驶辅助、里程测量、同步定位和地图创建(SLAM)、交通监测、自动代客泊车系统等)中发挥着基础性作用。对于这些应用，必不可少的是具备处理突然改变的能力，如对象方向的改变、场景中出现新对象、遮挡和去遮挡。例如，在驾驶辅助中，系统必须对汽车方向的突然改变或进入视场的行人非常迅速地做出反应。在这些应用中，被跟踪的对象可能突然改变方向，可能出现新对象，可能发生遮挡/去遮挡，并且跟踪系统应对这些情形非常迅速地做出响应。在常规算法中，跟踪是基于以固定帧频获取的图像序列进行的。因此，在出现突然改变时，跟踪准确度受到帧间周期的限制，所述帧间周期可能比改变的动力学大得多。此外，在高帧速率下运行此类检测/跟踪系统的计算成本将非常高昂，并且有时由于系统的等待时间甚至难以实现。例如，如果检测器需要100毫秒来检测画面中的汽车，则其不能以超过10帧每秒运行，而整个系统需要快得多的反应时间。此外，在嵌入式平台上运行检测器可能将检测速率降低到约1.5帧每秒，这对于上述应用来说可能过慢。可替代地，也可以使用基于事件的光传感器生成异步信号，而非常规的基于帧的传感器。基于事件的光传感器以事件的形式递送压缩的数字数据。可以在“活动驱动的、基于事件的视觉传感器(Activity-Driven,Event-BasedVisionSensors)”,T.Delbruck等人,《2010IEEE电路与系统国际研讨会记录(ISCAS)(Proceedingsof2010IEEEInternationalSymposiumonCircuitsandSystems)》,第2426-2429页中找到此类传感器的呈现。与常规相机相比，基于事件的视觉传感器具有消除冗余、减少等待时间和增加动态范围的优点。对于每个像素地址，此类基于事件的光传感器的输出可以存在于一系列异步事件中，所述一系列异步事件表示发生时场景的光参数(例如，亮度、光强度、反射率)的改变。传感器的每个像素都是独立的，并且检测自上次事件发射以来大于阈值的强度改变(例如，强度对数的15％对比度)。当强度改变超过设定阈值时，像素可以根据强度增加还是减少生成ON或OFF事件。此类事件在下文中可以被称为“改变检测事件”或CD事件。通常，异步传感器被放置在光学器件的图像平面中以进行采集。所述异步传感器包括被组织成像素矩阵的感测元件阵列，如光敏元件。与像素p相对应的每个感测元件在时间t时产生取决于场景中光的变化的连续事件e(p,t)。对于每个感测元件，异步传感器根据由感测元件从出现在传感器视场中的场景接收的光的变化生成基于事件的信号序列。异步传感器执行采集以输出信号，对于每个像素，所述信号可以呈达到激活阈值Q的连续时刻tk(k＝0、1、2、……)的形式。每当此亮度从其在时间tk时的量开始增加了等于激活阈值Q的量时，新的时刻tk+1被标识，并且在此时刻tk+1发射尖峰。对称地，每当由感测元件观察到的亮度从其在时间tk时的量开始减少了量Q时，新的时刻tk+1被标识，并且在此时刻tk+1发射尖峰。感测元件的信号序列包含在时刻tk随时间推移定位的、取决于感测元件的光分布的一系列尖峰。然后，传感器10的输出呈地址事件表示(AER)的形式。另外，信号序列可以包含与入射光变化相对应的亮度属性。激活阈值Q可以是固定的，或者可以根据亮度进行适配。例如，当超过阈值时，可以将阈值与用于生成事件的亮度的对数中的变化进行比较。举例来说，传感器可以是“128×128120dB15微秒等待时间异步时间对比视觉传感器(A128128120dB15μsLatencyAsynchronousTemporalContrastVisionSensor)”,P.Lichtsteiner等人,《IEEE固态电路杂志(IEEEJournalofSolid-StateCircuits)》,第43卷,第2期,2008年2月,第566-576页中或美国专利申请US2008/0135731A1中所描述类型的动态视觉传感器(DVS)。视网膜的动力学(动作电位之间的最小持续时间)可以用此类型的DVS来处理。所述动态行为超过了具有真实采样频率的常规摄像机的动态行为。当DVS用作基于事件的传感器10时，与源自感测元件的事件有关的数据包含感测元件的地址、事件的发生时间和与事件极性相对应的亮度属性，例如如果亮度增加，则+1，并且如果亮度降低，则-1。图1以任意比例尺表示了由此类异步传感器接收的光分布和由此传感器响应于光分布而生成的信号的实例。由感测元件看到的光分布P包含强度模式，在为了解释而示出的简化实例中，所述强度模式具有交替的上升沿和下降沿。在t0处，当亮度增加了等于激活阈值Q的量时，由感测元件生成事件。所述事件具有发生时间t0和亮度属性，即在DVS的情况下(图1中t0处的电平+1)的极性。随着上升沿的亮度增加，每当亮度进一步增加了激活阈值时，就会产生具有相同正极性的后续事件。这些事件形成脉冲串，在图1中表示为B0。当下降沿开始时，亮度降低，并从时间t1开始产生另一个具有相反极性(即负极性(电平-1))的脉冲串B1。一些基于事件的光传感器可以将检测到的事件与光强度(例如，灰度)的测量结果相关联，如文章“具有无损像素级视频压缩和时域CDS的QVGA143dB动态范围无帧PWM图像传感器(AQVGA143dBDynamicRangeFrame-FreePWMImageSensorWithLosslessPixel-LevelVideoCompressionandTime-DomainCDS)”,C.Posch等人,《IEEE固态电路杂志》,第46卷,第1期,2011年1月,第259-275页中所描述的异步基于时间的图像传感器(ATIS)。此类事件在下文中可以被称为“曝光测量事件”或EM事件。由于异步传感器不像常规相机那样在时钟上采样，所以其可以以非常高的时间精度(例如约1微秒的时间精度)考虑事件的排序。如果使用此类传感器重建图像序列，则可以实现几千赫兹的图像帧速率，而常规相机的帧速率只有几十赫兹。已经开发了一些基于事件的算法来跟踪场景中的对象。然而，这些算法的稳健性和稳定性远远弱于基于帧的算法的稳健性和稳定性。具体地，这些算法对离群值非常敏感并受漂移的影响。此外，大多数这些算法(例如，“采用动态且有源像素视觉传感器(DAVIS)进行特征检测与跟踪(Featuredetectionandtrackingwiththedynamicandactive-pixelvisionsensor)”,D.Tedaldi等人,2016《第二届基于事件的控制、通信和信号处理(EBCCSP)国际会议(SecondInternationalConferenceonEv本文档来自技高网...

【技术保护点】
1.一种跟踪由基于事件的传感器观察到的场景中的对象的方法，所述基于事件的传感器具有异步地产生事件的感测元件矩阵，/n其中，根据入射在所述感测元件上的光的变化由所述矩阵中的每个感测元件产生相应事件，/n所述方法包括：/n由第一进程(201)从由所述基于事件的传感器产生的异步事件中检测所述场景中的对象；以及/n由第二进程(202)确定与从由所述基于事件的传感器产生的异步事件中检测到的对象相关联的踪迹；/n其中，所述第一进程(201)的时间分辨率低于所述第二进程(202)的时间分辨率。/n

【技术特征摘要】
【国外来华专利技术】20181213 EP 18212488.31.一种跟踪由基于事件的传感器观察到的场景中的对象的方法，所述基于事件的传感器具有异步地产生事件的感测元件矩阵，
其中，根据入射在所述感测元件上的光的变化由所述矩阵中的每个感测元件产生相应事件，
所述方法包括：
由第一进程(201)从由所述基于事件的传感器产生的异步事件中检测所述场景中的对象；以及
由第二进程(202)确定与从由所述基于事件的传感器产生的异步事件中检测到的对象相关联的踪迹；
其中，所述第一进程(201)的时间分辨率低于所述第二进程(202)的时间分辨率。


2.根据权利要求1所述的方法，其特征在于，所述第一进程(201)包括确定所述检测到的对象的类别。


3.根据前述权利要求中任一项所述的方法，其特征在于，根据预定义时间序列运行所述第一进程(201)的新迭代。


4.根据前述权利要求中任一项所述的方法，其特征在于，所述第一进程(201)包括在所述感测元件矩阵中确定所关注区(301)，所述所关注区(301)包含所述检测到的对象；并且
其中，所述第二进程(202)包括基于由包含所述所关注区(301)的区(302)中的感测元件产生的异步事件确定所述踪迹。


5.根据权利要求4所述的方法，其特征在于，所述第二进程(202)包括基于在包含所述所关注区(301)的区(302)中产生的异步事件更新所述所关注区(301)。


6.根据权利要求4和5中任一项所述的方法，其特征在于，所述第二进程(202)进一步包括基于所述所关注区(301)的参数运行所述第一进程(201)的新迭代，其中，所述参数为所述所关注区(301)的大小和所述所关注区(301)的形状之一。


7.根据权利要求4到6中任一项所述的方法，其特征在于，所述第二进程(202)进一步包括如果在一定时间间隔期间在所述所关注区(301)中产生的事件的数量超过阈值，则运行所述第一进程(201)的新迭代。


8.根据前述权利要求中任一项所述的方法，其进一步包括：
确定检测到的对象与所确定踪迹之间的关联性(205)；以及
基于所述关联性更新检测到的对象(203)集和/或所确定踪迹(204)集(206)。


9.根据权利要求8所述的方法，其进一步包括：
如果检测到的对象中的给定对象与所确定踪迹(204)中的给定踪迹相关联，则基于所述给定对象的位置更新所述给定踪迹(407)。


10.根据权利要求8或9所述的方法，其进一步包括：
如果检测到的对象(203)中的给定对象不与所确定踪迹(204)中的任何踪迹相关联，则初始化对应于所述给定对象的新踪迹(403)；
如果所确定踪迹(204)中的给定踪迹不与检测到的对象(203)中的任何对象相关联，则删除所述给定踪迹(404)；以及
如果检测到的对象(203)中的第一对象和第二对象两者均与所确定踪迹(204)
中的第一踪迹相关联，则根据所述第一踪迹初始化第二...

【专利技术属性】
技术研发人员：阿莫斯·西罗尼，皮埃尔·德·陶尔内米雷，达尼埃莱·佩罗内，
申请(专利权)人：普罗费塞公司，
类型：发明
国别省市：法国;FR