动态视觉传感器DVS事件处理的方法及装置制造方法及图纸

本发明专利技术实施例提供了一种动态视觉传感器DVS事件处理的方法及装置，该方法包括：获取DVS事件图序列，然后针对DVS事件图序列中的任一DVS事件图，提取DVS事件特征描述子，其中，DVS事件特征描述子具有尺度不变特性和/或旋转不变特性，然后根据提取的DVS事件特征描述子，确定当前时刻DVS事件图的三维空间位姿，然后根据各DVS事件图的三维空间位姿，生成具备时域一致性的DVS事件图序列，本发明专利技术实施例用于将DVS事件图序列，生成具备时域一致性的DVS事件图序列。

【技术实现步骤摘要】
动态视觉传感器DVS事件处理的方法及装置
本专利技术涉及计算机视觉领域，具体而言，本专利技术涉及一种动态视觉传感器DVS事件处理的方法及装置。
技术介绍
近年来，在计算机视觉、人工智能和机器人等领域，动态视觉传感器(英文全称：DynamicVisionSensor，英文缩写：DVS)相机逐渐广为人知。和传统的互补金属氧化物半导体(英文全称：ComplementaryMetal-Oxide-Semiconductor，英文缩写：CMOS)传感器或电荷藕合器件图像(英文全称：ChargeCoupledDevice，英文缩写：CCD)传感器比起来，DVS相机具有以下的三个特点，使其更适用于存在高实时性要求的应用：1)事件异步性，不同于CMOS/CCD敏感器，DVS相机的成像过程是异步的，其每个像素均可以自主地根据场景光照变化强度大小来产生事件。因此，DVS相机对场景变化的响应速度要远快于CMOS/CCD敏感器，从而在根本上为超实时视觉算法的提出和实现提供了可能性。2)事件稀疏性，不同于CMOS/CCD敏感器，DVS相机是一种运动敏感型敏感器，只捕获存在相对运动且光照变化达到一定阈值的物体边界或轮廓事件。因此，仅需少量事件就可以描述场景内容。相对CMOS/CCD敏感器，DVS相机需要处理的内容大大减少，因此能很大程度上节省计算开销，提高计算效率。3)光照鲁棒性，DVS产生的事件和场景光照变化强度有关，当场景中光照变化大于给定阈值，DVS相应产生对应事件，以描述场景内容变化。因此，DVS相机是一种光照变化鲁棒型的敏感器，不会因为光照强度增加，产出场景纹理弱化或镜面效果，很大程度上减少了光照、纹理等因素的影响。尽管DVS相机具有低延迟、低功耗和高动态范围等优点，其成像原理及生成图像的过程和传统光学相机之间存在着巨大的差异。DVS相机的事件异步性和稀疏性将不可避免地导致不同DVS事件图之间往往会具有事件分布不一致以及所包含的事件数量不一致的特点，其中，每一帧图像分别对应一个DVS事件图，每个DVS事件图包含若干个事件。由于上述事件分布不一致以及事件数量不一致的特点，对应的DVS事件图序列并不具有光学相机序列普遍具备的时间一致性，其中，时间一致性是指DVS事件图序列中相邻两帧图像对应的事件图的事件分布和事件数量均一致。如果使用不具备时域一致性的DVS事件图序列进行后续的姿态识别处理或三维重建处理，则将导致处理结果不精确且不鲁棒，因此生成具备时域一致性的DVS事件图序列是目前亟待解决的问题。
技术实现思路
为克服上述技术问题或者至少部分地解决上述技术问题，特提出以下技术方案：本专利技术的一个实施例提供了一种动态视觉传感器DVS事件处理的方法，包括：获取DVS事件图序列；针对所述DVS事件图序列中的任一DVS事件图，提取DVS事件特征描述子，所述DVS事件特征描述子具有尺度不变特性和/或旋转不变特性；根据提取的所述DVS事件特征描述子，确定当前时刻DVS事件图的三维空间位姿；根据各DVS事件图的三维空间位姿，生成具备时域一致性的DVS事件图序列。本专利技术的另一个实施例提供了一种动态视觉传感器DVS事件处理的装置，包括：获取模块，用于获取DVS事件图序列；提取模块，用于针对所述DVS事件图序列中的任一DVS事件图，提取DVS事件特征描述子，所述DVS事件特征描述子具有尺度不变特性和/或旋转不变特性；确定模块，用于根据提取的所述DVS事件特征描述子，确定当前时刻DVS事件图的三维空间位姿；生成模块，用于根据各DVS事件图的三维空间位姿，生成具备时域一致性的DVS事件图序列。本专利技术提供了一种动态视觉传感器DVS事件处理的方法及装置，与现有的DVS相机的成像质量相比，本专利技术通过获取DVS事件图序列，能够提取从任一DVS事件图中提取到具有尺度不变特性和/或旋转不变特性的DVS事件特征描述子，并能够确定当前时刻DVS事件图的三维空间位姿，并生成具备时域一致性的DVS事件图序列，即能够提取到具备尺度不变特性和/或旋转不变特性的DVS事件特征描述子，并能够对不同时刻的DVS事件图之间的对应关系进行有效估计，从而可以确保生成事件图的时域一致性，进而可以在对进行后续的姿态识别处理或三维重建处理，提高处理结果的精确度，并且使处理结果具备鲁棒性。本专利技术附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本专利技术的实践了解到。附图说明本专利技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：图1为本专利技术实施例的一种动态视觉传感器DVS事件处理的方法流程图；图2为本专利技术实施例的另一种动态视觉传感器DVS事件处理的方法流程图；图3为DVS事件图在8方向中各个方向上的距离图；图4为时域一致性的DVS事件图；图5为本专利技术实施例的一种动态视觉传感器DVS事件处理的装置结构示意图。具体实施方式下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本专利技术，而不能解释为对本专利技术的限制。本
技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本专利技术的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。本
技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本专利技术所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。本
技术人员可以理解，这里所使用的“终端”、“终端设备”既包括无线信号接收器的设备，其仅具备无发射能力的无线信号接收器的设备，又包括接收和发射硬件的设备，其具有能够在双向通信链路上，进行双向通信的接收和发射硬件的设备。这种设备可以包括：蜂窝或其他通信设备，其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备；PCS(PersonalCommunicationsService，个人通信系统)，其可以组合语音、数据处理、传真和/或数据通信能力；PDA(PersonalDigitalAssistant，个人数字助理)，其可以包括射频接收器、寻呼机、互联网/内联网访问、网络浏览器、记事本、日历和/或GPS(GlobalPositioningSystem，全球定位系统)接收器；常规膝上型和/或掌上型计算机或其他设备，其具有和/或包括射频接收器的常规膝上型和/或掌上型计算机或其他设备。这里所使用的“终端”、“终端设备”可以是便携式本文档来自技高网...

【技术保护点】
一种动态视觉传感器DVS事件处理的方法，其特征在于，所述方法包括：获取DVS事件图序列；针对所述DVS事件图序列中的任一DVS事件图，提取DVS事件特征描述子，所述DVS事件特征描述子具有尺度不变特性和/或旋转不变特性；根据提取的所述DVS事件特征描述子，确定当前时刻DVS事件图的三维空间位姿；根据各DVS事件图的三维空间位姿，生成具备时域一致性的DVS事件图序列。

【技术特征摘要】
1.一种动态视觉传感器DVS事件处理的方法，其特征在于，所述方法包括：获取DVS事件图序列；针对所述DVS事件图序列中的任一DVS事件图，提取DVS事件特征描述子，所述DVS事件特征描述子具有尺度不变特性和/或旋转不变特性；根据提取的所述DVS事件特征描述子，确定当前时刻DVS事件图的三维空间位姿；根据各DVS事件图的三维空间位姿，生成具备时域一致性的DVS事件图序列。2.根据权利要求1所述的动态视觉传感器DVS事件处理的方法，其特征在于，所述获取DVS事件图序列，包括：获取双目DVS事件图序列；针对所述DVS事件图序列中的任一DVS事件图，提取DVS事件特征描述子，具体包括：针对任一目DVS事件图序列中的任一DVS事件图，提取DVS事件特征描述子。3.根据权利要求2所述的动态视觉传感器DVS事件处理的方法，其特征在于，所述根据提取的所述DVS事件特征描述子，确定当前时刻DVS事件图的三维空间位姿的步骤之前，还包括：针对任一目DVS事件图序列中的任一DVS事件图，根据所述DVS事件特征描述子，确定每一事件分别对应的深度值；其中，所述根据提取的所述DVS事件特征描述子，确定当前时刻DVS事件图的三维空间位姿的步骤，包括：针对任一目DVS事件图序列中的任一DVS事件图，根据所述每一事件分别对应的深度值、提取的DVS事件特征描述子，确定当前时刻DVS事件图的三维空间位姿。4.根据权利要求3所述的动态视觉传感器DVS事件处理的方法，其特征在于，所述根据所述每一事件分别对应的深度值、提取的DVS事件特征描述子，确定当前时刻DVS事件图的三维空间位姿的步骤，包括：根据所述每一事件分别对应的深度值、提取的DVS事件特征描述子，将当前时刻DVS事件图和所对应的DVS事件图序列中的关键帧进行匹配；根据匹配结果确定当前时刻DVS事件图的三维空间位姿。5.根据权利要求4所述的动态视觉传感器DVS事件处理的方法，其特征在于，所述根据匹配结果确定当前时刻DVS事件图的三维空间位姿的步骤之后，还包括：调整当前时刻DVS事件图的三维空间位姿，以使得DVS事件图在匹配过程中产生的累积误差小于预置值；其中，所述根据各DVS事件图的三维空间位姿，生成具备时域一致性的DVS事件图序列的步骤，包括：根据调整后的各DVS事件图的三维空间位姿，生成具备时域一致性的DVS事件图序列。6.根据权利要求2-5任一项所述的动态视觉传感器DVS事件处理的方法，其特征在于，所述针对任一目DVS事件图序列中的任一DVS事件图，提取DVS事件特征描述子的步骤，包括：针对任一目DVS事件图序列中的任一DVS事件图，创建视觉金字塔，所述视觉金字塔的层数为第一预设值，所述视觉金字塔的任意相邻两层之间的下采样系数为第二预设值；根据所述视觉金字塔，获取尺度不变的DVS事件特征描述子。7.根据权利要求6所述的动态视觉传感器DVS事件处理的方法，其特征在于，所述根据所述视觉金字塔，获取尺度不变的DVS事件特征描述子的步骤，包括：分别确定所述视觉金字塔的任一层中每个事件在8方向中的各个方向上对应的距离图；根据所述任一层中每个事件在8方向中的各个方向上对应的距离图，确定该层中每个事件运动的主方向；根据所述任一层中每个事件在8方向中的各个方向上对应的距离图，以及该层中每个事件运动的主方向，提取所述DVS事件特征描述子。8.根据权利要求7所述的动态视觉传感器DVS事件处理的方法，其特征在于，所述分别确定所述视觉金字塔的任一层中每个事件在8方向中的各个方向上对应的距离图的步骤，包括：根据所述任一层中每个事件在预置方向上到最近事件的欧式距离以及该每个事件分别对应的属性，分别确定所述任一层中每个事件在8方向中的各个方向上对应的距离图；其中，所述每个事件对应的属性包括：非事件、负极性事件以及正极性事件；其中，根据所述任一层中每个事件在8方向中的各个方向上对应的距离图，确定该层中每个事件运动的主方向的步骤，包括：针对所述任一层中每个事件，确定邻域中每个DVS事件到当前事件的方向和欧式距离，以及当前事件的邻域中的DVS事件的个数；根据确定出的方向、欧式距离和DVS事件的个数，确定当前事件运动的主方向；其中，根据所述任一层中每个事件在8方向中的各个方向上对应的距离图，以及该层中每个事件运动的主方向，提取所述DVS事件特征描述子的步骤，包括：对当前DVS事件图中的每个事件在所述视觉金字塔任一层中8...

【专利技术属性】
技术研发人员：石峰，邹冬青，刘伟恒，李佳，王强，徐静涛，钱德恒，李圭彬，柳贤锡，
申请(专利权)人：北京三星通信技术研究有限公司，三星电子株式会社，
类型：发明
国别省市：北京,11