一种大场景动态视觉观测方法及装置制造方法及图纸

本发明专利技术公开了一种大场景动态视觉观测方法，该方法包括以下步骤：多视角事件数据获取步骤，利用事件相机阵列获取多视角事件流数据；多视角事件图像转换步骤，将事件流数据转化为事件计数图像；事件图像特征点检测步骤，对上述事件计数图像执行特征点检测与特征向量提取；事件图像特征点匹配步骤，计算获得特征点之间的匹配关系；空间坐标变换矩阵计算步骤，根据上述特征点匹配关系，计算空间坐标变换矩阵；多视角事件流数据融合步骤，将多视角事件流数据进行空间坐标变换，拼接变换后的多视角事件流数据，获取大场景动态观测事件流数据。本发明专利技术在基于事件相机的场景动态视觉观测的基础上，获得更大视场范围的大场景动态观测效果。

【技术实现步骤摘要】
一种大场景动态视觉观测方法及装置
本专利技术涉及计算机视觉及计算摄像学领域，尤其涉及一种大场景动态视觉观测方法及装置。
技术介绍
事件相机是一种受生物启发的传感器，工作原理与传统的相机有很大的差别。与传统相机以固定帧率采集场景绝对光强不同，这种相机当且仅当场景光强变化时输出数据，这种输出的数据称为事件流。与传统相机相比，事件相机有着高动态范围、高时间分辨率、无动态模糊等优点。事件相机作为一种新型视觉传感器，其输出数据的形式与传统相机完全不同，无法直接应用传统相机及图像的各种算法。传统相机以固定速率(即帧率)采集场景的光强值，并以固定速率输出为图片数据。事件相机则没有帧率的概念，其每个像素点异步工作，当检测到光强变化时输出一条事件。每条事件为一个四元组(x,y,t,p)，包含像素横纵坐标(x,y)、时间戳t和事件极性p(其中，p＝-1表示该像素点光强减小，p＝1表示该像素点光强增大)。所有像素点输出的事件数据汇总起来，形成由一条条事件组成的事件列表，作为相机输出的事件流数据。一个长度为20秒传统相机获得的视频数据，和与之对应的事件相机输出的事件流数据的实例如图1所示。因此，传统相机及传统图像处理领域中适用的各种算法及方法，均无法直接使用于事件相机及事件数据。单一传统相机存在视场范围小的问题，并可以采用多视角相机阵列获取多视角的图像，利用图像配准及拼接技术实现大视场观测的目的。单一事件相机同样存在视场范围小的问题，但由于事件相机输出事件流数据，与传统相机存在较大差别，无法直接使用现有图像配准与拼接技术方法。即，目前缺乏对于多视角事件流数据进行配准及融合的相关技术方法。
技术实现思路
为解决目前缺乏对于多视角事件流数据进行配准及融合相关技术方法的问题，本专利技术提供了一种大场景动态视觉观测方法及装置，可以实现对于多视角事件相机所获取事件流数据的配准与融合，即实现更大视场的事件流数据的获取。本专利技术提供了一种大场景动态视觉观测方法，其特征在于，包括如下步骤：步骤1、多视角事件数据获取，获取多视角事件流数据，其中，多视角事件流数据由同步的事件相机阵列获取；步骤2、多视角事件图像转换，处理多视角事件流数据，每个视角的事件流数据转化为一张两通道的事件计数图像，事件计数图像的每个像素点统计发生在该像素点的正负事件数目；步骤3、事件图像特征点检测，利用SpeededUpRobustFeatures(SURF)算法对多视角事件计数图像实施特征点检测和特征描述，获取每个视角的事件计数图像的特征点集合及每个特征点的特征描述；步骤4、事件图像特征点匹配，取第一个视角的事件相机所获取的事件流数据作为参考视角，其余视角作为非参考视角，对每个非参考视角的特征点集合依次与参考视角特征点集合实施特征匹配，获取匹配关系；步骤5、空间坐标变换矩阵计算，根据相互匹配的特征点坐标，计算每个非参考视角相对于参考视角的空间坐标变换矩阵；步骤6、多视角事件流数据融合，将多视角事件流数据利用上述空间坐标变换矩阵进行空间坐标变换，拼接变换后的事件流数据，获取大场景动态观测事件流数据。本专利技术还提供了一种大场景动态视觉观测装置，包括：多视角事件数据获取单元，多视角事件图像转换单元，事件图像特征点检测单元，事件图像特征点匹配单元，空间坐标变换矩阵计算单元，多视角事件流数据融合单元；其特征在于：多视角事件数据获取单元，获取多视角事件流数据，其中，多视角事件流数据由同步的事件相机阵列获取；多视角事件图像转换单元，处理多视角事件流数据，每个多视角的事件流数据转化为一张两通道的事件计数图像，事件计数图像的每个像素点统计发生在该像素点的正负事件数目；事件图像特征点检测单元，利用SpeededUpRobustFeatures(SURF)算法对多视角事件计数图像实施特征点检测和特征描述，获取每个视角的事件计数图像的特征点集合及每个特征点的特征描述；事件图像特征点匹配单元，取第一个视角的事件相机所获取的事件流数据作为参考视角，其余视角作为非参考视角，对每个非参考视角的特征点集合依次与参考视角特征点集合实施特征匹配，获取匹配关系；空间坐标变换矩阵计算单元，根据相互匹配的特征点坐标，计算每个非参考视角相对于参考视角的空间坐标变换矩阵；多视角事件流数据融合单元，将多视角事件流数据利用上述空间坐标变换矩阵进行空间坐标变换，拼接变换后的事件流数据，获取大场景动态观测事件流数据。本专利技术的有益效果是：本专利技术可以解决目前缺乏对于多视角事件流数据进行配准及融合相关技术方法的问题。该专利技术的大场景动态视觉观测方法可以在多视角事件相机所获取的小视场事件流数据的基础上，实现多视角事件流数据配准及融合，即实现更大视场的场景动态观测。附图说明图1是一个时间长度为20秒的传统相机获得的视频数据和与之对应的事件相机获得的流数据示意图。图2是本专利技术大场景动态视觉观测方法流程示意图。具体实施方式以下结合图2对专利技术的技术方案作进一步详细说明。如图2所示，该实施例提供了一种大场景动态视觉观测方法，用于实现多视角事件相机所获取事件流数据的配准与融合，包括如下步骤：步骤1、获取多视角事件流数据，其中，多视角事件流数据由同步的事件相机阵列获取；该步骤中，利用现有小视场的事件相机，搭建事件相机阵列，各个相机同步触发，采集多视角事件流数据。事件相机作为仿生新型相机，其当且仅当场景光强变化时输出数据，这种输出的数据称为事件流。事件相机所输出的事件流数据可以用公式(1)的形式表示：其中，ε为事件流集合，i表示事件流中事件的编号，xi为第i个事件的空间横坐标，yi为第i个事件的空间纵坐标，ti表示第i个事件的时间戳，pi为第i个事件的极性。pi＝1表示这个像素点的光强增大，pi＝-1表示这个像素点的光强减小。设事件相机阵列总共包含N个事件相机，编号为1到N，则多视角事件流数据可记为：E＝{ε1,ε2,...,εN}(2)其中，εi表示第i个事件相机输出的事件流数据。步骤2、多视角事件图像转换，处理多视角事件流数据，每个视角的事件流数据转化为一张两通道的事件计数图像，事件计数图像的每个像素点统计发生在该像素点的正负事件数目；该步骤中，事件计数图像的每个像素点统计发生在该像素点的正负事件数目，具体转换公式如下所示：其中，I为事件计数图像，M为事件流数据中总事件数，δ为单位脉冲函数。步骤3、完成事件图像特征点检测，利用SpeededUpRobustFeatures(SURF)算法对多视角事件计数图像实施特征点检测和特征描述，获取每个视角的事件计数图像的特征点集合及其对应的特征描述；步骤4、进行事件图像特征点匹配，取第一个视角的事件相机所获取的事件流数据作为参考视角，其余视角作为非参考视角，对每个非参考视角的特征点集合依次与参考视角特征点集合实施特征匹配，获取匹配关系；该本文档来自技高网...

【技术保护点】
1.一种大场景动态视觉观测方法，其特征在于其特征在于，包括如下步骤：/n步骤1、多视角事件数据获取，获取多视角事件流数据，其中，多视角事件流数据由同步的事件相机阵列获取；/n步骤2、多视角事件图像转换，处理多视角事件流数据，每个视角的事件流数据转化为一张两通道的事件计数图像，事件计数图像的每个像素点统计发生在该像素点的正负事件数目；/n步骤3、事件图像特征点检测，利用Speeded Up Robust Features(SURF)算法对多视角事件计数图像实施特征点检测和特征描述，获取每个视角的事件计数图像的特征点集合及每个特征点的特征描述；/n步骤4、事件图像特征点匹配，取第一个视角的事件相机所获取的事件流数据作为参考视角，其余视角作为非参考视角，对每个非参考视角的特征点集合依次与参考视角特征点集合实施特征匹配，获取匹配关系；/n步骤5、空间坐标变换矩阵计算，根据相互匹配的特征点坐标，计算每个非参考视角相对于参考视角的空间坐标变换矩阵；/n步骤6、多视角事件流数据融合，将多视角事件流数据利用上述空间坐标变换矩阵进行空间坐标变换，拼接变换后的事件流数据，获取大场景动态观测事件流数据。/n

【技术特征摘要】
1.一种大场景动态视觉观测方法，其特征在于其特征在于，包括如下步骤：
步骤1、多视角事件数据获取，获取多视角事件流数据，其中，多视角事件流数据由同步的事件相机阵列获取；
步骤2、多视角事件图像转换，处理多视角事件流数据，每个视角的事件流数据转化为一张两通道的事件计数图像，事件计数图像的每个像素点统计发生在该像素点的正负事件数目；
步骤3、事件图像特征点检测，利用SpeededUpRobustFeatures(SURF)算法对多视角事件计数图像实施特征点检测和特征描述，获取每个视角的事件计数图像的特征点集合及每个特征点的特征描述；
步骤4、事件图像特征点匹配，取第一个视角的事件相机所获取的事件流数据作为参考视角，其余视角作为非参考视角，对每个非参考视角的特征点集合依次与参考视角特征点集合实施特征匹配，获取匹配关系；
步骤5、空间坐标变换矩阵计算，根据相互匹配的特征点坐标，计算每个非参考视角相对于参考视角的空间坐标变换矩阵；
步骤6、多视角事件流数据融合，将多视角事件流数据利用上述空间坐标变换矩阵进行空间坐标变换，拼接变换后的事件流数据，获取大场景动态观测事件流数据。


2.如权利要求1的大场景动态视觉观测方法，其特征在于，步骤2中，事件计数图像具体转换公式如下所示：



其中，I为事件计数图像，xi为第i个事件的空间横坐标，yi为第i个事件的空间纵坐标，pi为第i个事件的极性，N为事件流数据中的总事件数，δ为单位脉冲函数。


3.如权利要求1的大场景动态视觉观测方法，其特征在于，步骤4中，特征点匹配关系采用如下算法获得：






其中，A与B分别为参考视角a和任一非参考视角b的事件计数图像提取的特征点集合，Ai表示特征点集合A中第i个特征点，表示该特征点的特征向量，Bj表示特征点集合B中第j个特征点，表示该特征点的特征向量，对特征点集合A中的特征点Ai，Ai匹配的特征点为特征点集合B中的特征点Bj。


4.如权利要求1的大场景动态视觉观测方法，其特征在于，步骤5中，空间坐标变换矩阵由如下算法获得：



其中，为参考视角a的事件计数图像所提取的特征点集合A中第i个特征点Ai的坐标，为任一非参考视角b的事件计数图像所提取的特征点集合特征点集B中与特征点Ai匹配的特征点Bi的坐标，N为特征点集合A与特征点集合B中所匹配的特征点对的总数，Hab为非参考视角b相对于参考视角a的空间坐标变换矩阵。


5.如权利要求1的大场景动态视觉观测方法，其特征在于，步骤6中，大场景动态观测事件流数据由如下算法获得：
ε＝ε1∪ε′2∪…∪ε′N






其中，ε为拼接后的大场景动态观测事件流，ε1为参考视角的事件相机采集的事件流数据，ε′j为第j个视角的事件相机采集的事件流数据经过空间坐标变换矩阵运算后得到的事件流数据，N为多视角事件相机阵列中事件相机个数，H1j为第j个非参考视角相对于参考视角的空间坐标变换矩阵，xij为第j个视角的事件相机采集的事件数据中第i个事件的原始空间横坐标，yij为第j个视角的事件相机采集的事件数据中第i个事件的原始空间纵坐标，tij为第j个视角的事件相机采集的事件数据中第i个事件触发的时间戳，pij为第j个视角的事件相机采集的事件数据中第i个事件的极性。为第j个视角的事件相机采集的事件数据中第i个事件经过空间坐标变换矩阵运算后得到的横坐标，为第j个视角的事件相机采集的事件数据中第i个事件经过空间坐标变换矩阵运算后得到的纵坐标。


6.一种大场景动态视...

【专利技术属性】
技术研发人员：高跃，李思奇，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京;11