一种基于事件相机的端到端无监督光流估计方法技术

本发明专利技术提供了一种基于事件相机的端到端的无监督光流估计方法，涉及计算机视觉的光流估计领域,针对事件相机数据用于光流估计缺乏真实光流值，以及事件数据需要预先手工制作事件表示的缺点，提出一种基于事件相机的端到端的无监督光流估计方法。利用事件相机输出的事件流，首先对原始数据进行预处理，将四维转换为三维，然后将每个样本分为多个子序列，每个子序列用ConvLSTM单独处理，全部处理完以后按通道拼接形成最终送入光流预测网络中的三维数据。采用类似于编码/解码器的光流预测网络，利用事件相机固定频率输出的事件流数据的前后两个灰度帧设计光度误差损失，加上平滑度损失，共同作为无监督损失，促使网络最终估计出光流量。

【技术实现步骤摘要】
一种基于事件相机的端到端无监督光流估计方法
本专利技术涉及一种估计方法，具体涉及一种基于事件相机的端到端无监督光流估计方法，属于计算机视觉

技术介绍
事件相机(EventCamera)是一种新型传感器，与常规的相机相比，它不是以固定的频率捕获图像，而是根据像素点亮度的变化异步地生成事件，输出事件流。事件流对亮度变化的时间戳、位置和变化的极性进行编码，即e＝{x,y,t,p}，其中(x，y)表示坐标点，t表示产生事件的时间戳，p表示极性，取值±1，“+”表示亮度增加，“-”表示亮度降低，同时还以固定的频率输出灰度图像，如图1所示。事件相机相比传统相机具有很好的性能：高时间分辨率(微秒级)，低延迟，低功耗以及高动态范围，它可以捕获非常快的运动，而不会出现传统相机中的运动模糊问题。基于事件相机的这些优点，可以将其应用到计算机视觉的一些任务中，例如运动目标检测、目标运动估计等，从而解决传统相机不能解决的问题。光流估计作为计算机视觉中的一个活跃的话题，是运动对象分割、位姿估计和动作识别等的基础任务。基于传统相机的光流估计方法，是在图像对本文档来自技高网...

【技术保护点】
1.一种基于事件相机的端到端无监督光流估计方法，其特征在于，所述方法包括以下步骤：/n步骤1，获取事件相机光流估计数据集MVSEC，从数据集主页下载ROS bag原始数据集包，从中获取事件流数据以及灰度帧数据，单个事件包含坐标(x，y)，时间戳t

【技术特征摘要】
1.一种基于事件相机的端到端无监督光流估计方法，其特征在于，所述方法包括以下步骤：
步骤1，获取事件相机光流估计数据集MVSEC，从数据集主页下载ROSbag原始数据集包，从中获取事件流数据以及灰度帧数据，单个事件包含坐标(x，y)，时间戳te以及事件极性p，灰度图含时间戳ti以及图像的高Hi和宽Wi；
步骤2，数据集预处理：滤除第一帧灰度图之前的数据，将Iti至Iti+6之间的事件数据作为一个样本，这里的ti是指灰度帧对应的时间，而获取的样本事件的时间戳换算为正常的以秒计的时间，为了增强数据，第二个样本则取为It+1至It+7，以此类推；
步骤3，将(x，y)作为二维平面上的坐标，时间t则作为通道，并且舍弃极性信息，即将样本大小为He×We×Te×2，最终表示为He×We×Te，每个像素点的值为t，没有事件产生的像素点值为0；
步骤4，对时间进行归一化，对像素点(xk，yk)每个通道上的值进行归一化操作，计算公式如下：
tk’＝round(255*(tk-tmin))/Δt)；
其中Δt＝tmax-tmin，归一化操作将四维原始数据转换为神经网络易于处理的三维数据；
步骤5，将上述单个样本的三维数据按时间划分为B个子序列{B1,B2,B3,…}，子序列维度为He×We×(Te/B),将每个子序列中的各个不同的时间节点作为一个ConvLSTM读入数据的时间点，读入的数据维度则为He×We×1×tmax，tmax为该序列所对应的像素点的最大时间长度，即tmax＝max(length(Pi))，i＝0，1，2，…，He*We；
步骤6，上述格式的样本数据送入ConvLSTM单元，每个子序列用卷积长短时记忆单元(ConvLSTM)单独处理，在每个子序列参与卷积之前对ConvLSTM进行初始化，处理完以后的维度为H×W×C，B个子序列同时处理完以后，再用ConvLSTM单元对这些子序列结果进行处理，最终得到维度为H×W×C的事件表示(即，原始数据的特征图)；
步骤7，将维度为H×W×C的事件表示输入到光流预测网络中，将平滑度损失和光度误差损失应用于每个中间以及最后的光流估计输出，最终得到从事件流中预测的光流量。

【专利技术属性】
技术研发人员：刘代坤，孙长银，陆科林，徐乐玏，
申请(专利权)人：东南大学，
类型：发明
国别省市：江苏;32