【技术实现步骤摘要】
本专利技术属于计算机视觉和事件相机领域，具体涉及一种基于向量符号框架的事件相机光流估计方法。
技术介绍
1、在计算机视觉领域，光流估计作为一项关键任务，被广泛应用于运动分析、物体跟踪和场景重建等应用中。传统的光流估计方法主要用于基于帧的传统相机，通过比较前后两帧之间的像素强度差异来计算光流。然而，这些方法在处理快速运动、非刚性变形和遮挡等复杂情况时存在限制，且无法满足高时空分辨率的要求。
2、近年来，事件相机作为一种新兴的传感器，引起了广泛关注。事件相机是仿生传感器，不同于传统的帧相机：它们不是以固定速率捕获图像，而是异步测量每个像素的亮度变化，并输出编码时间、位置和亮度变化符号的事件流。与传统相机相比，事件相机具有的优势特性包括：高时间分辨率(微秒级)、超高动态范围、低功耗和高像素带宽，可减少运动模糊。因此，在低延迟、高速和高动态范围等对传统相机具有挑战性的场景中，事件相机在机器人技术和计算机视觉方面具有巨大潜力。然而，事件相机的数据特点与传统相机截然不同，传统的光流估计方法无法直接应用于事件数据。
3、当前，已经提出了多种用于事件的光流估计算法，它们大致能分成两类，第一类是传统算法，研究支持光流估计的事件数据的原理和特征，从而推断出光流信息，一个经典的算法就是lk光流法，这种方法是在亮度恒定假设、小运动假设以及空间一致性的这三个假设下来求解光流方程来计算光流的，这种方法应用场景仅在角点或者梯度丰富的区域效果较好而在平滑和边缘区域效果较差，而另一个比较有代表性算法的是对比度最大化算法，它通过最大化一个目
技术实现思路
1、为解决现有技术中算法在光流估计方面的缺陷不足，本专利技术将向量符号框架(vsa)应用于事件相机的数据处理，充分利用了事件相机的特点和矢量符号架构的优势，实现光流估计更精确、更鲁棒的目的，本专利技术采用如下的技术方案：
2、一种基于向量符号框架的事件相机光流估计方法，包括如下步骤：
3、步骤s1：事件表征；通过事件相机获取连续事件流，事件包含正负极性的时空坐标，分别将两个极性的事件转换为时间曲面(time surface)的表征方式；
4、步骤s2：生成高维特征描述子；通过高维向量编码卷积核，再将编码后的卷积核与每个时间曲面(time surface)卷积，形成时间曲面(time surface)的高维特征描述子；
5、步骤s3：生成代价体(cost volume)；在多尺度上集成多对高维特征描述子的相似性估计，计算局部相似度，得到的代价体(cost volume)作为前后两帧之间相似性的度量空间；
6、步骤s4：光流估计；根据代价体预测每个像素在局部的光流的概率，通过光流概率结合光流位置先验信息对光流进行估计。
7、进一步地，所述步骤s1中，事件相机的连续事件流ε＝{e1,e2,…}以稀疏和异步的方式响应亮度变化，每个事件ek＝(xk,yk,tk,pk)包含极性为pk∈{+1,-1}的时空坐标，像素(x,y)在时间t处累积的时间曲面如下：
8、
9、其中，τts表示指数衰减率，tj(x,y)表示时间t之前在像素(x,y)发生的任何事件的时间戳，累积时间曲面能够模拟接收事件流后发生的突触活动。
10、进一步地，所述步骤s1中，由于基于事件的光流估计的准确性受到事件中的随机性和噪声的阻碍，特别是当仅依赖两个时间差为δt的时间曲面(time surface)时，为了解决这个限制并将更全面的中间运动信息纳入此方法中，在时间0、δt/4、δt/2和δt生成两个极性的时间曲面(time surface)，依次表示为s表示下采样的尺度，如图2b所示，通过利用这组扩展的事件框架，本专利技术可以实现从时间0到δt的更精确的光流估计，后三个时间都遵循渐进加倍模式(×2)。
11、进一步地，所述步骤s2中，使用带有分数阶幂编码的向量符号框架vsa得到点(x,y)的高维向量空间表示：
12、
13、其中，基向量x和分别表示横轴和纵轴上的单位，表示实数，d表示维度，符号表示绑定操作，自绑定xx和yy表示任意坐标轴上的整数位置x和y的高维向量表征，是由基向量x和y分别绑定x和y次实现的，为了保证较高的概念检索效率，采用改进的全息简化表征(holographic reduced representation，hrr)生成所有基向量。
14、进一步地，所述步骤s2中，图像中以像素(x,y)为中心的n×n邻域的高维特征表示用以下公式编码为高维向量：
15、
16、其中，(δx,δy)表示像素(x,y)到其n×n邻域内任意像素的偏移量，n表示邻域长和宽的像素数，h表示图像i的高，w表示图像i的宽；
17、通过将图像i与高维向量核进行卷积：得到每个像素的高维特征描述子
18、f＝i*d。
19、进一步地，所述步骤s2中，考虑到高维向量的伪正交特性，这种基本的向量符号框架(basic vsa)表示忽略了二维空间中重要的拓扑相似关系，因此，考虑到同一对象在不同时间的事件表示的固有随机性，空间表示s不适合用来从事件表示中提取特征；因此，在本专利技术中，通过向量函数框架vfa使用极性相关的高维向量核获得每个极性fp(p∈{+,-})的累积时间曲面的高维特征描述子，表示实数，d表示维度，n×n表示邻域，这是一种特定类型的向量符号框架(vsa)，定义如下：
20、kp＝d*g
21、其中，g表示标准差为σk的二维高斯核，使用vfa的高维向量空间表示包含了二维空间中的拓扑相似关系；
22、通过多尺度方法得到t时刻的特征描述子ft(t＝0,1,2,4)(图2a)，每个极性p的累积时间曲面(time surface)以一定的比例(1/2)连续向下插值s-1次，得到一组s个的时间曲面(time surface)(x,y)表示像素坐标，h、w表示图像的高和宽，利用极性相关的高维核kp，每个极性对应时间曲面的高维特征描述子计算如下：
23、
24、其中，s表示下采样的尺度；
25、因此，在时间t时的高维特征描述子包含两个极性和多个空间尺度，用以下等式表示：
26、
27、其中，本专利技术采用角色填充绑定来生成结构化的高维特征描述符，r+和r-分别表示本文档来自技高网...
【技术保护点】
1.一种基于向量符号框架的事件相机光流估计方法，其特征在于包括如下步骤：
2.根据权利要求1所述的一种基于向量符号框架的事件相机光流估计方法，其特征在于：所述步骤S1中，连续事件流ε＝{e1,e2,…}以稀疏和异步的方式响应亮度变化，每个事件ek＝(xk,yk,tk,pk)包含极性为pk∈{+1,-1}的时空坐标，像素(x,y)在时间t处累积的时间曲面如下：
3.根据权利要求1所述的一种基于向量符号框架的事件相机光流估计方法，其特征在于：所述步骤S1中，两个时间差为Δt的时间曲面，在时间0、Δt/4、Δt/2和Δt生成两个极性的时间曲面，依次表示为s表示下采样的尺度。
4.根据权利要求1所述的一种基于向量符号框架的事件相机光流估计方法，其特征在于：所述步骤S2中，使用带有分数阶幂编码的向量符号框架VSA得到点(x,y)的高维向量空间表示：
5.根据权利要求4所述的一种基于向量符号框架的事件相机光流估计方法，其特征在于：所述步骤S2中，图像中以像素(x,y)为中心的N×N邻域的高维特征表示用以下公式编码为高维向量：
6.根
7.根据权利要求1所述的一种基于向量符号框架的事件相机光流估计方法，其特征在于：所述步骤S3中，尺度s下F0和F2s之间的时间间隔Δts为Δt/4·2s，后面尺度的高维特征描述子是通过对尺度0的特征描述子进行平均池化得到的，计算每对高维描述子F0和在尺度s处的局部视觉相似度，H、W表示图像的高和宽。
8.根据权利要求7所述的一种基于向量符号框架的事件相机光流估计方法，其特征在于：所述步骤S3中，任何高维描述子F0中的像素(i,j)仅与F2s中周围M×M邻域内的像素(k,l)描述符进行相似性比较，使用余弦相似度有效地计算代价体如下所示：
9.根据权利要求1所述的一种基于向量符号框架的事件相机光流估计方法，其特征在于：所述步骤S4中，光流概率分布根据最终代价体预测每个像素在局部区域内的光流概率，关于光流位置的先验信息由预定义的二维网格模板给出，其中包含了与光流概率对应的所有可能的光流方向；
10.根据权利要求9所述的一种基于向量符号框架的事件相机光流估计方法，其特征在于：所述步骤S4中，光流Tflow的模板是通过沿x轴和y轴连接两个二维网格而形成的，范围是[-m,m]·4/Δt，m等于M/2取整，分别为：
...【技术特征摘要】
1.一种基于向量符号框架的事件相机光流估计方法，其特征在于包括如下步骤：
2.根据权利要求1所述的一种基于向量符号框架的事件相机光流估计方法，其特征在于：所述步骤s1中，连续事件流ε＝{e1,e2,…}以稀疏和异步的方式响应亮度变化，每个事件ek＝(xk,yk,tk,pk)包含极性为pk∈{+1,-1}的时空坐标，像素(x,y)在时间t处累积的时间曲面如下：
3.根据权利要求1所述的一种基于向量符号框架的事件相机光流估计方法，其特征在于：所述步骤s1中，两个时间差为δt的时间曲面，在时间0、δt/4、δt/2和δt生成两个极性的时间曲面，依次表示为s表示下采样的尺度。
4.根据权利要求1所述的一种基于向量符号框架的事件相机光流估计方法，其特征在于：所述步骤s2中，使用带有分数阶幂编码的向量符号框架vsa得到点(x,y)的高维向量空间表示：
5.根据权利要求4所述的一种基于向量符号框架的事件相机光流估计方法，其特征在于：所述步骤s2中，图像中以像素(x,y)为中心的n×n邻域的高维特征表示用以下公式编码为高维向量：
6.根据权利要求4所述的一种基于向量符号框架的事件相机光流估计方法，其特征在于：所述步骤s2中，通过向量函数框架vfa使用极性相关的高维向量核获得每个极性fp(p∈{+...
【专利技术属性】
技术研发人员：游宏志，汪凡竣，李永杰，
申请(专利权)人：电子科技大学长三角研究院湖州，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。