基于全局脉冲聚合的光流估计方法、装置及系统制造方法及图纸

本发明专利技术公开了一种基于全局脉冲聚合的光流估计方法、装置及系统，所述光流估计方法包括获取待测脉冲图像；将所述待测脉冲图像输入至预先训练好的光流估计网络，得到预测光流；所述光流估计网络包括特征提取模块、特征匹配模块和循环解码模块；所述特征提取模块用于将接收到的脉冲图像剪辑为若干个脉冲子流，分别对个脉冲子流进行特征提取，生成对应的上下文特征；所述特征匹配模块用于对上下文特征和对上一时刻的脉冲图像进行卷积操作获得的特征进行匹配，并将匹配结果编码为具有相应流场的运动特征；所述循环解码模块用于基于所述上下文特征和运动特征进行循环解码，得到光流。本发明专利技术能够从连续脉冲流中提炼出含有全局时序信息的上下文特征和运动特征，进而学习得到光流。流。流。

【技术实现步骤摘要】
基于全局脉冲聚合的光流估计方法、装置及系统


[0001]本专利技术属于光流估计领域，具体涉及一种基于全局脉冲聚合的光流估计方法、装置及系统。

技术介绍

[0002]光流估计是计算机视觉研究中的一个重要方向，在目标跟踪、图像增强、动作识别等方面中发挥着重要作用。目前，深度学习技术凭借其强大的特征表示能力在光流估计方面取得了成功。然而，面向极端环境或高速运动的场景，传统相机由于低频率成像特点，易因运动模糊丢失或漏检目标。为了捕捉高速场景下的运动特征，脉冲相机成为当下研究的热点，其为高速场景下的光流估计提供了新的视角。然而，之前的研究只关注两段脉冲流之间的运动求解问题，其忽略了全局聚合脉冲流中的时间信息，进而降低模型在复杂场景中对脉冲流特征的表达能力。

技术实现思路

[0003]针对上述问题，本专利技术提出一种基于全局脉冲聚合的光流估计方法、装置及系统，能够从连续脉冲流中提炼出含有全局时序信息的上下文特征和运动特征，进而学习得到光流。
[0004]为了实现上述技术目的，达到上述技术效果，本专利技术通过以下技术方案实现：
[0005]第一方面，本专利技术提供了一种基于全局脉冲聚合的光流估计方法，包括：
[0006]获取待测脉冲图像；
[0007]将所述待测脉冲图像输入至预先训练好的光流估计网络，得到预测光流；所述光流估计网络包括特征提取模块、特征匹配模块和循环解码模块；所述特征提取模块用于将接收到的脉冲图像剪辑为若干个脉冲子流，分别对个脉冲子流进行特征提取，生成对应的上下文特征；所述特征匹配模块用于对上下文特征和对上一时刻的脉冲图像进行卷积操作获得的特征进行匹配，并将匹配结果编码为具有相应流场的运动特征；所述循环解码模块用于基于所述上下文特征和运动特征进行循环解码，得到光流。
[0008]可选地，所述特征提取模块包括：
[0009]全局脉冲信息聚合模块，用于基于接收到的脉冲子流，计算出全局像素矩阵G；
[0010]时序信息聚合模块，用于基于接收到的脉冲子流，计算出时序像素矩阵A；
[0011]最大脉冲信息聚合模块，用于基于接收到的脉冲子流，基于每个像素点的最大值，计算出最大脉冲像素矩阵M；
[0012]卷积摸块，分别与所述全局脉冲信息聚合模块、时序信息聚合模块和最大脉冲信息聚合模块相连，基于所述全局像素矩阵G、时序像素矩阵A和最大脉冲像素矩阵M计算出上下文特征。
[0013]可选地，所述全局像素矩阵G的计算公式为：
[0014][0015]所述时序像素矩阵A的计算公式为：
[0016][0017]所述最大脉冲像素矩阵M的计算公式为：
[0018][0019]其中，g(i,j)表示脉冲子流在像素点(i,j)处的全局脉冲信息，是全局脉冲信息聚合变换，s(x,t)表示脉冲子流，表示第k幅图像上像素点(i,j)的信息，N表示脉冲子流的长度，是时序信息聚合变换，δ2(x,t)和δ1(x,t)分别表示下一个和上一个脉冲子流在时空时刻(x,t)的发射时间,x表示像素集合，t表示某个时刻，||
·
||2表示L2正则化，是最大脉冲信息聚合变换，m(i,j)表示脉冲子流在像素点(i,j)处的最大脉冲信息。
[0020]可选地，所述特征匹配模块包括：相关度计算模块、第一卷积操作块、第二卷积操作块、第一特征堆叠块、第三卷积操作块、第四卷积操作块、第五卷积操作块和第二特征堆叠块；
[0021]所述相关度计算模块基于接收到的上下文特征计算出相关度；
[0022]所述第一卷积操作块、第二卷积操作块顺次设置，用于对相关度计算模块的输出数据做卷积；
[0023]所述第三卷积操作块、第四卷积操作块顺次设置，用于对上一时刻的脉冲图像做卷积；
[0024]所述第一特征堆叠块、第五卷积操作块和第二特征堆叠块顺次设置，所述第一特征堆叠块对第二卷积操作块和第四卷积操作块输出的特征进行堆叠，然后所述第五卷积操作块将堆叠后的特征再进行卷积，得到特征后再与上一时刻的脉冲图像进行堆叠，得到运动特征。
[0025]可选地，特征之间的相关度的计算公式为：
[0026][0027]其中，C
i
(x,y,x',y')表示采样时刻i对应的上下文特征和对上一时刻的脉冲图像进行卷积操作获得的特征之间的相关度，(x,y)是上下文特征的坐标，(x',y')是对上一时刻的脉冲图像进行卷积操作获得的特征的坐标，T表示转置，单个脉冲图像的大小为H
×
W。
[0028]可选地，所述循环解码模块包括：第三特征堆叠块、第一卷积门控循环单元、第二卷积门控循环单元、N个预测头、第四特征堆叠块和上采样块；
[0029]所述第三特征堆叠块将接收到的上下文特征和运动特征进行堆叠，并将堆叠后的特征分别输入至第一卷积门控循环单元和第二卷积门控循环单元，得到隐藏状态h
t+1
；
[0030]将所述隐藏状态h
t+1
分别送入各预测头，每个预测头为1个3
×
3卷积，得到初始流
量
[0031]利用第四特征堆叠块对初始流量进行堆叠，在利用上采样模块进行上采样，得到最终的光流O1～O
N
。
[0032]可选地，所述第一卷积门控循环单元、第二卷积门控循环单元的数学表达式为：
[0033]z
t
＝σ(Conv3×3([h
t
‑1,x
t
],W
z
))
[0034]r
t
＝σ(Conv3×3([h
t
‑1,x
t
],W
r
))
[0035]h
t
＝tanh(Conv3×3([r
t
⊙
h
t
‑1,x
t
],W
h
))
[0036]h
t+1
＝(1
‑
z
t
)
⊙
h
t
‑1+z
t
⊙
h
t
[0037]其中，x
t
为对运动特征和上下文特征堆叠后的特征，h
t
‑1为t
‑
1时刻的隐含特征，σ为sigmoid函数，
⊙
为按元素相乘，W
z
、W
r
、W
h
均表示对应的权重，Conv3×3表示3
×
3卷积，z
t
和r
t
分别表示更新门和重置门，更新门用于控制前一时刻的状态信息被带入到当前状态中的程度，更新门的值越大说明上个时刻的状态信息带入越多，重置门控制前一状态有多少信息被写入到当前的候选集h
t
上，重置门的值越小，前一状态的信息被写入的越少，h
...

【技术保护点】

【技术特征摘要】
1.一种基于全局脉冲聚合的光流估计方法，其特征在于，包括：获取待测脉冲图像；将所述待测脉冲图像输入至预先训练好的光流估计网络，得到预测光流；所述光流估计网络包括特征提取模块、特征匹配模块和循环解码模块；所述特征提取模块用于将接收到的脉冲图像剪辑为若干个脉冲子流，分别对个脉冲子流进行特征提取，生成对应的上下文特征；所述特征匹配模块用于对上下文特征和对上一时刻的脉冲图像进行卷积操作获得的特征进行匹配，并将匹配结果编码为具有相应流场的运动特征；所述循环解码模块用于基于所述上下文特征和运动特征进行循环解码，得到光流。2.根据权利要求1所述的一种基于全局脉冲聚合的光流估计方法，其特征在于，所述特征提取模块包括：全局脉冲信息聚合模块，用于基于接收到的脉冲子流，计算出全局像素矩阵G；时序信息聚合模块，用于基于接收到的脉冲子流，计算出时序像素矩阵A；最大脉冲信息聚合模块，用于基于接收到的脉冲子流，基于每个像素点的最大值，计算出最大脉冲像素矩阵M；卷积摸块，分别与所述全局脉冲信息聚合模块、时序信息聚合模块和最大脉冲信息聚合模块相连，基于所述全局像素矩阵G、时序像素矩阵A和最大脉冲像素矩阵M计算出上下文特征。3.根据权利要求2所述的一种基于全局脉冲聚合的光流估计方法，其特征在于，所述全局像素矩阵G的计算公式为：所述时序像素矩阵A的计算公式为：所述最大脉冲像素矩阵M的计算公式为：其中，g(i,j)表示脉冲子流在像素点(i,j)处的全局脉冲信息，是全局脉冲信息聚合变换，s(x,t)表示脉冲子流，表示第k幅图像上像素点(i,j)的信息，N表示脉冲子流的长度，是时序信息聚合变换，δ2(x,t)和δ1(x,t)分别表示下一个和上一个脉冲子流在时空时刻(x,t)的发射时间,x表示像素集合，t表示某个时刻，||
·
||2表示L2正则化，是最大脉冲信息聚合变换，m(i,j)表示脉冲子流在像素点(i,j)处的最大脉冲信息。4.根据权利要求1所述的一种基于全局脉冲聚合的光流估计方法，其特征在于，所述特征匹配模块包括：相关度计算模块、第一卷积操作块、第二卷积操作块、第一特征堆叠块、第三卷积操作块、第四卷积操作块、第五卷积操作块和第二特征堆叠块；所述相关度计算模块基于接收到的上下文特征计算出相关度；所述第一卷积操作块、第二卷积操作块顺次设置，用于对相关度计算模块的输出数据做卷积；
所述第三卷积操作块、第四卷积操作块顺次设置，用于对上一时刻的脉冲图像做卷积；所述第一特征堆叠块、第五卷积操作块和第二特征堆叠块顺次设置，所述第一特征堆叠块对第二卷积操作块和第四卷积操作块输出的特征进行堆叠，然后所述第五卷积操作块将堆叠后的特征再进行卷积，得到特征后再与上一时刻的脉冲图像进行堆叠，得到运动特征。5.根据权利要求4所述的一种基于全局脉冲聚合的光流估计方法，其特征在于：特征之间的相关度的计算公式为：其中，C
i
(x,y,x',y')表示采样时刻i对应的上下文特征和对上一时刻的脉冲图像进行卷积操作获得的特征之间的相关度，(x,y)是上下文特征的坐标，(x',y')是对上一时刻的脉冲图像进行卷积操作获得的特征的坐标，T表示转置，单个脉冲图像的大小为H
×
W。6.根据权利要求1所述的一种基于全局脉冲聚合的光流估计方法，其特征在于，所述循环解码模块包括：第三特征堆叠块、第一卷积门控循环单元、第二卷积门控循环单元、N个预测头、第四特征堆叠块和上采样块；所述第三特征堆叠块将接收到的上下文特征和运动特征进行堆叠，并将堆叠后的特征分别输入至第一卷积门控循环单元和第二卷积门控循环单元，得到隐藏状态h
t+1
；将所述隐藏状态h
...

【专利技术属性】
技术研发人员：翟明亮，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：