基于事件点图融合的视频插帧方法技术

本发明专利技术公开了一种基于事件点图融合的视频插帧方法，获取两张图片I0、I1，确定该两张图片I0、I1的中间事件流E和需要插帧的帧数n；提取两张图片I0、I1的特征，得到图像特征；提取中间事件流E的特征，得到事件特征；对事件特征进行时域上的聚合，得到聚合后的事件特征；利用图像特征和聚合后的事件特征获得两边帧到中间帧的光流图；利用光流图对齐图片I0和图片I0的浅层特征，以及对齐图片I1和图片I1的浅层特征；融合对齐后的图片、图片特征、以及图像特征和聚合后的事件特征拼接后的特征，得到最终的插帧结果图。本发明专利技术能将事件的优势融入网络中，解决了现有技术计算量存在冗余的问题。解决了现有技术计算量存在冗余的问题。解决了现有技术计算量存在冗余的问题。

【技术实现步骤摘要】
基于事件点图融合的视频插帧方法


[0001]本专利技术涉及视频插帧领域，特别是一种基于事件点图融合的视频插帧方法。

技术介绍

[0002]视频插帧是将低时间分辨率转换为高时间分辨率视频，旨在提高视频的帧率和流畅度，可以运用于慢动作视频生成(slow
‑
motion generation)，新视角图像的合成(novel view synthesis)，动画创作(cartoon creation)和视频压缩(video compression)等领域。
[0003]视频插帧现阶段有两种技术方法，分别是借助图像的插帧方法和基于事件的插帧方法。
[0004]基于图像的插帧方法旨在通过连续的帧来合成中间图像。它可以被分类成光流对齐法，卷积核依赖法和直接合成法。光流对齐法显式的估计出了两帧到中间帧时刻的光流图并将光流向中间帧对齐，这类方法大多数都是建立在线性运的假设和光度一致性假设的基础上的。尽管一些方法也进行了非线性估计的尝试，但是这类方法仍然无法解决复杂运动场景下的插帧问题。卷积核依赖法可以通过在小的图像块上进行卷积来解决运动模糊的问题，但是它却不适合帧间位移大的情况。直接合成法借助3D卷积，可变形卷积，像素重排等手段来合成中间帧。这些借助图像的插帧方法在一些问题上取得了成效，但是由于帧间运动信息的缺失，不能很好的适应复杂运动背景。
[0005]不同于借助图像的插帧方法，基于事件的插帧方法还涵盖额外的事件相机来提供补充的运动信息。早期的工作研究了事件的积分和图像之间的关系，并通过循环卷积网络提取事件流中的残差信息。而近期的工作更多把注意力转向光流对齐法来处理大位移的情况。总的来说，这些工作都改变了事件的表征，利用人为设计的聚合策略，把事件流转换成了网格状的数据形式，来支持后续应用卷积网络实现提取特征的过程。因此，依据不同的聚合策略，本专利技术实施例将基于事件的插帧方法分为，体素化方法和时间表面切片方法。
[0006]体素化方法将原本的事件流化分了离散的体素化网格，并将落在每个网格中的事件点根据极性进行累加。Rebecq等人第一次引入了计算机视觉的方式来处理这种转换后的网格事件数据，并且提出了一种循环神经网络架构来合成图像。Tulyakov等人将事件相机作为常规相机的补充设备，实现将常规相机拍摄的图像和事件相机记录的事件相结合，并设计了一种基于光流和直接合成的双分支网络来分别提取光流信息和残差信息。Wang等人提出了一种稀疏学习网络来处理不同极性的事件体素网格。时间表面切片方法将2D输入事件转换成4维图像。在每个像素位置上，第一维和第二维分别记录正负极性的事件数目，第三维和第四维分别记录正负极性事件的最后一次触发时刻。He等人为这种事件表面数据设计了一个无监督学习框架，通过循环一致性实现无监督学习的插帧。
[0007]不管是体素化方法，还是时间表面切片的方法，都是在算法的早期将事件的特殊格式依照某些策略进行聚合，以适应目前已有的为空间排列好的网格数据设计的卷积操作。这种处理流程有着以下两个弊端：前期将事件的点形式转换成网格形式，破坏了原有事
件点的稀疏存储特性，同时对大量时间维的离散化又会导致时间信息的丢失；第二，这样的人为设计的聚合形式是不可学习的，不能对适应不同任务下的事件数据。目前也有一些工作，针对分类或姿态估计的任务，采用了一些其他的新型事件表征，比如基于块的事件表示，点云表示和向量表示，并取得了一定的成功。然而，对于如何处理这样的事件和图像结合的双端输入的视频插帧问题，目前还没有一个不进行事件表征转换的解决方法。

技术实现思路

[0008]本专利技术所要解决的技术问题是，针对现有技术不足，提供一种基于事件点图融合的视频插帧方法，充分利用事件流的时域信息，避免计算冗余。
[0009]为解决上述技术问题，本专利技术所采用的技术方案是：一种基于事件点图融合的视频插帧方法，包括以下步骤：
[0010]S1、获取两张图片I0、I1，确定该两张图片I0、I1的中间事件流E和需要插帧的帧数n；
[0011]S2、提取两张图片I0、I1的特征，得到图像特征F_i；
[0012]提取中间事件流E的特征，得到事件特征F_e；
[0013]对事件特征F_e进行时域上的聚合，得到聚合后的事件特征F_e
’
；
[0014]S3、利用所述图像特征F_i和聚合后的事件特征F_e
’
获得两边帧到中间帧的光流图；
[0015]S4、利用所述光流图对齐图片I0和图片I0的浅层特征，以及对齐图片I1和图片I1的浅层特征；
[0016]S5、融合对齐后的图片、图片特征、以及图像特征F_i和聚合后的事件特征F_e
’
拼接后的特征，得到最终的插帧结果图。
[0017]本专利技术利用事件流提供的丰富的时域信息对物体的运动进行了补充，同时直接对事件点进行卷积减少了计算冗余，提高了插帧效率。本专利技术插帧图片中运动物体的中间时刻位置恢复得准确，形状完整，边缘锋利，出现的伪影较少。
[0018]提取两张图片I0、I1的特征，得到图像特征F_i的具体实现过程包括：
[0019]将图片I0和图片I1分别输入上采样单元，得到第一上采样特征和第二上采样特征；
[0020]连接所述第一上采样特征和第二上采样特征；
[0021]将连接后的特征输入残差卷积模块，得到第三特征；
[0022]将所述第三特征输入下采样单元，得到图像特征F_i。
[0023]本专利技术图像特征提取模块采用U
‑
Net网络结构，扩大了底部卷积层感受野，同时减少了计算量，适合提取有更大位移的运动信息。
[0024]提取中间事件流E的特征，得到事件特征F_e的具体实现过程包括：
[0025]将中间事件流E的时间维与缩放因子相乘，得到缩放中间事件流；所述中间事件流E包括N个长度为4的向量，每个向量的不同位置上的值分别为时间戳、空间位置坐标的横坐标、空间位置坐标的纵坐标、极性；
[0026]对于缩放中间事件流中的每个事件点的前三维，通过K近邻搜索的方法找到K个最近邻点；每个事件点的前三维是指时间戳、空间位置坐标的横坐标、空间位置坐标的纵坐
标；
[0027]将缩放中间事件流的所有事件点对应的K个最近邻点的位置特征、缩放中间事件流所有事件点的极性作为第一下采样卷积模块的输入；
[0028]对缩放中间事件流中的每个事件点的前三维进行第一次下采样，搜索第一次下采样后的每个事件点的最近邻点；
[0029]将第一次下采样后的所有事件点的最近邻点的位置特征、所述第一下采样卷积模块的输出作为第二下采样卷积模块的输入；
[0030]对第二次下采样后的特征进行第二次下采样，搜索第二次下采样后的每个事件点的最近邻点；
[0031]将第二次下采样后的所有事件点的最近邻点的位置特征、所述第二下采样卷积模块的输出作为第三下采样卷积模块的输入；
[003本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于事件点图融合的视频插帧方法，其特征在于，包括以下步骤：S1、获取两张图片I0、I1，确定该两张图片I0、I1的中间事件流E和需要插帧的帧数n；S2、提取两张图片I0、I1的特征，得到图像特征F_i；提取中间事件流E的特征，得到事件特征F_e；对事件特征F_e进行时域上的聚合，得到聚合后的事件特征F_e
’
；S3、利用所述图像特征F_i和聚合后的事件特征F_e
’
获得两边帧到中间帧的光流图；S4、利用所述光流图对齐图片I0和图片I0的浅层特征，并对齐图片I1和图片I1的浅层特征；S5、融合对齐后的图片、图片特征、以及图像特征F_i和聚合后的事件特征F_e
’
拼接后的特征，得到最终的插帧结果图。2.根据权利要求1所述的基于事件点图融合的视频插帧方法，其特征在于，所述步骤S2中，提取两张图片I0、I1的特征，得到图像特征F_i的具体实现过程包括：将图片I0和图片I1分别输入上采样单元，得到第一上采样特征和第二上采样特征；连接所述第一上采样特征和第二上采样特征；将连接后的特征输入残差卷积模块，得到第三特征；将所述第三特征输入下采样单元，得到图像特征F_i。3.根据权利要求1所述的基于事件点图融合的视频插帧方法，其特征在于，所述步骤S2中提取中间事件流E的特征，得到事件特征F_e的具体实现过程包括：将中间事件流E的时间维与缩放因子相乘，得到缩放中间事件流；所述中间事件流E包括N个长度为4的向量，每个向量的不同位置上的值分别为时间戳、空间位置坐标的横坐标、空间位置坐标的纵坐标、极性；对于缩放中间事件流中的每个事件点的前三维，通过K近邻搜索的方法找到K个最近邻点；每个事件点的前三维是指时间戳、空间位置坐标的横坐标、空间位置坐标的纵坐标；将缩放中间事件流的所有事件点对应的K个最近邻点的位置特征、缩放中间事件流所有事件点的极性作为第一下采样卷积模块的输入；对缩放中间事件流中的每个事件点的前三维进行第一次下采样，搜索第一次下采样后的每个事件点的最近邻点；将第一次下采样后的所有事件点的最近邻点的位置特征、所述第一下采样卷积模块的输出作为第二下采样卷积模块的输入；对第二次下采样后的特征进行第二次下采样，搜索第二次下采样后的每个事件点的最近邻点；将第二次下采样后的所有事件点的最近邻点的位置特征、所述第二下采样卷积模块的输出作为第三下采样卷积模块的输入；依此类推，直至将最后一次下采样，即第M次下采样后的所有事件点的最近邻点的位置特征、第M
‑
1下采样卷积模块的输出作为第M下采样卷积模块的输入；对第M下采样卷积模块的输出进行插值，...

【专利技术属性】
技术研发人员：李淼，张楚舒，安玮，凌强，林再平，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：