基于事件引导的视频插帧方法、装置、设备及存储介质制造方法及图纸

本申请提供了一种基于事件引导的视频插帧方法、装置、设备及存储介质，涉及人工智能技术领域，具体实现方案为：针对待插帧视频中各相邻卷帘曝光图像帧，获取采集于相邻卷帘曝光图像帧的曝光时间区间的事件数据流；基于事件数据流估计相应的全局变形场；根据全局变形场生成对应于相邻卷帘曝光图像帧的潜在全局曝光图像帧组合；将不同潜在全局曝光图像帧组合分别插入至相应的相邻卷帘曝光图像帧之间，得到插帧完成视频。通过本申请方案的实施，基于变形场实现卷帘曝光图像帧与全局曝光图像帧的转化，利用同步采集的事件数据引导潜在图像帧的预测，事件信号可以为帧间运动状态估计提供有效支持，提高了卷帘曝光模式所采集的视频的插帧效果。的插帧效果。的插帧效果。

【技术实现步骤摘要】
基于事件引导的视频插帧方法、装置、设备及存储介质


[0001]本申请涉及人工智能
，尤其涉及计算机视觉
，可应用于视频插帧场景。更具体的，本申请公开了一种基于事件引导的视频插帧方法、装置、设备及存储介质。

技术介绍

[0002]目前，用户在众多场景下会使用终端设备拍摄视频，而随着科技的不断发展，用户对视频帧率的要求越来越高，而普通相机受配置水平的限制难以满足用户的高帧率需求，基于此，视频插帧技术应运而生。
[0003]视频插帧技术是视频增强中较为常用的技术，视频插帧技术的目标是将低帧率视频转化为高帧率视频。在实际应用中，卷帘曝光是最为常用的曝光模式，卷帘曝光通常会存在图像和视频的变形、扭曲问题。目前，相关技术中所提供的基于事件信号引导视频插帧技术仅考虑了全局曝光模式，并无法满足卷帘曝光模式下的视频插帧需求，另外，当前的视频插帧技术通常采用原始APS图像帧来预测潜在图像帧，而原始APS图像帧所提供的引导信息比较局限，难以保证潜在图像帧的预测准确性，导致视频插帧效果不佳。
[0004]值得注意的是，在此部分中描述的技术不一定是之前已经设想到或采用的技术。除非另有指明，否则不应假定此部分中描述的任何技术仅因其包括在此部分中就被认为为现有技术。类似地，除非另有指明，否则此部分中提及的问题不应认为在任何现有技术中已被公认。

技术实现思路

[0005]本申请实施例提供了一种基于事件引导的视频插帧方法、装置、设备及存储介质，至少能够解决相关技术中难以保证卷帘曝光模式所采集的视频的插帧效果的问题。
[0006]本申请实施例第一方面提供了一种基于事件引导的视频插帧方法，包括：针对待插帧视频中各相邻卷帘曝光图像帧，获取采集于所述相邻卷帘曝光图像帧的曝光时间区间的事件数据流；基于所述事件数据流估计相应的全局变形场；根据所述全局变形场生成对应于所述相邻卷帘曝光图像帧的潜在全局曝光图像帧组合；其中，所述潜在全局曝光图像帧组合包括多个潜在全局曝光图像帧；将不同所述潜在全局曝光图像帧组合分别插入至相应的所述相邻卷帘曝光图像帧之间，得到插帧完成视频。
[0007]本申请实施例第二方面提供了一种基于事件引导的视频插帧装置，包括：获取模块，用于针对待插帧视频中各相邻卷帘曝光图像帧，获取采集于所述相邻卷帘曝光图像帧的曝光时间区间的事件数据流；估计模块，用于基于所述事件数据流估计相应的全局变形场；生成模块，用于根据所述全局变形场生成对应于所述相邻卷帘曝光图像帧的潜在全局曝光图像帧组合；其中，所述潜在全局曝光图像帧组合包括多个潜在全局曝光图像帧；插帧模块，用于将不同所述潜在全局曝光图像帧组合分别插入至相应的所述相邻卷帘曝光图像帧之间，得到插帧完成视频。
[0008]本申请实施例第三方面提供了一种电子设备，包括：存储器及处理器，其中，处理器用于执行存储在存储器上的计算机程序，处理器执行计算机程序时，实现上述本申请实施例第一方面提供的视频插帧方法中的各步骤。
[0009]本申请实施例第四方面提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时，实现上述本申请实施例第一方面提供的视频插帧方法中的各步骤。
[0010]由上可见，根据本申请方案所提供的基于事件引导的视频插帧方法、装置、设备及存储介质，针对待插帧视频中各相邻卷帘曝光图像帧，获取采集于相邻卷帘曝光图像帧的曝光时间区间的事件数据流；基于事件数据流估计相应的全局变形场；根据全局变形场生成对应于相邻卷帘曝光图像帧的潜在全局曝光图像帧组合；将不同潜在全局曝光图像帧组合分别插入至相应的相邻卷帘曝光图像帧之间，得到插帧完成视频。通过本申请方案的实施，基于变形场实现卷帘曝光图像帧与全局曝光图像帧的转化，利用同步采集的事件数据引导潜在图像帧的预测，事件信号可以为帧间运动状态估计提供有效支持，提高了卷帘曝光模式所采集的视频的插帧效果。
[0011]应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0012]附图示例性地示出了实施例并且构成说明书的一部分，与说明书的文字描述共同用于解释实施例的示例性实施方式。所示出的附图仅出于示例性目的，并不限制权利要求的范围。在所有附图中，相同的附图标记指代类似但不一定相同的要素。
[0013]图1为本申请一实施例提供的视频插帧方法的基本流程示意图；
[0014]图2为本申请一实施例提供的一种事件数据流与相邻卷帘曝光图像帧的关联示意图；
[0015]图3为本申请一实施例提供的一种获取初始化全局曝光图像帧的原理示意图；
[0016]图4为本申请一实施例提供的一种视频插帧效果示意图；
[0017]图5为本申请一实施例提供的视频插帧方法的细化流程示意图；
[0018]图6为本申请一实施例提供的视频插帧装置的程序模块示意图；
[0019]图7为本申请一实施例提供的电子设备的结构示意图。
具体实施方式
[0020]为使得本申请的专利技术目的、特征、优点能够更加的明显和易懂，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而非全部实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0021]需要理解的是，在本申请实施例的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
[0022]下面将结合附图详细说明本申请实施例的一种基于事件引导的视频插帧方法、装置、设备及存储介质。
[0023]为了解决相关技术中难以保证卷帘曝光模式所采集的视频的插帧效果的问题，本申请一实施例提供了一种基于事件引导的视频插帧方法，如图1为本申请一实施例提供的视频插帧方法的基本流程图，具体包括以下步骤：
[0024]步骤101、针对待插帧视频中各相邻卷帘曝光图像帧，获取采集于相邻卷帘曝光图像帧的曝光时间区间的事件数据流。
[0025]具体的，在本实施例中，卷帘曝光图像帧可以通过有源像素传感器(APS，Active
‑
Pixel Sensor)采集，而事件数据流则基于动态视觉传感器(DVS，Dynamic Vision Sensor)采集。在实际应用中，本实施例的有源像素传感器和动态视觉传感器可以为分立式图像传感器，也可以是集成式图像传感器(或称为融合传感器)，集成式图像传感器的整体感光区可以划分为多个子感光区，多个子感光区的像素阵列分别对应于APS数据模式以及DVS数据模式，相对于分立设置的多个传感器模组，有效压缩了传感器模组的器件体本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于事件引导的视频插帧方法，其特征在于，包括：针对待插帧视频中各相邻卷帘曝光图像帧，获取采集于所述相邻卷帘曝光图像帧的曝光时间区间的事件数据流；基于所述事件数据流估计相应的全局变形场；根据所述全局变形场生成对应于所述相邻卷帘曝光图像帧的潜在全局曝光图像帧组合；其中，所述潜在全局曝光图像帧组合包括多个潜在全局曝光图像帧；将不同所述潜在全局曝光图像帧组合分别插入至相应的所述相邻卷帘曝光图像帧之间，得到插帧完成视频。2.根据权利要求1所述的视频插帧方法，其特征在于，所述基于所述事件数据流估计相应的全局变形场的步骤，包括：将所述事件数据流切割为多个时间片段，然后将每个所述时间片段切割为多个体素帧，得到所述事件数据流相应的事件矩阵；对所述事件矩阵进行遍历，将各相邻时间片段输入至光流估计网络进行光流估计，得到各所述相邻时间片段对应的光流；将所有所述光流组成的光流场确定为所述事件数据流相应的全局变形场。3.根据权利要求1所述的视频插帧方法，其特征在于，所述根据所述全局变形场生成对应于所述相邻卷帘曝光图像帧的潜在全局曝光图像帧组合的步骤，包括：基于所述全局变形场将所述相邻卷帘曝光图像帧转化为初始化全局曝光图像帧；基于所述初始化全局曝光图像帧生成对应于所述相邻卷帘曝光图像帧的潜在全局曝光图像帧组合。4.根据权利要求3所述的视频插帧方法，其特征在于，所述基于所述全局变形场将所述相邻卷帘曝光图像帧转化为初始化全局曝光图像帧的步骤，包括：基于预设权重计算公式计算对应于所述相邻卷帘曝光图像帧的warp权重；对所述相邻卷帘曝光图像帧以及相应的所述warp权重进行warp操作，得到所述相邻卷帘曝光图像帧相应的两张初始化全局曝光图像帧。5.根据权利要求4所述的视频插帧方法，其特征在于，所述权重计算公式表示为：其中，DF表示所述全局变形场，表示对应于所述相邻卷帘曝光图像帧中第一卷帘曝光图像帧的第一掩码，表示对应于所述相邻卷帘曝光图像帧中第二卷帘曝光图像帧的第二掩码，表示对...

【专利技术属性】
技术研发人员：王林，卢云帆，梁国强，邓坚，
申请(专利权)人：深圳锐视智芯科技有限公司，
类型：发明
国别省市：