视频插帧方法及装置、电子设备和存储介质制造方法及图纸

本公开涉及一种视频插帧方法及装置、电子设备和存储介质，所述方法包括：获取待处理视频对应的初始待插帧，以及初始待插帧对应的第一事件信息，第一事件信息用于表征初始待插帧中物体的运动轨迹；分别对初始待插帧以及第一事件信息进行特征提取，得到初始待插帧对应的初始帧特征图以及第一事件信息对应的事件特征图；根据初始帧特征图与事件特征图，生成目标待插帧；将目标待插帧插入至待处理视频中，得到处理后视频。本公开实施例可实现提高处理后视频的画面质量。后视频的画面质量。后视频的画面质量。

【技术实现步骤摘要】
视频插帧方法及装置、电子设备和存储介质


[0001]本公开涉及计算机
，尤其涉及一种视频插帧方法及装置、电子设备和存储介质。

技术介绍

[0002]相关技术中，可以例如通过光流估计算法等视频插帧技术，对原始视频进行插帧，来提高原始视频的帧率。但通过现有视频插帧技术所生成的待插帧的图像质量不高，从而降低了插帧后视频的画面质量，例如使插帧后视频的画面产生抖动、扭曲等。

技术实现思路

[0003]本公开提出了一种视频插帧技术方案。
[0004]根据本公开的一方面，提供了一种视频插帧方法，包括：获取待处理视频对应的初始待插帧，以及所述初始待插帧对应的第一事件信息，所述第一事件信息用于表征所述初始待插帧中物体的运动轨迹；分别对所述初始待插帧以及所述第一事件信息进行特征提取，得到所述初始待插帧对应的初始帧特征图以及所述第一事件信息对应的事件特征图；根据所述初始帧特征图与所述事件特征图，生成目标待插帧；将所述目标待插帧插入至所述待处理视频中，得到处理后视频。通过该方式，能够提高处理后视频的画面质量，有利于降低处理后视频中画面的抖动与扭曲等。
[0005]在一种可能的实现方式中，所述根据所述初始帧特征图与所述事件特征图，生成目标待插帧，包括：根据所述初始帧特征图与所述事件特征图，生成预估待插帧；根据所述待处理视频中、与所述初始待插帧的插帧时刻相邻的原始视频帧，以及所述原始视频帧对应的第二事件信息，对所述预估待插帧进行优化，得到所述目标待插帧，所述第二事件信息用于表征所述原始视频帧中物体的运动轨迹。通过该方式，能够提取原始视频帧中物体的细节信息，将物体的细节信息融合至预估待插帧中，从而增强预估待插帧的图像质量，也即使目标待插帧具有更高的图像质量。
[0006]在一种可能的实现方式中，所述初始帧特征图包括S个尺度，所述事件特征图包括S个尺度，S为正整数，其中，所述根据所述初始帧特征图与所述事件特征图，生成预估待插帧，包括：根据第0尺度的初始帧特征图与第0尺度的事件特征图，得到第0尺度的融合特征图；根据第(s
‑
1)尺度的融合特征图，将第s尺度的初始帧特征图与第s尺度的事件特征图进行空间对齐，得到第s尺度的可融合初始帧特征图与第s尺度的可融合事件特征图；根据所述第(s
‑
1)尺度的融合特征图、所述第s尺度的可融合初始帧特征图以及所述第s尺度的可融合事件特征图，得到第s尺度的融合特征图；对第(S
‑
1)尺度的融合特征图进行解码处理，得到所述预估待插帧；其中，s∈[1,S)。通过该方式，能够有效实现初始帧特征图与事件特征图之间的多尺度自适应特征融合，从而有效得到预估待插帧。
[0007]在一种可能的实现方式中，所述根据第(s
‑
1)尺度的融合特征图，将第s尺度的初始帧特征图与第s尺度的事件特征图进行空间对齐，得到第s尺度的可融合初始帧特征图以
及第s尺度的可融合事件特征图，包括：对所述第(s
‑
1)尺度的融合特征图进行上采样，得到上采样特征图，所述上采样特征图与所述第s尺度的初始帧特征图以及所述第s尺度的事件特征图的尺寸相同；根据所述上采样特征图与所述第s尺度的初始帧特征图之间的第一空间转换关系，得到所述第s尺度的可融合初始帧特征图；根据所述上采样特征图与所述第s尺度的事件特征图之间的第二空间转换关系，得到所述第s尺度的可融合事件特征图；其中，所述第s尺度的可融合初始帧特征图、所述第s尺度的可融合事件特征图与所述上采样特征图处于同一特征空间中。通过该方式，能够有效得到可以进行特征融合的、第s尺度的可融合初始帧特征图以及第s尺度的可融合事件特征图。
[0008]在一种可能的实现方式中，所述第一空间转换关系是根据所述第s尺度的初始帧特征图在空间转换时的第一像素尺寸缩放信息与第一偏置信息，以及所述上采样特征图的特征信息确定的；所述第二空间转换关系是根据所述第s尺度的事件特征图在空间转换时的第二像素尺寸缩放信息与第二偏置信息，以及所述上采样特征图的特征信息确定的；其中，像素尺寸缩放信息表示空间转换中每个像素点的尺寸缩放比例，偏置信息表示空间转换中每个像素点的位置偏移量。通过该方式，能够有效利用第一空间转换关系与第二空间转换关系，将第s尺度的初始帧特征图与第s尺度的事件特征图进行空间对齐。
[0009]在一种可能的实现方式中，所述根据所述第s
‑
1尺度的融合特征图、所述第s尺度的可融合初始帧特征图以及所述第s尺度的可融合事件特征图，得到第s尺度的融合特征图，包括：对上采样特征图进行卷积处理以及非线性处理，得到所述上采样特征图对应的掩码图，其中，所述上采样特征图是对所述第(s
‑
1)尺度的融合特征图进行上采样得到的；根据所述掩码图，将所述第s尺度的可融合初始帧特征图与所述第s尺度的可融合事件特征图进行特征融合，得到所述第s尺度的融合特征图。
[0010]在一种可能的实现方式中，所述根据所述掩码图，将所述第s尺度的可融合初始帧特征图与所述第s尺度的可融合事件特征图进行特征融合，得到所述第s尺度的融合特征图，包括：根据所述掩码图，将所述第s尺度的可融合初始帧特征图与所述第s尺度的可融合事件特征图进行特征融合，得到第s尺度的初始融合特征图；对所述第s尺度的初始融合特征图进行卷积处理以及非线性处理，得到所述第s尺度的融合特征图。通过该方式，能够有效在上采样特征图对应的掩码图的指导下，自适应地将第s尺度的可融合初始帧特征图与第s尺度的可融合事件特征图进行特征融合。
[0011]在一种可能的实现方式中，所述根据所述掩码图，将所述第s尺度的可融合初始帧特征图与所述第s尺度的可融合事件特征图进行特征融合，得到第s尺度的初始融合特征图，包括：计算所述掩码图与所述第s尺度的可融合事件特征图之间的哈达玛积；根据所述掩码图对应的反向掩码图，计算所述反向掩码图与所述第s尺度的可融合初始帧特征图之间的乘积；将所述哈达玛积与所述乘积相加，得到所述第s尺度的初始融合特征图。通过该方式，能够有效增加融合特征图的非线性或者说为增加融合特征图的复杂度，便于实现多尺度的特征融合。
[0012]在一种可能的实现方式中，所述根据第0尺度的初始帧特征图与第0尺度的事件特征图，得到第0尺度的融合特征图，包括：将所述第0尺度的初始帧特征图与所述第0尺度的事件特征图进行通道拼接，得到拼接特征图；对所述拼接特征图进行滤波处理，得到所述第0尺度的融合特征图。通过该方式，能够有效得到第0尺度的融合特征图。
[0013]在一种可能的实现方式中，所述根据所述待处理视频中、与所述初始待插帧的插帧时刻相邻的原始视频帧，以及所述原始视频帧对应的第二事件信息，对所述预估待插帧进行优化，得到所述目标待插帧，包括：将所述预估待插帧与所述第一事件信息进行组合，得到预估帧事件组合信息；将所述原始视频帧与所述第二事件信息进行组合，得到原始帧事件组合信息；分别对所述预估帧事件组合信息与所述原始帧事件组合信息进行特征提取，得到所述预估帧本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频插帧方法，其特征在于，包括：获取待处理视频对应的初始待插帧，以及所述初始待插帧对应的第一事件信息，所述第一事件信息用于表征所述初始待插帧中物体的运动轨迹；分别对所述初始待插帧以及所述第一事件信息进行特征提取，得到所述初始待插帧对应的初始帧特征图以及所述第一事件信息对应的事件特征图；根据所述初始帧特征图与所述事件特征图，生成目标待插帧；将所述目标待插帧插入至所述待处理视频中，得到处理后视频。2.根据权利要求1所述的方法，其特征在于，所述根据所述初始帧特征图与所述事件特征图，生成目标待插帧，包括：根据所述初始帧特征图与所述事件特征图，生成预估待插帧；根据所述待处理视频中、与所述初始待插帧的插帧时刻相邻的原始视频帧，以及所述原始视频帧对应的第二事件信息，对所述预估待插帧进行优化，得到所述目标待插帧，所述第二事件信息用于表征所述原始视频帧中物体的运动轨迹。3.根据权利要求2所述的方法，其特征在于，所述初始帧特征图包括S个尺度，所述事件特征图包括S个尺度，S为正整数，其中，所述根据所述初始帧特征图与所述事件特征图，生成预估待插帧，包括：根据第0尺度的初始帧特征图与第0尺度的事件特征图，得到第0尺度的融合特征图；根据第(s
‑
1)尺度的融合特征图，将第s尺度的初始帧特征图与第s尺度的事件特征图进行空间对齐，得到第s尺度的可融合初始帧特征图与第s尺度的可融合事件特征图；根据所述第(s
‑
1)尺度的融合特征图、所述第s尺度的可融合初始帧特征图以及所述第s尺度的可融合事件特征图，得到第s尺度的融合特征图；对第(S
‑
1)尺度的融合特征图进行解码处理，得到所述预估待插帧；其中，s∈[1,S)。4.根据权利要求3所述的方法，其特征在于，所述根据第(s
‑
1)尺度的融合特征图，将第s尺度的初始帧特征图与第s尺度的事件特征图进行空间对齐，得到第s尺度的可融合初始帧特征图以及第s尺度的可融合事件特征图，包括：对所述第(s
‑
1)尺度的融合特征图进行上采样，得到上采样特征图，所述上采样特征图与所述第s尺度的初始帧特征图以及所述第s尺度的事件特征图的尺寸相同；根据所述上采样特征图与所述第s尺度的初始帧特征图之间的第一空间转换关系，得到所述第s尺度的可融合初始帧特征图；根据所述上采样特征图与所述第s尺度的事件特征图之间的第二空间转换关系，得到所述第s尺度的可融合事件特征图；其中，所述第s尺度的可融合初始帧特征图、所述第s尺度的可融合事件特征图与所述上采样特征图处于同一特征空间中。5.根据权利要求4所述的方法，其特征在于，所述第一空间转换关系是根据所述第s尺度的初始帧特征图在空间转换时的第一像素尺寸缩放信息与第一偏置信息，以及所述上采样特征图的特征信息确定的；所述第二空间转换关系是根据所述第s尺度的事件特征图在空间转换时的第二像素尺寸缩放信息与第二偏置信息，以及所述上采样特征图的特征信息确定的；
其中，像素尺寸缩放信息表示空间转换中每个像素点的尺寸缩放比例，偏置信息表示空间转换中每个像素点的位置偏移量。6.根据权利要求3
‑
5任一项所述的方法，其特征在于，所述根据所述第s
‑
1尺度的融合特征图、所述第s尺度的可融合初始帧特征图以及所述第s尺度的可融合事件特征图，得到第s尺度的融合特征图，包括：对上采样特征图进行卷积处理以及非线性处理，得到所述上采样特征图对应的掩码图，其中，所述上采样特征图是对所述第(s
‑
1)尺度的融合特征图进行上采样得到的；根据所述掩码图，将所述第s尺度的可融合初始帧特征图与所述第s尺度的可融合事件特征图进行特征融合，得到所述第s尺度的融合特征图。7.根据权利要求6所述的方法，其特征在于，所述根据所述掩码图，将所述第s尺度的可融合初始帧特征图与所述第s尺度的可融合事件特征图进行特征融合，得到所述第s尺度的融合特征图，包括：根据所述掩码图，将所述第s尺度的可融合初始帧特征图与所述第s尺度的可融合事件特征图进行特征融合，得到第s尺度的初始融合特征图；对所述第s尺度的初始融合特征图进行卷积处理以及非线性处理，得到所述第s尺度的融合特征图。8.根据权利要求6或7所述的方法，其特征在于，所述根据所述掩码图，将所述第s尺度的可融合初始帧特征图与所述第s尺度的可融合事件特征图进行特征融合，得到第s尺度的初始融合特征图，包括：计算所述掩码图与所述第s尺度的可融合事件特征图之间的哈达玛积；根据所述掩码图对应的反向掩码图，计算所述反向掩码图与所述第s尺度的可融合初始帧特征图之间的乘积；将所述哈达玛积与所述乘积相加，得到所述第s尺度的初始融合特征图。9.根据权利要求3所述的方法，其特征在于，所述根据第0尺度的初始帧特征图与第0尺度的事件特征图，得到第0尺度的融合特征图，包括：将所述第0尺度的初始帧特征图与所述第0尺度的事件特征图进行通道拼接，得到拼接特征图；对所述拼接特征图进行滤波处理，得到所述第0尺度的融合特征图。10.根据权利要求2所述的方法，其特征在于，所述根据所述待处理视频中、与所述初始待插帧的插帧时刻相邻的原始视频帧，以及所述原始视频帧对应的第二事件信息，对所述预估待插帧进行优化，得到所述目标待插帧，包括：将所述预估待插帧与所述第一事件信息进行组合，得到预估帧事件组合信息；将所述原始视频帧与所述第二事件信息进行组合，得到原始帧事件组合信息；分别对所述预估帧事件组合信息与所述原始帧事件组合信息进行特征提取，得到所述预估帧事件组合信息对应的预估帧事件特征图以及所述原始帧事件组合信息对应的原始帧事件特征图；根据所述预估帧事件特征图，对所述原始帧事件特征图进行调整，得到整合特征图；根据所述整合特征图、所述预估帧事件特征图以及融合特征图，对所述预估待插帧进行优化，得到所述目标待插帧，所述融合特征图是对所述初始帧特征图与所述事件特征图
进行多尺度融合得到的。11.根据权利要求10所述的方法，其特征在于，所述预估帧事件特征图包括S
*
个尺度，所述原始帧事件特征图包括S
*
个尺度，1≤S
*
≤S，S
*
为正整数，s
*
∈[(S
‑
S
*
),S)，第(S
‑
S
*
)尺度的预估帧事件特征图的尺寸为I
×
I，I为正整数，其中，所述根据所述预估帧事件特征图，对所述原始帧事件特征图进行调整，得到整合特征图，包括：针对第(S
‑
S
*
)尺度的预估帧事件特征图中的任一个第一像素点，从第(S
‑
S
*
)尺度的原始帧事件特征图中确定出与所述第一像素点匹配的第一匹配像素点；根据所述第一匹配像素点的像素位置以及指定偏移量，确定与所述像素位置对应的亚像素位置，所述指定偏移量为小数；根据I
×
I个所述亚像素位置，对第s
*
尺度的原始帧事件特征图进行调整，得到第s
*
尺度的整合特征图。12.根据权利要求11所述的方法，其特征在于，所述针对第(S
‑
S
*
)尺度的预估帧事件特征图中的任一个第一像素点，从第(S
‑
S
*
)尺度的原始帧事件特征图中确定出与所述第一像素点匹配的第一匹配像素点，包括：针对任一个第一像素点，计算所述第一像素点分别与所述第(S
‑
S
*
)尺度的原始帧事件特征图中、在指定窗口内的各个像素点之间的特征相似度，所述指定窗口是根据所述第一像素点的像素位置确定的；将所述指定窗口内的各个像素点中的、最大特征相似度所对应的像素点，确定为所述第一匹配像素点。13.根据权利要求11或12所述的方法，其特征在于，所述根据所述第一匹配像素点的像素位置以及指定偏移量，确定与所述像素位置对应的亚像素位置，包括：根据所述像素位置、预设的偏移参数以及预设的曲面参数，确定目标函数，根据所述偏移参数对应的预设取值区间，对所述目标函数进行最小化求解，得到所述曲面参数的参数值，其中所述偏移参数为所述目标函数中的自变量；根据所述曲面参数的参数值，确定所述指定偏移量；将所述像素位置与所述指定偏移量相加，得到所述亚像素位置。14.根据权利要求13所述的方法，其特征在于，所述目标函数是根据曲面函数与距离函数之间的差异构建的，所述距离函数是根据所述像素位置与所述偏移参数构建的，所述曲面函数是根所述曲面参数与所述偏移参数构建的。15.根据权利要求13或14所述的方法，其特征在于，所述曲面参数包括第一参数与第二参数，所述第一参数为2
×
2的矩阵，所述第二参数为2
×
1的向量，所述第一参数的参数值包括所述矩阵中对角线上的两个第一元素值，所述第二参数的参数值包括所述向量中的两个第二元素值，其中，所述根据所述曲面参数的参数值，确定所述指定偏移量，包括：根据所述两个第一元素值与所述两个第二元素值，确定纵轴偏移量与横轴偏移量，所述指定偏移量包括所述纵轴偏移量与横轴偏移量。16.根据权利要求11
‑
15任一项所述的方法，其特征在于，所述第s
*
尺度的原始帧事件特征图的尺寸是所述第(S
‑
S
*
)尺度的预估帧事件特征图的n倍，其中，所述根据I
×
I个所述亚
像素位置，对第s
*
尺度的原始帧事件特征图进行调整，得到第s
*
尺度的整合特征图，包括：以每一个所述亚像素位置为中心，从所述第s
*
尺度的原始帧事件特征图上裁切出I
×
I个、n
×
n尺寸的特征图块；根据I
×

【专利技术属性】
技术研发人员：于志洋，张宇，邹冬青，任思捷，
申请(专利权)人：深圳市慧鲤科技有限公司，
类型：发明
国别省市：