视频插帧图像生成方法技术

本申请涉及一种视频插帧图像生成方法

【技术实现步骤摘要】
视频插帧图像生成方法、装置、计算机设备和存储介质


[0001]本申请涉及计算机
，特别是涉及一种视频插帧图像生成方法
、
装置
、
计算机设备
、
存储介质和计算机程序产品
。

技术介绍

[0002]随着计算机技术的发展，出现了视频插帧技术，视频插帧技术是一种在现有视频帧图像之间生成中间帧图像的技术，用于提高视频的帧率，使视频播放更加流畅，或者用于视频修复和编辑
。
[0003]传统技术中，视频插帧主要是基于光流法，通过前后帧图像之间的光流信息来估计中间帧图像与前后帧图像的光流信息，然后根据中间帧图像与前后帧图像的光流信息用图像扭曲来进一步计算中间帧图像
。
[0004]然而，传统方法，光流估计的准确性受到许多因素的影响，如光照变化
、
遮挡
、
运动模糊等，这可能导致估计的光流信息不准确，从而导致所生成的中间帧图像的图像质量差
。

技术实现思路

[0005]基于此，有必要针对上述技术问题，提供一种能够提高中间帧图像的图像质量的视频插帧图像生成方法
、
装置
、
计算机设备
、
计算机可读存储介质和计算机程序产品
。
[0006]第一方面，本申请提供了一种视频插帧图像生成方法
。
所述方法包括：获取两个视频帧图像，确定所述两个视频帧图像之间的第一光流信息；基于所述两个视频帧图像和所述第一光流信息，预测所述两个视频帧图像之间的中间帧图像，得到预测中间帧图像；针对所述两个视频帧图像中的每一视频帧图像，确定所针对视频帧图像与所述预测中间帧图像之间的第二光流信息；根据所述第二光流信息，从所述所针对视频帧图像中，确定分别与所述预测中间帧图像中各图像像素点对应的图像块；基于所述预测中间帧图像中各图像像素点对应的图像块，分别对所述预测中间帧图像中各图像像素点处的像素值进行更新，得到所述所针对视频帧图像对应的更新中间帧图像；将所述两个视频帧图像各自对应的更新中间帧图像进行融合，得到用于在所述两个视频帧图像之间插入的融合中间帧图像
。
[0007]第二方面，本申请还提供了一种视频插帧图像生成装置
。
所述装置包括：第一光流计算模块，用于获取两个视频帧图像，确定所述两个视频帧图像之间的第一光流信息；预测模块，用于基于所述两个视频帧图像和所述第一光流信息，预测所述两个视频帧图像之间的中间帧图像，得到预测中间帧图像；第二光流计算模块，用于针对所述两个视频帧图像中的每一视频帧图像，确定所
针对视频帧图像与所述预测中间帧图像之间的第二光流信息；图像块选取模块，用于根据所述第二光流信息，从所述所针对视频帧图像中，确定分别与所述预测中间帧图像中各图像像素点对应的图像块；更新模块，用于基于所述预测中间帧图像中各图像像素点对应的图像块，分别对所述预测中间帧图像中各图像像素点处的像素值进行更新，得到所述所针对视频帧图像对应的更新中间帧图像；融合模块，用于将所述两个视频帧图像各自对应的更新中间帧图像进行融合，得到用于在所述两个视频帧图像之间插入的融合中间帧图像
。
[0008]第三方面，本申请还提供了一种计算机设备
。
所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：获取两个视频帧图像，确定所述两个视频帧图像之间的第一光流信息；基于所述两个视频帧图像和所述第一光流信息，预测所述两个视频帧图像之间的中间帧图像，得到预测中间帧图像；针对所述两个视频帧图像中的每一视频帧图像，确定所针对视频帧图像与所述预测中间帧图像之间的第二光流信息；根据所述第二光流信息，从所述所针对视频帧图像中，确定分别与所述预测中间帧图像中各图像像素点对应的图像块；基于所述预测中间帧图像中各图像像素点对应的图像块，分别对所述预测中间帧图像中各图像像素点处的像素值进行更新，得到所述所针对视频帧图像对应的更新中间帧图像；将所述两个视频帧图像各自对应的更新中间帧图像进行融合，得到用于在所述两个视频帧图像之间插入的融合中间帧图像
。
[0009]第四方面，本申请还提供了一种计算机可读存储介质
。
所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：获取两个视频帧图像，确定所述两个视频帧图像之间的第一光流信息；基于所述两个视频帧图像和所述第一光流信息，预测所述两个视频帧图像之间的中间帧图像，得到预测中间帧图像；针对所述两个视频帧图像中的每一视频帧图像，确定所针对视频帧图像与所述预测中间帧图像之间的第二光流信息；根据所述第二光流信息，从所述所针对视频帧图像中，确定分别与所述预测中间帧图像中各图像像素点对应的图像块；基于所述预测中间帧图像中各图像像素点对应的图像块，分别对所述预测中间帧图像中各图像像素点处的像素值进行更新，得到所述所针对视频帧图像对应的更新中间帧图像；将所述两个视频帧图像各自对应的更新中间帧图像进行融合，得到用于在所述两个视频帧图像之间插入的融合中间帧图像
。
[0010]第五方面，本申请还提供了一种计算机程序产品
。
所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：获取两个视频帧图像，确定所述两个视频帧图像之间的第一光流信息；
基于所述两个视频帧图像和所述第一光流信息，预测所述两个视频帧图像之间的中间帧图像，得到预测中间帧图像；针对所述两个视频帧图像中的每一视频帧图像，确定所针对视频帧图像与所述预测中间帧图像之间的第二光流信息；根据所述第二光流信息，从所述所针对视频帧图像中，确定分别与所述预测中间帧图像中各图像像素点对应的图像块；基于所述预测中间帧图像中各图像像素点对应的图像块，分别对所述预测中间帧图像中各图像像素点处的像素值进行更新，得到所述所针对视频帧图像对应的更新中间帧图像；将所述两个视频帧图像各自对应的更新中间帧图像进行融合，得到用于在所述两个视频帧图像之间插入的融合中间帧图像
。
[0011]上述视频插帧图像生成方法
、
装置
、
计算机设备
、
存储介质和计算机程序产品，通过获取两个视频帧图像，确定两个视频帧图像之间的第一光流信息，能够基于两个视频帧图像和第一光流信息，实现对两个视频帧图像之间的中间帧图像的预测，得到预测中间帧图像，通过针对两个视频帧图像中的每一视频帧图像，确定所针对视频帧图像与预测中间帧图像之间的第二光流信息，根据第二光流信息，从所针对视频帧图像中，确定分别与预测中间帧图像中各图像像素点对应的图像块，基于预测中间帧图像中各图像像素点对应的图像块，分别对预测中间帧图像中各图像像素点处的像素值进行更新，能够通过隐式的图像和特征对齐的方式，学习到相邻视频帧图像之间的形态特征和动力学特征，从而更好地建模相邻视频帧图像的动态变化和演化进程，得到图像质本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种视频插帧图像生成方法，其特征在于，所述方法包括：获取两个视频帧图像，确定所述两个视频帧图像之间的第一光流信息；基于所述两个视频帧图像和所述第一光流信息，预测所述两个视频帧图像之间的中间帧图像，得到预测中间帧图像；针对所述两个视频帧图像中的每一视频帧图像，确定所针对视频帧图像与所述预测中间帧图像之间的第二光流信息；根据所述第二光流信息，从所述所针对视频帧图像中，确定分别与所述预测中间帧图像中各图像像素点对应的图像块；基于所述预测中间帧图像中各图像像素点对应的图像块，分别对所述预测中间帧图像中各图像像素点处的像素值进行更新，得到所述所针对视频帧图像对应的更新中间帧图像；将所述两个视频帧图像各自对应的更新中间帧图像进行融合，得到用于在所述两个视频帧图像之间插入的融合中间帧图像
。2.
根据权利要求1所述的方法，其特征在于，所述基于所述预测中间帧图像中各图像像素点对应的图像块，分别对所述预测中间帧图像中各图像像素点处的像素值进行更新，得到所述所针对视频帧图像对应的更新中间帧图像包括：针对所述预测中间帧图像中每一图像像素点，从所述所针对视频帧图像中，获取所针对图像像素点对应的图像块的位置信息；基于所述所针对图像像素点对应的图像块以及所述位置信息，对所述所针对图像像素点处的像素值进行更新，得到所述所针对图像像素点处的更新像素值；根据所述预测中间帧图像中每一图像像素点处的更新像素值，得到所述所针对视频帧图像对应的更新中间帧图像
。3.
根据权利要求2所述的方法，其特征在于，所述所针对图像像素点对应的图像块包括多个图像块像素点，所述位置信息包括所述多个图像块像素点各自的像素点位置；所述基于所述所针对图像像素点对应的图像块以及所述位置信息，对所述所针对图像像素点处的像素值进行更新，得到所述所针对图像像素点处的更新像素值包括：针对所述多个图像块像素点中每一图像块像素点，基于所针对图像块像素点处的像素值和所述所针对图像块像素点的像素点位置进行特征提取，得到所述所针对图像块像素点对应的像素点特征；基于所述多个图像块像素点各自对应的像素点特征，对所述所针对图像像素点处的像素值进行更新，得到所述所针对图像像素点处的更新像素值
。4.
根据权利要求3所述的方法，其特征在于，所述基于所针对图像块像素点处的像素值和所述所针对图像块像素点的像素点位置进行特征提取，得到所述所针对图像块像素点对应的像素点特征包括：对所针对图像块像素点处的像素值进行编码，得到所述所针对图像块像素点对应的像素值编码，并对所述所针对图像块像素点的像素点位置进行编码，得到所述所针对图像块像素点对应的位置编码；将所述所针对图像块像素点对应的像素值编码以及位置编码进行融合，得到所述所针对图像块像素点对应的像素点特征
。
5.
根据权利要求3所述的方法，其特征在于，所述基于所述多个图像块像素点各自对应的像素点特征，对所述所针对图像像素点处的像素值进行更新，得到所述所针对图像像素点处的更新像素值包括：基于所述所针对图像像素点处的像素值和所述所针对图像像素点相应的位置偏移量进行特征提取，得到所述所针对图像像素点对应的像素点特征；基于注意力机制，对所述多个图像块像素点各自对应的像素点特征和所述所针对图像像素点对应的像素点特征进行卷积处理，得到所述所针对图像像素点处的更新像素值
。6.
根据权利要求5所述的方法，其特征在于，所述基于所述所针对图像像素点处的像素值和所述所针对图像像素点相应的位置偏移量进行特征提取，得到所述所针对图像像素点对应的像素点特征包括：对所述所针对图像像素点处的像素值进行编码，得到所述所针对图像像素点对应的像素值编码，并对所述所针对图像像素点相应的位置偏移量进行编码，得到所述所针对图像像素点对应的位置编码；将所述所针对图像像素点对应的像素值编码和位置编码进行融合，得到所述所针对图像像素点对应的像素点特征
。7.
根据权利要求5所述的方法，其特征在于，所述基于注意力机制，对所述多个图像块像素点各自对应的像素点特征和所述所针对图像像素点对应的像素点特征进行卷积处理，得到所述所针对图像像素点处的更新像素值包括：基于注意力机制的变换矩阵，分别对所述多个图像块像素点各自对应的像素点...

【专利技术属性】
技术研发人员：叶虎，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：