视频插帧处理方法、装置、电子设备及存储介质制造方法及图纸

本申请提供了一种视频插帧处理方法、装置、电子设备及计算机可读存储介质，涉及云技术在视频处理领域的应用；方法包括：从视频中获取第一视频帧和第二视频帧，其中，第一视频帧是第二视频帧的前向帧；获取从第一视频帧到第二视频帧的第一后向光流，基于第一后向光流进行前向映射处理，得到前向映射结果；获取从第二视频帧到第一视频帧的第一前向光流，基于第一前向光流进行反向映射处理，得到反向映射结果；基于前向映射结果和反向映射结果进行融合处理，得到第三视频帧，将第三视频帧插入到视频的第一视频帧和第二视频帧之间。通过本申请，能够生成高质量的中间视频帧，以提高插帧后视频的播放效果。

【技术实现步骤摘要】
视频插帧处理方法、装置、电子设备及存储介质
本申请涉及视频处理
，尤其涉及一种视频插帧处理方法、装置、电子设备及计算机可读存储介质。
技术介绍
人工智能（AI，ArtificialIntelligence）是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。视频处理是人工智能的典型应用，其中，视频插帧又是视频处理中的一个经典任务，旨在根据一段视频中的前后视频帧合成过渡平滑的中间视频帧，以使得视频播放更加流畅，从而提升用户的观看体验。例如可以通过视频插帧处理将24帧率的视频转变为48帧率的视频，从而让用户在观看时感觉视频更加清晰流畅。然而，相关技术提供的方案在根据前后视频帧生成中间视频帧时，生成的中间视频帧存在模糊和重影等问题，从而影响视频插帧效果。
技术实现思路
本申请实施例提供一种视频插帧处理方法、装置、电子设备及计算机可读存储介质，能够生成高质量的中间视频帧，以提高插帧后视频的播放效果。本申请实施例的技术方案是这样实现的：本申请实施例提供一种视频插帧处理方法，包括：从视频中获取第一视频帧和第二视频帧，其中，所述第一视频帧是所述第二视频帧的前向帧；获取从所述第一视频帧到所述第二视频帧的第一后向光流，基于所述第一后向光流进行前向映射处理，得到前向映射结果；获取从所述第二视频帧到所述第一视频帧的第一前向光流，基于所述第一前向光流进行反向映射处理，得到反向映射结果；基于所述前向映射结果和所述反向映射结果进行融合处理，得到第三视频帧，将所述第三视频帧插入到所述视频的所述第一视频帧和所述第二视频帧之间。上述方案中，所述基于所述第一后向光流对所述第一视频帧、以及所述第一视频帧对应的第一参考信息进行前向映射处理，得到第一前向映射视频帧以及第一前向映射参考信息，包括：基于所述第一后向光流，确定从所述第一视频帧的第一时刻到中间时刻的第二后向光流，其中，所述中间时刻是所述第一时刻和所述第二视频帧的第二时刻之间的任意值；基于所述第二后向光流，对所述第一视频帧以及所述第一视频帧对应的第一参考信息进行前向映射处理，得到第一前向映射视频帧以及第一前向映射参考信息，其中，所述第一前向映射视频帧是所述中间时刻对应的视频帧。上述方案中，所述第一参考信息包括以下至少之一：所述第一视频帧对应的第一特征图像、所述第一视频帧对应的第一边缘图像；所述第二参考信息包括以下至少之一：所述第二视频帧对应的第二特征图像、所述第二视频帧对应的第二边缘图像。上述方案中，所述基于所述第一前向光流对所述第二视频帧、以及所述第二视频帧对应的第二参考信息进行反向映射处理，得到第一反向映射视频帧以及第一反向映射参考信息，包括：基于所述第一前向光流，确定从中间时刻到所述第二视频帧的第二时刻的第三后向光流，其中，所述中间时刻是所述第一视频帧的第一时刻和所述第二时刻之间的任意值；基于所述第三后向光流，对所述第二视频帧以及所述第二视频帧对应的第二参考信息进行反向映射处理，得到第一反向映射视频帧以及第一反向映射参考信息，其中，所述第一反向映射视频帧是所述中间时刻对应的视频帧。本申请实施例提供一种视频插帧处理装置，包括：获取模块，用于从视频中获取第一视频帧和第二视频帧，其中，所述第一视频帧是所述第二视频帧的前向帧；所述获取模块，还用于获取从所述第一视频帧到所述第二视频帧的第一后向光流；前向映射模块，用于基于所述第一后向光流进行前向映射处理，得到前向映射结果；所述获取模块，还用于获取从所述第二视频帧到所述第一视频帧的第一前向光流；反向映射模块，用于基于所述第一前向光流进行反向映射处理，得到反向映射结果；融合模块，用于基于所述前向映射结果和所述反向映射结果进行融合处理，得到第三视频帧，将所述第三视频帧插入到所述视频的所述第一视频帧和所述第二视频帧之间。上述方案中，所述前向映射模块，还用于基于所述第一后向光流对所述第一视频帧、以及所述第一视频帧对应的第一参考信息进行前向映射处理，得到第一前向映射视频帧以及第一前向映射参考信息；其中，所述第一参考信息包括以下至少之一：所述第一视频帧对应的第一特征图像、所述第一视频帧对应的第一边缘图像；将所述第一前向映射视频帧以及所述第一前向映射参考信息组合为前向映射结果。上述方案中，所述装置还包括确定模块，用于基于所述第一后向光流，确定从所述第一视频帧的第一时刻到中间时刻的第二后向光流，其中，所述中间时刻是所述第一时刻和所述第二视频帧的第二时刻之间的任意值；所述前向映射模块，还用于基于所述第二后向光流，对所述第一视频帧以及所述第一视频帧对应的第一参考信息进行前向映射处理，得到第一前向映射视频帧以及第一前向映射参考信息，其中，所述第一前向映射视频帧是所述中间时刻对应的视频帧。上述方案中，所述前向映射模块，还用于基于所述第一后向光流对所述第一视频帧、以及所述第一视频帧对应的第一参考信息进行前向映射处理，得到第一前向映射视频帧以及第一前向映射参考信息；其中，所述第一参考信息包括以下至少之一：所述第一视频帧对应的第一特征图像、所述第一视频帧对应的第一边缘图像；以及用于基于所述第一前向光流对所述第二视频帧、以及所述第二视频帧对应的第二参考信息进行前向映射处理，得到第二前向映射视频帧以及第二前向映射参考信息；其中，所述第二参考信息包括以下至少之一：所述第二视频帧对应的第二特征图像、所述第二视频帧对应的第二边缘图像；将所述第一前向映射视频帧、所述第一前向映射参考信息、所述第二前向映射视频帧以及所述第二前向映射参考信息组合为前向映射结果。上述方案中，所述确定模块，还用于基于所述第一后向光流，确定从所述第一视频帧的第一时刻到中间时刻的第二后向光流，其中，所述中间时刻是所述第一时刻和所述第二视频帧的第二时刻之间的任意值；所述前向映射模块，还用于基于所述第二后向光流，对所述第一视频帧以及所述第一视频帧对应的第一参考信息进行前向映射处理，得到第一前向映射视频帧以及第一前向映射参考信息。上述方案中，所述确定模块，还用于基于所述第一前向光流，确定从所述第二视频帧的第二时刻到中间时刻的第二前向光流，其中，所述中间时刻是所述第一视频帧的第一时刻和所述第二时刻之间的任意值；所述前向映射模块，还用于基于所述第二前向光流，对所述第二视频帧以及所述第二视频帧对应的第二参考信息进行前向映射处理，得到第二前向映射视频帧以及第二前向映射参考信息，其中，所述第二前向映射视频帧是所述中间时刻对应的视频帧。上述方案中，所述反向映射模块，还用于基于所述第一前向光流对所述第二视频帧、以及所述第二视频帧对应的第二参考信息进行反向映射处理，得到第一反向本文档来自技高网...

【技术保护点】
1.一种视频插帧处理方法，其特征在于，所述方法包括：/n从视频中获取第一视频帧和第二视频帧，其中，所述第一视频帧是所述第二视频帧的前向帧；/n获取从所述第一视频帧到所述第二视频帧的第一后向光流，基于所述第一后向光流进行前向映射处理，得到前向映射结果；/n获取从所述第二视频帧到所述第一视频帧的第一前向光流，基于所述第一前向光流进行反向映射处理，得到反向映射结果；/n基于所述前向映射结果和所述反向映射结果进行融合处理，得到第三视频帧，将所述第三视频帧插入到所述视频的所述第一视频帧和所述第二视频帧之间。/n

【技术特征摘要】
1.一种视频插帧处理方法，其特征在于，所述方法包括：
从视频中获取第一视频帧和第二视频帧，其中，所述第一视频帧是所述第二视频帧的前向帧；
获取从所述第一视频帧到所述第二视频帧的第一后向光流，基于所述第一后向光流进行前向映射处理，得到前向映射结果；
获取从所述第二视频帧到所述第一视频帧的第一前向光流，基于所述第一前向光流进行反向映射处理，得到反向映射结果；
基于所述前向映射结果和所述反向映射结果进行融合处理，得到第三视频帧，将所述第三视频帧插入到所述视频的所述第一视频帧和所述第二视频帧之间。


2.根据权利要求1所述的方法，其特征在于，所述基于所述第一后向光流进行前向映射处理，得到前向映射结果，包括：
基于所述第一后向光流对所述第一视频帧、以及所述第一视频帧对应的第一参考信息进行前向映射处理，得到第一前向映射视频帧以及第一前向映射参考信息；
其中，所述第一参考信息包括以下至少之一：所述第一视频帧对应的第一特征图像、所述第一视频帧对应的第一边缘图像；
将所述第一前向映射视频帧以及所述第一前向映射参考信息组合为前向映射结果。


3.根据权利要求1所述的方法，其特征在于，所述基于所述第一后向光流进行前向映射处理，得到前向映射结果，包括：
基于所述第一后向光流对所述第一视频帧、以及所述第一视频帧对应的第一参考信息进行前向映射处理，得到第一前向映射视频帧以及第一前向映射参考信息；
基于所述第一前向光流对所述第二视频帧、以及所述第二视频帧对应的第二参考信息进行前向映射处理，得到第二前向映射视频帧以及第二前向映射参考信息；
将所述第一前向映射视频帧、所述第一前向映射参考信息、所述第二前向映射视频帧以及所述第二前向映射参考信息组合为前向映射结果。


4.根据权利要求3所述的方法，其特征在于，所述基于所述第一后向光流对所述第一视频帧、以及所述第一视频帧对应的第一参考信息进行前向映射处理，得到第一前向映射视频帧以及第一前向映射参考信息，包括：
基于所述第一后向光流，确定从所述第一视频帧的第一时刻到中间时刻的第二后向光流，其中，所述中间时刻是所述第一时刻和所述第二视频帧的第二时刻之间的任意值；
基于所述第二后向光流，对所述第一视频帧以及所述第一视频帧对应的第一参考信息进行前向映射处理，得到第一前向映射视频帧以及第一前向映射参考信息。


5.根据权利要求3所述的方法，其特征在于，所述基于所述第一前向光流对所述第二视频帧、以及所述第二视频帧对应的第二参考信息进行前向映射处理，得到第二前向映射视频帧以及第二前向映射参考信息，包括：
基于所述第一前向光流，确定从所述第二视频帧的第二时刻到中间时刻的第二前向光流，其中，所述中间时刻是所述第一视频帧的第一时刻和所述第二时刻之间的任意值；
基于所述第二前向光流，对所述第二视频帧以及所述第二视频帧对应的第二参考信息进行前向映射处理，得到第二前向映射视频帧以及第二前向映射参考信息，其中，所述第二前向映射视频帧是所述中间时刻对应的视频帧。


6.根据权利要求1所述的方法，其特征在于，所述基于所述第一前向光流进行反向映射处理，得到反向映射结果，包括：
基于所述第一前向光流对所述第二视频帧、以及所述第二视频帧对应的第二参考信息进行反向映射处理，得到第一反向映射视频帧以及第一反向映射参考信息；
将所述第一反向映射视频帧以及所述第一反向映射参考信息组合为反向映射结果。


7.根据权利要求1所述的方法，其特征在于，所述基于所述第一前向光流进行反向映射处理，得到反向映射结果，包括：
基于所述第一前向光流对所述第二视频帧、以及所述第二视频帧对应的第二参考信息进行反向映射处理，得到第一反向映射视频帧以及第一反向映射参考信息；
基于所述第一后向光流对所述第一视频帧、以及所述第一视频帧对应的第一参考信息进行反向映射处理，得到第二反向映射视频帧以及第二反向映射参考信息；
将所述第一反向映射视频帧、所述第一反向映射参考信息、所述第二反向映射视频帧以及所述第二反向映射参考信息组合为反向映射结果。


8.根据权利要求7所述的方法，其特征在于，所述基于所述第一前向光流对所述第二视频帧、以及所述第二视频帧对应的第二参考信息进行反向映射处理，得到第一反向...

【专利技术属性】
技术研发人员：祝叶，李昱，王鑫涛，罗越，单瀛，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44