【技术实现步骤摘要】
插帧图像处理方法及装置
本申请涉及计算机图像处理领域，具体涉及一种插帧图像处理方法、装置、电子设备及存储介质。
技术介绍
利用人眼视神经的视觉暂留原理，将一系列图像连续播放可产生平滑连续的视觉效果，这样连续的多帧图像叫做视频。由于视频技术经过了长时间的发展演进，存在非常多的应用场景和不同的技术标准，在各种图像和/或不同视频格式之间进行转换是经常要面对的问题，比如在一个视频中插入一个或多个图像帧就是其中一项具体的需求。插帧通常用来解决视频帧率问题，以实现格式的兼容或提升播放的视觉体验。由于插入的图像一般是原始采集的图像中不存在的图像，需要通过一些技术手段来合成，当前计算机技术主要通过图像插值方法来根据已有图像去合成插入图像，比如在连续动作中，通过对前后两帧的比较和处理，插值生成中间动作的图像帧。近期，使用深度学习技术来实现图像插值的方法获得了较好的结果；通过大量训练数据，深度神经网络可以大幅度提升合成图像的质量。但是，当前的一些方法在前后两个图像帧中存在大幅度动作时，性能仍然不能令人满意，插值后的图像容易出现畸变或模糊...
【技术保护点】
1.一种插帧图像处理方法，其特征在于，包括：/n将插帧位置前后两个参考帧输入到光流估计网络,得到第一和第二参考帧互相之间的两组光流场；/n使用光流内插神经网络对所述两组光流场进行处理，推断得到两个参考帧与插针位置处中间帧之间的光流数据；/n使用权重估计神经网络依据所述两组光流场、所述光流数据和两个参考帧推断得到用以组合两个参考帧的权重分布；/n依据所述光流数据对两个参考帧进行卷绕处理，并使用所述权重分布对卷绕后的参考帧进行加权求和得到目标中间帧。/n
【技术特征摘要】
1.一种插帧图像处理方法，其特征在于，包括：
将插帧位置前后两个参考帧输入到光流估计网络,得到第一和第二参考帧互相之间的两组光流场；
使用光流内插神经网络对所述两组光流场进行处理，推断得到两个参考帧与插针位置处中间帧之间的光流数据；
使用权重估计神经网络依据所述两组光流场、所述光流数据和两个参考帧推断得到用以组合两个参考帧的权重分布；
依据所述光流数据对两个参考帧进行卷绕处理，并使用所述权重分布对卷绕后的参考帧进行加权求和得到目标中间帧。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
从视频的连续图像中或从空间图像的相邻位置处获取所述前后两个参考帧。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
使用大量的训练数据对所述光流估计网络、光流内插神经网络和权重估计神经网络进行机器学习的训练。
4.根据权利要求3所述的方法，其特征在于，所述训练包括：
使用连续三帧图像作为一组训练数据，各组训练数据中第一帧和最后一帧为样本数据，中间帧为标注数据；
从大量视频或空间图像中随机抽取大量的训练数据组，对各个网络模型进行反复训练，直到中间结果与标注数据的差异足够小，或者参数可优化的程度足够小。
5.根据权利要求1所述的方法，其特征在于，所述方法中，采用PWC-Net作为光流估计网络，选用U-net作为光流内插神经网络和权重估计神经网络。
6.一种插帧图像处理装置，其特征在于，包括：
光流估计模...
【专利技术属性】
技术研发人员：严雪飞，张卫平，于长志，姜玉林，
申请(专利权)人：无锡安科迪智能技术有限公司，
类型：发明
国别省市：江苏;32
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。