【技术实现步骤摘要】
本公开涉及计算机，尤其涉及一种视频插帧方法、装置、电子设备及存储介质。
技术介绍
1、目前大多数电影制作采用24帧的设定进行拍摄，然而由于显示与处理设备的发展，高帧率的电影日益成为大众需求。基于神经网络的视频插帧技术可以通过软件算法突破电影制作过程中硬件设备的限制，提高电影帧率以实现更加流畅的观影体验。然而，电影与普通的视频不同，其高分辨率、多颜色空间、多比特位的特性，使得电影插帧存在众多难点。
2、首先，电影数据的来源多种多样，不同的制作方有不同的颜色空间标准。这些颜色标准所对应的颜色转化公式往往并不公开，因此需要插帧的输入图像序列往往具有不同的颜色标准。以xyz颜色空间为例，xyz颜色空间本身就存在多个公认的颜色标准，比如xyz-e、xyz-d65等。不同标准无法通过统一的公式转化为统一的颜色空间。而基于神经网络的插帧算法往往都是在特定的颜色空间(例如rgb颜色空间)进行训练。如果输入数据的颜色不属于该特定的颜色空间，那么基于神经网络的插帧算法可能会出现插帧结果颜色异常的情况。
技术实现思路
1、本公开提出了一种视频插帧技术方案。
2、根据本公开的一方面，提供了一种视频插帧方法，包括：
3、对第一颜色空间的相邻视频帧进行纹理提取，得到纹理图像；
4、在第二颜色空间对所述纹理图像进行上色处理，得到第二颜色空间中的相邻视频帧；
5、基于第二颜色空间中的相邻视频帧，进行插帧估计，得到第一插帧图像、第一光流、第二光流以及加权系
6、根据所述第一插帧图像、第一光流、第二光流以及加权系数对所述第一颜色空间的相邻视频帧进行插帧处理，得到目标插帧图像。
7、在一种可能的实现方式中，所述对第一颜色空间的相邻视频帧进行纹理提取，得到纹理图像，包括：
8、针对第一颜色空间的相邻视频帧中的各像素点，对同一像素点的三通道的通道值进行加权平均，得到各像素点的平均值；
9、对相邻视频帧中的像素点的平均值的范围进行拉伸，并调整到同一数值范围，得到相邻视频帧各自对应的纹理图像。
10、在一种可能的实现方式中，所述第二颜色空间中的相邻视频帧包括t-1时刻视频帧和t+1时刻视频帧，所述基于第二颜色空间中的相邻视频帧，进行插帧估计，得到第一插帧图像、第一光流、第二光流以及加权系数，包括：
11、基于第二颜色空间中的相邻视频帧，进行初步插帧估计，得到初始插帧图像，第一初始光流、第二初始光流；
12、利用第一初始光流对t-1时刻视频帧进行反向映射，得到t时刻的第一映射视频帧；
13、利用第二初始光流对t+1时刻视频帧进行反向映射，得到t时刻的第二映射视频帧；
14、将第一初始光流、第二初始光流、第一映射视频帧、第二映射视频帧和初始插帧图像输入光流更新网络，得到输出的第一更新光流、第二更新光流、第一更新映射视频帧、第二更新映射视频帧以及更新加权系数；
15、第一更新光流、第二更新光流、第一更新映射视频帧、第二更新映射视频帧和初始插帧图像输入插帧图像更新网络，得到输出的更新插帧图像；
16、将第一更新光流、第二更新光流、第一更新映射视频帧、第二更新映射视频帧和更新插帧图像再次输入光流更新网络和插帧图像更新网络，迭代地执行更新第一更新光流、第二更新光流、第一更新映射视频帧、第二更新映射视频帧、更新加权系数和更新插帧图像的过程，直至满足迭代停止条件，得到第一插帧图像、第一光流、第二光流以及加权系数。
17、在一种可能的实现方式中，所述第一颜色空间中的相邻视频帧包括t-1时刻视频帧和t+1时刻视频帧，所述根据所述第一插帧图像、第一光流、第二光流以及加权系数对所述第一颜色空间的相邻视频帧进行插帧处理，得到目标插帧图像，包括：
18、利用第一光流对t-1时刻视频帧进行反向映射，得到t时刻的第一映射视频帧；
19、利用第二光流对t+1时刻视频帧进行反向映射，得到t时刻的第二映射视频帧；
20、利用所述加权系数对所述t时刻的第一映射视频帧和t时刻的第二映射视频帧进行加权求和，得到第二插帧图像；
21、利用所述第一插帧图像对所述第二插帧图像进行指导滤波，得到所述第一颜色空间的相邻视频帧的目标插帧图像。
22、在一种可能的实现方式中，所述利用所述第一插帧图像对所述第二插帧图像进行指导滤波，得到所述第一颜色空间的相邻视频帧的目标插帧图像，包括：
23、针对第二插帧图像中插帧效果不满足预期效果的第一像素点，在第一插帧图像中确定与所述第一像素点坐标相同的第二像素点；
24、在第一插帧图像中，计算所述第二像素点与其邻域的第三像素点的相似度，作为各第三像素点的权重；
25、确定所述第二插帧图像中与所述第三像素点坐标相同的第四像素点，并利用所述权重对所述第四像素点的像素值进行加权求和，将得到的结果作为所述第一像素点的像素值。
26、在一种可能的实现方式中，在得到第二颜色空间中的相邻视频帧后，所述方法还包括：
27、对所述第二颜色空间中的相邻视频帧进行下采样处理，得到第一特征；
28、所述基于第二颜色空间中的相邻视频帧，进行插帧估计，包括：
29、基于所述第一特征，对第二颜色空间中的相邻视频帧，进行插帧估计；
30、基于第二颜色空间中的相邻视频帧，进行插帧估计后，所述方法还包括：
31、对所述第一颜色空间的相邻视频帧进行上采样处理，得到第二特征；
32、根据所述第一插帧图像、第一光流、第二光流以及加权系数对第一颜色空间的相邻视频帧进行插帧处理，包括：
33、基于所述第二特征，根据所述第一插帧图像、第一光流、第二光流以及加权系数对第一颜色空间的相邻视频帧进行插帧处理。
34、在一种可能的实现方式中，所述第二颜色空间为rgb颜色空间，所述第一颜色空间为与第二颜色空间不同的颜色空间。
35、根据本公开的一方面，提供了一种视频插帧装置包括：
36、纹理获取模块，用于对第一颜色空间的相邻视频帧进行纹理提取，得到纹理图像；
37、重上色模块，用于在第二颜色空间对所述纹理图像进行上色处理，得到第二颜色空间中的相邻视频帧；
38、光流估计模块，用于基于第二颜色空间中的相邻视频帧，进行插帧估计，得到第一插帧图像、第一光流、第二光流以及加权系数；
39、插帧模块，用于根据所述第一插帧图像、第一光流、第二光流以及加权系数对所述第一颜色空间的相邻视频帧进行插帧处理，得到目标插帧图像。
40、在一种可能的实现方式中，所述纹理获取模块，用于：
41、针对第一颜色空间的相邻视频帧中的各像素点，对同一像素点的三通道的通道值进行加权平均，得到各像素点的平均值；
42、对相邻视频帧中的像素点的平均值的范围进行拉伸，并调整本文档来自技高网...
【技术保护点】
1.一种视频插帧方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述对第一颜色空间的相邻视频帧进行纹理提取，得到纹理图像，包括：
3.根据权利要求1所述的方法，其特征在于，所述第二颜色空间中的相邻视频帧包括t-1时刻视频帧和t+1时刻视频帧，所述基于第二颜色空间中的相邻视频帧，进行插帧估计，得到第一插帧图像、第一光流、第二光流以及加权系数，包括：
4.根据权利要求1所述的方法，其特征在于，所述第一颜色空间中的相邻视频帧包括T-1时刻视频帧和T+1时刻视频帧，所述根据所述第一插帧图像、第一光流、第二光流以及加权系数对所述第一颜色空间的相邻视频帧进行插帧处理，得到目标插帧图像，包括：
5.根据权利要求4所述的方法，其特征在于，所述利用所述第一插帧图像对所述第二插帧图像进行指导滤波，得到所述第一颜色空间的相邻视频帧的目标插帧图像，包括：
6.根据权利要求5所述的方法，其特征在于，在得到第二颜色空间中的相邻视频帧后，所述方法还包括：
7.根据权利要求1所述的方法，其特征在于，所述第二颜色空间为RG
8.一种视频插帧装置，其特征在于，包括：
9.一种电子设备，其特征在于，包括：
10.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1至10中任意一项所述的方法。
...【技术特征摘要】
1.一种视频插帧方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述对第一颜色空间的相邻视频帧进行纹理提取，得到纹理图像，包括：
3.根据权利要求1所述的方法，其特征在于，所述第二颜色空间中的相邻视频帧包括t-1时刻视频帧和t+1时刻视频帧，所述基于第二颜色空间中的相邻视频帧，进行插帧估计，得到第一插帧图像、第一光流、第二光流以及加权系数，包括：
4.根据权利要求1所述的方法，其特征在于，所述第一颜色空间中的相邻视频帧包括t-1时刻视频帧和t+1时刻视频帧，所述根据所述第一插帧图像、第一光流、第二光流以及加权系数对所述第一颜色空间的相邻视频帧进行插帧处理，得到目标插帧图像，包括：
5...
【专利技术属性】
技术研发人员：胥斌，柏龄，何凯，邵杰，
申请(专利权)人：中国电影器材有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。