【技术实现步骤摘要】
本申请涉及视频处理，尤其涉及一种视频超分方法及装置。
技术介绍
1、视频超分技术是一种由低分辨率视频生成高分辨率视频的技术。由于提升视频的分辨率可以极大的提升用户的观看体验，因此视频超分技术是视频处理领域的研究热点之一。
2、传统视频超分方案主要可以分为两种，一种为采用线性插值对原始视频进行上采样处理，以提升视频的分辨率。另一种为采用视频超分网络模型对原始视频进行上采样处理，以提升视频的分辨率。然而，采用线性插值进行视频超分，上采样输出的视频质量不高，缺乏图像细节，往往满足不了用户的需求。采用视频超分网络模型进行视频超分，虽然上采样输出的视频质量较高，但基于视频超分网络模型进行视频超分十分消耗计算性能，当视频超分网络模型运行于终端设备时很可能无法满足视频超分对实时性的要求。综上所述，现有技术中无法在满足实时性的同时高质量地进行视频超分。
技术实现思路
1、有鉴于此，本申请实施例提供了一种视频超分方法及装置，用于在满足实时性的同时高质量的进行视频超分。
2、为了实现上述目的，本申请实施例提供技术方案如下：
3、第一方面，本申请的实施例提供了一种视频超分方法，包括：
4、获取待超分视频的原始视频帧；
5、根据所述原始视频帧中各个像素点的像素值和预设映射关系，获取所述原始视频帧对应的超分视频帧中各个像素点的像素值；所述预设映射关系为根据视频超分网络模型的输入视频帧中的像素点的像素值和输出视频帧中的像素点的像素值生成的映射关系，所
6、根据所述超分视频帧中各个像素点的像素值生成所述超分视频帧。
7、作为本申请实施例一种可选的实施方式，所述根据所述原始视频帧中各个像素点的像素值和预设映射关系，获取所述原始视频帧对应的超分视频帧中各个像素点的像素值，包括：
8、基于图形处理单元gpu来实现根据所述原始视频帧中各个像素点的像素值和预设映射关系，获取所述原始视频帧对应的超分视频帧中各个像素点的像素值；或者
9、基于数字信号处理器dsp来实现根据所述原始视频帧中各个像素点的像素值和预设映射关系，获取所述原始视频帧对应的超分视频帧中各个像素点的像素值；或者
10、基于图形处理单元、数字信号处理器以及预设任务分配策略来实现根据所述原始视频帧中各个像素点的像素值和预设映射关系，获取所述原始视频帧对应的超分视频帧中各个像素点的像素值。
11、作为本申请实施例一种可选的实施方式，所述基于图形处理单元gpu实现根据所述原始视频帧中各个像素点的像素值和预设映射关系，获取所述原始视频帧对应的超分视频帧中各个像素点的像素值，包括：
12、创建输入纹理内存；
13、对所述输入纹理内存进行配置，以使gpu的opencl可以访问所述输入纹理内存；
14、将所述原始视频帧写入所述输入纹理内存；
15、通过所述opencl从所述输入纹理内存中读取所述原始视频帧，以及根据所述原始视频帧中各个像素点的像素值和预设映射关系，获取所述原始视频帧对应的超分视频帧中各个像素点的像素值。
16、作为本申请实施例一种可选的实施方式，所述根据所述超分视频帧中各个像素点的像素值生成所述超分视频帧，包括：
17、创建输出纹理内存；
18、对所述输出纹理内存进行配置，使所述opencl可以访问所述输入纹理内存；
19、通过所述opencl将所述超分视频帧中各个像素点的像素值写入所述输出纹理内存；
20、通过中央处理单元cpu将所述输出纹理内存中的所述超分视频帧中各个像素点的像素值输出至指定内存，从所述指定内存中读取所述超分视频帧中各个像素点的像素值，以及根据所述超分视频帧中各个像素点的像素值生成所述超分视频帧。
21、作为本申请实施例一种可选的实施方式，所述根据所述原始视频帧中各个像素点的像素值和预设映射关系，获取所述原始视频帧对应的超分视频帧中各个像素点的像素值，包括：
22、创建输入ion内存；
23、将所述原始视频帧写入所述输入ion内存；
24、通过所述dsp从所述输入ion内存中读取所述原始视频帧，以及根据所述原始视频帧中各个像素点的像素值和预设映射关系，获取所述原始视频帧对应的超分视频帧中各个像素点的像素值。
25、作为本申请实施例一种可选的实施方式，所述根据所述原始视频帧中各个像素点的像素值和预设映射关系，获取所述原始视频帧对应的超分视频帧中各个像素点的像素值，包括：
26、创建输出ion内存；
27、通过所述dsp将所述超分视频帧中各个像素点的像素值写入所述输出ion内存；
28、通过cpu将所述输出ion内存中的所述超分视频帧中各个像素点的像素值输出至指定内存，从所述指定内存中读取所述超分视频帧中各个像素点的像素值，以及根据所述超分视频帧中各个像素点的像素值生成所述超分视频帧。
29、作为本申请实施例一种可选的实施方式，所述根据所述原始视频帧中各个像素点的像素值和预设映射关系，获取所述原始视频帧对应的超分视频帧中各个像素点的像素值，包括：
30、分别创建硬件缓存和输入纹理内存；
31、将所述硬件缓存与所述输入纹理内存绑定；
32、通过所述硬件缓存的文件描述符fd将所述硬件缓存注册为ion内存；
33、将所述原始视频帧写入所述输入纹理内存；
34、通过所述dsp从所述输入纹理内存中读取所述原始视频帧，以及根据所述原始视频帧中各个像素点的像素值和预设映射关系，获取所述原始视频帧对应的超分视频帧中各个像素点的像素值。
35、作为本申请实施例一种可选的实施方式，所述根据所述原始视频帧中各个像素点的像素值和预设映射关系，获取所述原始视频帧对应的超分视频帧中各个像素点的像素值，包括：
36、创建输出纹理内存；
37、将所述硬件缓存与所述输入纹理内存绑定；
38、通过所述dsp将所述超分视频帧中各个像素点的像素值写入所述输出纹理内存；
39、通过cpu将所述输出纹理内存中的所述超分视频帧中各个像素点的像素值输出至指定内存，从所述指定内存中读取所述超分视频帧中各个像素点的像素值，以及根据所述超分视频帧中各个像素点的像素值生成所述超分视频帧。
40、第二方面，本申请实施例提供一种视频超分装置，包括：
41、获取单元，用于获取待超分视频的原始视频帧；
42、处理单元，用于根据所述原始视频帧中各个像素点的像素值和预设映射关系，获取所述原始视频帧对应的超分视频帧中各个像素点的像素值；所述预设映射关系为根据视频超分网络模型的输入视频帧中的像素点的像素值和输出视频帧中的像素点的像素值生成的映射关系，所述视频超分网络模型为本文档来自技高网...
【技术保护点】
1.一种视频超分方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述根据所述原始视频帧中各个像素点的像素值和预设映射关系，获取所述原始视频帧对应的超分视频帧中各个像素点的像素值，包括：
3.根据权利要求2所述的方法，其特征在于，所述基于图形处理单元来实现根据所述原始视频帧中各个像素点的像素值和预设映射关系，获取所述原始视频帧对应的超分视频帧中各个像素点的像素值，包括：
4.根据权利要求3所述的方法，其特征在于，所述根据所述超分视频帧中各个像素点的像素值生成所述超分视频帧，包括：
5.根据权利要求2所述的方法，其特征在于，所述基于数字信号处理器DSP来实现根据所述原始视频帧中各个像素点的像素值和预设映射关系，获取所述原始视频帧对应的超分视频帧中各个像素点的像素值，包括：
6.根据权利要求5所述的方法，其特征在于，所述根据所述原始视频帧中各个像素点的像素值和预设映射关系，获取所述原始视频帧对应的超分视频帧中各个像素点的像素值，包括：
7.根据权利要求5所述的方法，其特征在于，所述根据所述原始视
8.根据权利要求7所述的方法，其特征在于，所述根据所述原始视频帧中各个像素点的像素值和预设映射关系，获取所述原始视频帧对应的超分视频帧中各个像素点的像素值，包括：
9.一种视频超分装置，其特征在于，包括：
10.一种电子设备，其特征在于，包括：存储器和处理器，所述存储器用于存储计算机程序；所述处理器用于在执行计算机程序时，使得所述电子设备实现权利要求1-8任一项所述的视频超分方法。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，当所述计算机程序被计算设备执行时，使得所述计算设备实现权利要求1-8任一项所述的视频超分方法。
...【技术特征摘要】
1.一种视频超分方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述根据所述原始视频帧中各个像素点的像素值和预设映射关系，获取所述原始视频帧对应的超分视频帧中各个像素点的像素值，包括：
3.根据权利要求2所述的方法，其特征在于，所述基于图形处理单元来实现根据所述原始视频帧中各个像素点的像素值和预设映射关系，获取所述原始视频帧对应的超分视频帧中各个像素点的像素值，包括：
4.根据权利要求3所述的方法，其特征在于，所述根据所述超分视频帧中各个像素点的像素值生成所述超分视频帧，包括：
5.根据权利要求2所述的方法，其特征在于，所述基于数字信号处理器dsp来实现根据所述原始视频帧中各个像素点的像素值和预设映射关系，获取所述原始视频帧对应的超分视频帧中各个像素点的像素值，包括：
6.根据权利要求5所述的方法，其特征在于，所述根据所述原始视频帧中各个像素点的像素值和预设映射关系...
【专利技术属性】
技术研发人员：张英杰，徐天春，余剑，刘毅，朱亦凡，赵世杰，
申请(专利权)人：抖音视界有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。