一种通过共享特征提取网络加速视频恢复任务的方法技术

本发明专利技术公开了一种通过共享特征提取网络加速视频恢复任务的方法,属于视频恢复技术领域。所述方法包括以下步骤：通过训练多任务的视频恢复模型，使模型的特征提取功能更加强大并且泛化能力更强，且通用性也更好，并减少总计算量。具体的：首先用自监督视频预测任务预训练共享特征提取层；之后训练多任务的CNN视频恢复模型，该模型在共享特征提取层提取多个尺度的图像特征，将图像特征作为输入，送入每个任务所独有的解码层，最终将所有层的损失求和得到整个模型的损失函数，使CNN视频恢复模型能够用共享的特征提取网络处理更多的任务，节省了计算资源，最终实现了视频恢复任务的加速。

A method of accelerating video recovery task through shared feature extraction network

【技术实现步骤摘要】
一种通过共享特征提取网络加速视频恢复任务的方法
本专利技术涉及视频恢复
，尤其涉及一种通过共享特征提取网络加速视频恢复任务的方法。
技术介绍
随着互联网的发展和智能终端的普及，图像和视频已成为人类活动中最常用的信息载体。然而，在图像的获取、传输、储存和处理的过程中，总会受到各种退化因素的影响，造成图像质量的退化，对于后续的图像理解和使用造成了极大影响，所以，为了获取高质量图像，需要对视频图像进行恢复处理，尽可能的保持原始信息完整性。所以，对于高效的视频恢复模型的研究是很有必要的。目前做法的局限性在于：（1）目前，很多CNNS都是单任务深度学习模型，只能处理单一的目标任务，然而，在图像视频领域，不同的图像之间都有着相关性，在模型的训练过程中，单一任务的深度学习方法只关注单一任务，忽略了不同任务之间的内在相关性。（2）对于多任务的视频恢复模型并不是所有的图像特征对于独立的任务都是有用的，当前的大多数方法都忽略了冗余问题，那么，在特征学习之前，需要对特征进行一定程度的排序和筛选，提取出来的特征能够精准匹配每个独立的视频恢本文档来自技高网...

【技术保护点】
1.一种通过共享特征提取网络加速视频恢复任务的方法，其特征在于，包括共享特征提取网络和多任务的CNN视频恢复模型两个模块；共享特征提取网络用于图像特征的提取；多任务的CNN视频恢复模型用于对不同尺度特征的线性叠加和多任务解码，最终输出多任务的多个图像。/n

【技术特征摘要】
1.一种通过共享特征提取网络加速视频恢复任务的方法，其特征在于，包括共享特征提取网络和多任务的CNN视频恢复模型两个模块；共享特征提取网络用于图像特征的提取；多任务的CNN视频恢复模型用于对不同尺度特征的线性叠加和多任务解码，最终输出多任务的多个图像。


2.根据权利要求1所述的一种通过共享特征提取网络加速视频恢复任务的方法，其特征在于：所述共享特征提取网络是通过自监督视频预测任务的方法进行预训练，包括以下步骤：
(1.1)对于输入图像进行不同比例的缩图，使特征提取网络可以处理不同尺度的输入；
(1.2)将缩图后的图像作为共享特征提取网络的输入，假设输入的图像帧用t0表示，通过共享特征提取网络提取特征后，输入到解码层进行处理，输出的是当前帧预测的相邻的某一帧t1，实际视频中对应的帧用t2表示；
(1.3)计算t1和t2的均方误差，即共享特征提取网络的损失函数为：

【专利技术属性】
技术研发人员：刘佳扬，田超博，朱政，刘宇新，
申请(专利权)人：杭州微帧信息科技有限公司，
类型：发明
国别省市：浙江;33