【技术实现步骤摘要】
时空超分辨率的视频增强方法和系统
本专利技术涉及图像处理的
，尤其涉及时空超分辨率的视频增强方法和系统。
技术介绍
时空超分辨率ST-MR是将低空间分辨率视频转换为时空高分辨率视频，而传统的ST-MR只是单独地在时间或空间上处理上下文信息。多个输入帧的空间分辨率S-SR，即多图像和视频SR通过空间对齐相似帧，然后将空间低分辨率S-LR解析为空间高分辨率S-HR，时间分辨率T-SR则通过视频插值来构造中间帧，从而将时间低分辨率T-LR提高到时间高分辨率T-HR。现有技术的ST-MR不是基于深度学习的方法，需要输入较长的视频来提取时空模式，虽然Manoj等人基于深层网络提出ST-MR，然而该ST-MR方法只依赖LR进行插值，未能充分利用ST-MR模式的优点。实际上视频数据空间和时间显然是相关联的，需要联合学习空间和时间特征来解决视频增强任务，这需要更高的空间表示法(分辨率)可以提供更精确的运动信息，更高的时间表示法(帧率)能够更好地提取更多空间上下文信息，在时空超分辨率视频中提取上下文信息，能够提高视频的准确性和清晰度。
技术实现思路
针对上述现有技术存在的缺陷，本专利技术提供时空超分辨率的视频增强方法和系统，其通过收集视频数据集，并对所述视频数据集进行视频数据增强处理，再将所述视频数据集转换为预定格式的文件和进行数据读取，从而得到相应的训练与测试数据集，并构建时空超分辨率网络STAMnet，并通过所述时空超分辨率网络的卷积层来提取得到所述训练与测试数据集中的高维图像特征信息，再将所述训练数据集...
【技术保护点】
1.时空超分辨率的视频增强方法，其特征在于，其包括如下步骤：/n步骤S1，收集视频数据集，并对所述视频数据集进行视频数据增强处理，再将所述视频数据集转换为预定格式的文件和进行数据读取，从而得到相应的训练与测试数据集；/n步骤S2，构建时空超分辨率网络STAMnet，并通过所述时空超分辨率网络的卷积层来提取得到所述训练与测试数据集中的高维图像特征信息；/n步骤S3，将训练数据集的视频数据输入所述时空超分辨率网络，并引入流细化损失来训练所述时空超分辨率网络的整个网络结构，同时还利用SGD优化算法来训练与优化所述时空超分辨率网络，以使在空间和时间上联合学习所述高维图像特征信息中的低分辨率图像信息和高分辨率图像信息，从而得到最优的视频增强模型；/n步骤S4，将测试数据集中的测试视频数据输入所述最优的视频增强模型进行联合学习空间和时间上下文处理，从而输出具有最高空间分辨率的视频数据作为最终结果。/n
【技术特征摘要】
1.时空超分辨率的视频增强方法，其特征在于，其包括如下步骤：
步骤S1，收集视频数据集，并对所述视频数据集进行视频数据增强处理，再将所述视频数据集转换为预定格式的文件和进行数据读取，从而得到相应的训练与测试数据集；
步骤S2，构建时空超分辨率网络STAMnet，并通过所述时空超分辨率网络的卷积层来提取得到所述训练与测试数据集中的高维图像特征信息；
步骤S3，将训练数据集的视频数据输入所述时空超分辨率网络，并引入流细化损失来训练所述时空超分辨率网络的整个网络结构，同时还利用SGD优化算法来训练与优化所述时空超分辨率网络，以使在空间和时间上联合学习所述高维图像特征信息中的低分辨率图像信息和高分辨率图像信息，从而得到最优的视频增强模型；
步骤S4，将测试数据集中的测试视频数据输入所述最优的视频增强模型进行联合学习空间和时间上下文处理，从而输出具有最高空间分辨率的视频数据作为最终结果。
2.根据权利要求1所述的时空超分辨率的视频增强方法，其特征在于：
在所述步骤S1中，收集视频数据集，并对所述视频数据集进行视频数据增强处理，再将所述视频数据集转换为预定格式的文件和进行数据读取，从而得到相应的训练与测试数据集，具体包括：
步骤S101，收集Vimeo90K视频数据集，以此使所述视频数据集包括若干大小为448×256的视频；
步骤S102，使用图像旋转、图像翻转和图像随机裁剪中的至少一种操作，来对所述视频数据集进行视频数据增强处理；
步骤S103，将所述视频数据集转换为tfrecord格式文件，并以多线程并行方式来对所述tfrecord格式文件进行数据读取，从而得到相应的训练与测试数据集。
3.根据权利要求1所述的时空超分辨率的视频增强方法，其特征在于：
在所述步骤S2中，构建时空超分辨率网络STAMnet，并通过所述时空超分辨率网络的卷积层来提取得到所述训练与测试数据集中的高维图像特征信息具体包括：
步骤S201，联合优化空间分辨率S-SR、时间分辨率T-SR和时空超分辨率ST-MR，以使在多分辨率中相互增强视频的空间和时间特征和实现视频空间高分辨率特征S-HR和空间低分辨率特征S-LR的相互转换，从而构建得到所述时空超分辨率网络STAMnet；
步骤S202，通过所述时空超分辨率网络的卷积层来提取得到所述训练与测试数据集中每个视频对应的高维图像特征信息。
4.根据权利要求1所述的时空超分辨率的视频增强方法，其特征在于：
在所述步骤S3中，将所述训练数据集的视频数据输入所述时空超分辨率网络，并引入流细化损失来训练所述时空超分辨率网络的整个网络结构，同时还利用SGD优化算法来训练与优化所述时空超分辨率网络，以使在空间和时间上联合学习所述高维图像特征信息中的低分辨率图像信息和高分辨率图像信息，从而得到最优的视频增强模型具体包括：
步骤S301，对所述时空超分辨网络进行实现关于空间分辨率S-SR、时间分辨率T-SR和时空超分辨率ST-MR联合学习的初始化处理，进行关于从原始光流图像到高分辨率特征和低分辨率特征图以及生成细化特征图的改进处理，进行关于在空间和时间上联合学习低分辨率特征图和高分辨率特征图的重建处理，从而实现对所述时空超分辨网络的端到端的训练，再将所述训练数据集的视频数据输入所述时空超分辨网络；
步骤S302，基于所述视频数据中图像帧前向和后向运动的流图像，确定所述视频数据的流细化损失函数，并根据所述流细化损失函数来训练所述时空超分辨率网络的整个网络结构；
步骤S303，利用SGD优化算法来训练与优化所述时空超分辨率网络，以使在空间和时间上联合学习所述高维图像特征信息中的低分辨率图像信息和高分辨率图像信息，从而得到最优的视频增强模型。
5.根据权利要求1所述的时空超分辨率的视频增强方法，其特征在于：
在所述步骤S4中，将所述测试数据集中的测试视频数据输入所述最优的视频增强模型进行联合学习空间和时间上下文处理，从而输出具有最高空间分辨率的视频数据作为最终结果具体包括：
步骤S401，将所述测试数据集中的测试视频数据输入所述最优的视频增强模型中，以此利用插入帧和输入帧来增强图像空间分辨率，以及通过在空间高分辨率图像中观察得到的大运动和在空间低分辨率中观察得到的细微运动来增强图像时间分辨率，从而实现所述联合学习空间和时间上下文处理；
步骤S402，从所述联合学习空间和时间上下文处理得到的输出结果中，确定输出结果中每一个输出视频数据的空间分辨率，并将具有最高空间分辨率的视频数据作为最...
【专利技术属性】
技术研发人员：闫超，卢丽，韩强，
申请(专利权)人：成都东方天呈智能科技有限公司，
类型：发明
国别省市：四川;51
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。