基于关键帧的端云联合超分辨率视频重建方法及系统技术方案

本发明专利技术涉及高清视频重建技术领域，提供了一种基于关键帧的端云联合超分辨视频重建方法及系统，包括：获取原始高清视频，进行下采样生成低分辨率视频流提取高清关键帧；删除重复帧生成去重低分辨率视频流；将去重低分辨率视频流进行编码生成低清视频码流，将高清关键帧进行编码生成关键帧码流；将低清视频码流、关键帧码流和删除重复帧的位置发送至视频处理端；视频处理端解码获取去重低分辨率视频流和高清关键帧并输入至更新后的视频超分模型，生成复原高清帧；根据重复帧信息复制对应的复原高清帧生成重复帧的复原高清帧，将所有的复原高清帧组装为高清视频进行输出。本发明专利技术解决了现有高清视频传输成本高、清晰度不佳的问题。清晰度不佳的问题。清晰度不佳的问题。

【技术实现步骤摘要】
基于关键帧的端云联合超分辨率视频重建方法及系统


[0001]本专利技术涉及高清视频重建
，尤其涉及一种基于关键帧的端云联合超分辨率视频重建方法及系统。

技术介绍

[0002]目前，用户对视频的分辨率要求越来越高，同时越来越多的设备支持2k，4k等分辨率的视频，另一方面高清的监控视频包含了人脸、车牌号等细节信息，有利于记录突发事件、帮助破案等等。然而，高清视频由于其高分辨率具有巨大的码流，不论是网络视频业务中传输给用户高清视频的业务，还是要将监控摄像头拍摄的高清视频传输到云端处理中心，都需要使用压缩编码方法降低码流，节省传输带宽。目前最常用的视频压缩编码标准为H.264/AVC和H.265/HEVC，此外还有VVC等新标准出现，但传统的压缩编码方法对码流压缩程度有限。
[0003]此外，目前还有许多使用深度学习方法进行视频压缩编码的研究，其主要功能模块包括预处理、编码和后处理。但这些方法对于收发端的计算资源都有很高的要求，此外由于深度学习模型的复杂性和不透明性，其处理过程中可能出现黑盒效应，可解释性较差。最后，深度学习压缩编码方法与传统编码方法一般为替代关系，部署较为困难。
[0004]视频超分辨率是指将分辨率较低的低清视频通过上采样增强为高清视频。传统的超分方法如插值等难以还原高频信息，性能较差。基于深度学习的超分方法是目前的主流方法，而相比传统方法其性能虽然有很大提升，但超分所得的视频的性能指标（PSNR,SSIM等）和压缩编码前后的视频的性能指标仍有一定差距。

技术实现思路

[0005]本专利技术提供一种基于关键帧的端云联合超分辨率视频重建方法及系统，用以解决现有高清视频传输成本高、清晰度不佳的问题。
[0006]本专利技术提供一种基于关键帧的端云联合超分辨视频重建方法，包括：获取原始的高清视频，对所述高清视频进行下采样并提取高清关键帧；通过所述高清视频进行下采样生成低分辨率视频流；对所述低分辨率视频流进行重复帧检测，对检测到的重复帧进行删除并记录删除帧的位置，生成去重低分辨率视频流；将所述去重低分辨率视频流进行编码生成低清视频码流，将所述高清关键帧进行编码生成关键帧码流；将所述低清视频码流、关键帧码流和删除帧的位置发送至视频处理端，在发送端根据高清视频对视频超分模型的参数进行更新；所述视频处理端对接收到的内容进行解码，获取去重低分辨率视频流和高清关键帧，将去重低分辨率视频流和高清关键帧输入至更新后的视频超分模型，生成复原高清帧；根据重复帧信息复制对应的复原高清帧生成重复帧的复原高清帧，将所有的复原
高清帧组装为高清视频进行输出。
[0007]根据本专利技术提供的一种基于关键帧的端云联合超分辨视频重建方法，所述获取原始的高清视频，对所述高清视频进行下采样并提取高清关键帧，具体包括：对原始的高清视频逐帧进行下采样，对每帧进行低通滤波，根据网络状况选取下采样的倍率；通过比较相邻帧的性能指标，选取变化最大的帧作为关键帧。
[0008]根据本专利技术提供的一种基于关键帧的端云联合超分辨视频重建方法，通过所述高清视频进行下采样生成低分辨率视频流，具体包括：按照选定的采样倍率对高清视频进行采样，采样完成后生成低分辨率视频流。
[0009]根据本专利技术提供的一种基于关键帧的端云联合超分辨视频重建方法，对所述低分辨率视频流进行重复帧检测，对检测到的重复帧进行删除并记录删除帧的位置，生成去重低分辨率视频流，具体包括：对所述低分辨率视频流中的每一帧与上一个非重复帧的均方误差进行比较，生成比较结果；所述比较结果小于等于设定阈值，则判定为重复帧，否则为非重复帧，依次对每一帧进行判定；对检测到的重复帧进行删除并记录删除帧的位置，生成去重低分辨率视频流。
[0010]根据本专利技术提供的一种基于关键帧的端云联合超分辨视频重建方法，将所述去重低分辨率视频流进行编码生成低清视频码流，将所述高清关键帧进行编码生成关键帧码流，具体包括：将所述去重低分辨率视频流通过设定的编码程序进行编码生成待传输的低清视频码流；将所述高清关键帧单独组装为视频流，并通过相同的设定编码程序进行编码，生成关键帧码流。
[0011]根据本专利技术提供的一种基于关键帧的端云联合超分辨视频重建方法，所述视频处理端对接收到的内容进行解码，获取去重低分辨率视频流和高清关键帧，将去重低分辨率视频流和高清关键帧输入至更新后的视频超分模型，生成复原高清帧，具体包括：所述视频超分模型将输入的去重低分辨率视频流和高清关键帧通过残差块对关键帧特征和非关键帧进行特征提取；通过一阶网格传播和关键帧特征传播的方式分为两层前向传播和两层后向传播；将关键帧特征通过光流扭曲后传播至非关键帧位置，再将特征逐层向下传播；通过注意力过滤器获取最终的特征映射，利用像素洗牌进行上采样得到复原高清帧。
[0012]根据本专利技术提供的一种基于关键帧的端云联合超分辨视频重建方法，所述根据重复帧信息复制对应的复原高清帧生成重复帧的复原高清帧，将所有的复原高清帧组装为高清视频进行输出，具体包括：根据重复帧的位置信息复制对应位置的复原高清帧，生成重复帧的复原高清帧；将重复帧的复原高清帧和通过去重低分辨率视频流复原的高清帧进程组装，生成高清视频，输出并展示生成的高清视频。
[0013]本专利技术还提供一种基于关键帧的端云联合超分辨视频重建系统，所述系统包括：数据获取模块，用于获取原始的高清视频，对所述高清视频进行下采样并提取高清关键帧；下采样模块，用于通过所述高清视频进行下采样生成低分辨率视频流；去重模块，用于对所述低分辨率视频流进行重复帧检测，对检测到的重复帧进行删除并记录删除帧的位置，生成去重低分辨率视频流；编码模块，用于将所述去重低分辨率视频流进行编码生成低清视频码流，将所述高清关键帧进行编码生成关键帧码流；传输模块，用于将所述低清视频码流、关键帧码流和删除帧的位置发送至视频处理端，在发送端根据高清视频对视频超分模型的参数进行更新；高清复原模块，用于所述视频处理端对接收到的内容进行解码，获取去重低分辨率视频流和高清关键帧，将去重低分辨率视频流和高清关键帧输入至更新后的视频超分模型，生成复原高清帧；输出模块，用于根据重复帧信息复制对应的复原高清帧生成重复帧的复原高清帧，将所有的复原高清帧组装为高清视频进行输出。
[0014]本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于关键帧的端云联合超分辨视频重建方法。
[0015]本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于关键帧的端云联合超分辨视频重建方法。
[0016]本专利技术还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述基于关键帧的端云联合超分辨视频重建方法。
[0017]本专利技术提供的一种基于关键帧的端云联合超分辨率视频重建方法及系统，通过将采集的高清视频下采样生成低分辨率视频流并提取高清关键帧，使用较小的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于关键帧的端云联合超分辨视频重建方法，其特征在于，包括：获取原始的高清视频，对所述高清视频进行下采样并提取高清关键帧；通过所述高清视频进行下采样生成低分辨率视频流；对所述低分辨率视频流进行重复帧检测，对检测到的重复帧进行删除并记录删除帧的位置，生成去重低分辨率视频流；将所述去重低分辨率视频流进行编码生成低清视频码流，将所述高清关键帧进行编码生成关键帧码流；将所述低清视频码流、关键帧码流和删除帧的位置发送至视频处理端，在发送端根据高清视频对视频超分模型的参数进行更新；所述视频处理端对接收到的内容进行解码，获取去重低分辨率视频流和高清关键帧，将去重低分辨率视频流和高清关键帧输入至更新后的视频超分模型，生成复原高清帧；根据重复帧信息复制对应的复原高清帧生成重复帧的复原高清帧，将所有的复原高清帧组装为高清视频进行输出。2.根据权利要求1所述的基于关键帧的端云联合超分辨视频重建方法，其特征在于，所述获取原始的高清视频，对所述高清视频进行下采样并提取高清关键帧，具体包括：对原始的高清视频逐帧进行下采样，对每帧进行低通滤波，根据网络状况选取下采样的倍率；通过比较相邻帧的性能指标，选取变化最大的帧作为关键帧。3.根据权利要求1所述的基于关键帧的端云联合超分辨视频重建方法，其特征在于，通过所述高清视频进行下采样生成低分辨率视频流，具体包括：按照选定的采样倍率对高清视频进行采样，采样完成后生成低分辨率视频流。4.根据权利要求1所述的基于关键帧的端云联合超分辨视频重建方法，其特征在于，对所述低分辨率视频流进行重复帧检测，对检测到的重复帧进行删除并记录删除帧的位置，生成去重低分辨率视频流，具体包括：对所述低分辨率视频流中的每一帧与上一个非重复帧的均方误差进行比较，生成比较结果；所述比较结果小于等于设定阈值，则判定为重复帧，否则为非重复帧，依次对每一帧进行判定；对检测到的重复帧进行删除并记录删除帧的位置，生成去重低分辨率视频流。5.根据权利要求1所述的基于关键帧的端云联合超分辨视频重建方法，其特征在于，将所述去重低分辨率视频流进行编码生成低清视频码流，将所述高清关键帧进行编码生成关键帧码流，具体包括：将所述去重低分辨率视频流通过设定的编码程序进行编码生成待传输的低清视频码流；将所述高清关键帧单独组装为视频流，并通过相同的设定编码程序进行编码，生成关键帧码流。6.根据权利要求1所述的基于关键帧的端云联合超分辨视频重建方法，其特征在于，所述视频处理...

【专利技术属性】
技术研发人员：秦志金，王丽婷，杨定熹，陶晓明，段一平，刘帅，
申请(专利权)人：南通先进通信技术研究院有限公司，
类型：发明
国别省市：