本发明专利技术提供了一种基于GAN的还原有损压缩视频文件的系统和方法。方法包括构建高清参照图片库，使用高清参照图片和根据高清参照图片生成的低清图片作为训练数据训练生成对抗网络，训练出的生成器可作为高清图片生成模型。将经压损的视频文件逐帧输入高清图片生成模型，模型输出对应的高清图片，从而得到经还原的高清视频文件。的高清视频文件。的高清视频文件。
【技术实现步骤摘要】
基于GAN的还原有损压缩视频文件的系统和方法
[0001]本专利技术涉及计算机视觉领域，更具体地，涉及一种基于生成对抗网络GAN的还原有损压缩视频文件的系统和方法。
技术介绍
[0002]随着5G和视频技术的发展，基于摄像头的看家类产品发展迅速，而视频文件的存储规模也越来越大。以中国电信天翼看家产品为例，每日新增的视频文件就需要约25PB的存储空间，海量的存储最直接的是带来很大的硬件采购成本。另外，海量的存储对于扩容、运维、容灾等都带来很大的管理成本。所以，对视频文件尽可能大的压缩是一个迫在眉睫的长期的技术难题。
[0003]视频压缩有两种方法，一种是基于最新的H265编码进行压缩，另外一种是基于深度学习算法对视频进行编码。天翼看家产品目前大部分基于H265的编码方案，只有少部分老的摄像头还是H264的方案。如果想继续压缩，就需要对H265进行调参，比如增加GOP的长度、对I帧继续压缩等。这种有损压缩带来的问题就是视频的清晰度、流畅度会受到影响。基于深度学习的算法压缩比例更高，但也是基于有损压缩技术，同样会带来用户体验的下降。在视频解码后如何通过技术手段提高视频的清晰度和纹理的细致度，是行业内的难题。
[0004]题为“一种图像超分辨率方法及设备”的中国专利申请(CN201611086392.3)公开了一种超分辨图像生成方法，在预先设置生成网络以及判别网络后，将真实图像样本输入生成网络以输出超分辨率图像样本，并获取判别网络分别在输入真实图像样本以及超分辨率图像样本后输出的判别概率，根据真实图像样本、超分辨率图像样本以及判别概率确定生成网络损失函数以及判别网络损失函数，根据生成网络损失函数以及判别网络损失函数对生成网络以及判别网络的配置参数进行调整。在当调整完成后接收到处理低分辨率图像，能够根据生成网络生成低分辨率图像的超分辨率图像，并对超分辨率图像进行可视化处理，从而显著提高了图像超分辨率效果以及超分辨图像的真实性。然而，该方法在分辨率放大倍数较大的情况下，比如4倍以上，纹理的流畅度会很差。
[0005]题为“一种基于密集连接网络的图像超分辨率方法”的中国专利申请(CN201710193665.2)公开了一种基于密集连接网络的图像超分辨率方法，通过加大卷积神经网络的深度，在深度网络中引入大量的跳跃式连接，有效解决深度网络反向传播时的梯度消失问题，优化了信息在网络上的流动，提升了卷积神经网络的超分辨率重建能力。同时，本专利技术也有效结合了底层特征和高层抽象特征，减少模型参数，压缩了深度网络模型，从而提高了图像超分辨率的重建效率。此外，通过引入深度监督技术，在网络的不同深度都能重建超分辨率图像，不仅优化了深度网络的训练，并且在测试时可以根据测试端的计算能力选择适当的网络深度重建高清图像。最后，该专利技术利用了多个放大倍数的图像集进行训练，获得的模型可以在多个尺度上进行图像超分辨率，而不用针对每一个放大倍数训练不同的模型。
[0006]论文“Image Super
‑
Resolution by Neural Texture Transfer”(https://
arxiv.org/abs/1903.00834)提出了一种端到端的深度模型，能够根据与参照(Ref)图像的纹理相似性自适应地迁移Ref图像的纹理，从而丰富图像的细节。除了像之前的工作那样在原始像素空间中匹配内容，本论文的关键贡献是在神经空间中执行的多层面匹配。这种匹配方案有助于多尺度神经迁移，能让模型从那些形义相关的Ref图块中获得更多好处，并在最不相关的Ref输入上优雅地降级到单图像超分辨率(SISR)性能。该论文成果已被证明在给了与低分辨率(LR)输入有相似内容的Ref图像时有很好的恢复高分辨率(HR)细节的潜力。但是，当Ref的相似程度较低时，基于Ref的超分辨率(RefSR)的性能会严重下降。
技术实现思路
[0007]提供本
技术实现思路
以便以简化形式介绍将在以下具体实施方式中进一步的描述一些概念。本
技术实现思路
并非旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。
[0008]针对上述现有技术中存在的不足，本专利技术旨在结合摄像头场景的具体情况，设计一种生成对抗网络GAN，在视频压缩比较大、损失较大的情况下，可以在云侧或者手机端解码还原视频文件，这样既大幅减少了视频文件存储的空间占用，又不影响用户体验。
[0009]根据本专利技术的一个方面，提供了一种用于训练基于生成对抗网络的高清图片生成模型的方法，所述方法包括：
[0010]对训练数据集进行自动标注，其中所述训练数据集包括多组高清参照图片和根据所述高清参照图片生成的低清图片；以及
[0011]使用所述训练数据集来完成所述生成对抗网络的训练，所述生成对抗网络的训练进一步包括重复执行以下步骤：
[0012]将所述低清图片送入到所述生成对抗网络的生成器并生成高清图片；
[0013]将所述生成器生成的高清图片与所述高清参照图片送入所述生成对抗网络的判别器以供所述判别器进行真实图片判别；以及
[0014]进行所述生成器和所述判别器的损失计算，并根据计算结果对所述生成器和所述判别器的参数进行更新，
[0015]其中经训练后的生成器被用作为所述高清图片生成模型。
[0016]根据本专利技术的进一步实施例，所述生成对抗网络的训练进一步包括：
[0017]在将所述低清图片送入到所述生成器之前，将所述低清图片与相应的高清参照图片进行融合；以及
[0018]将经融合的图片送入到所述生成器并生成高清图片。
[0019]根据本专利技术的另一方面，提供了一种用于还原视频文件的方法，所述方法包括：
[0020]获取待还原的视频文件；
[0021]将获取的待还原的视频文件输入通过如本专利技术所述的方法训练得到的高清图片生成模型；
[0022]所述高清图片生成模型处理输入的视频文件中的各图片帧，并输出与输入的图片对应的高清图片；以及
[0023]将所述高清图片生成模型输出的高清图片进行组合以得到经还原的视频文件。
[0024]根据本专利技术的另一方面，提供了一种用于还原视频文件的方法，所述方法包括：
[0025]获取待还原的视频文件；
[0026]对于获取的待还原的视频文件中的每一帧图片：
[0027]对当前图片进行特征提取；
[0028]基于提取的特征检索最相似的高清参照图片；
[0029]将所述当前图片与检索到的最相似的高清参照图片进行融合；以及
[0030]将经融合的图片输入通过如本专利技术所述的方法训练得到的高清图片生成模型；以及
[0031]所述高清图片生成模型处理并输出与输入的经融合的图片对应的高清图片；以及
[0032]将所述高清图片生成模型输出的高清图片进行组合以得到经还原的视频文件。
[0033]根据本专利技术的进一步实施例，基于提取的特征检索最相似的高清参照图片进一步包括：
...
【技术保护点】
【技术特征摘要】
1.一种用于训练基于生成对抗网络的高清图片生成模型的方法，其特征在于，所述方法包括：对训练数据集进行自动标注，其中所述训练数据集包括多组高清参照图片和根据所述高清参照图片生成的低清图片；以及使用所述训练数据集来完成所述生成对抗网络的训练，所述生成对抗网络的训练进一步包括重复执行以下步骤：将所述低清图片送入到所述生成对抗网络的生成器并生成高清图片；将所述生成器生成的高清图片与所述高清参照图片送入所述生成对抗网络的判别器以供所述判别器进行真实图片判别；以及进行所述生成器和所述判别器的损失计算，并根据计算结果对所述生成器和所述判别器的参数进行更新，其中经训练后的生成器被用作为所述高清图片生成模型。2.如权利要求1所述的方法，其特征在于，所述生成对抗网络的训练进一步包括：在将所述低清图片送入到所述生成器之前，将所述低清图片与相应的高清参照图片进行融合；以及将经融合的图片送入到所述生成器并生成高清图片。3.一种用于还原视频文件的方法，其特征在于，所述方法包括：获取待还原的视频文件；将获取的待还原的视频文件输入通过如权利要求1所述的方法训练得到的高清图片生成模型；所述高清图片生成模型处理输入的视频文件中的各图片帧，并输出与输入的图片对应的高清图片；以及将所述高清图片生成模型输出的高清图片进行组合以得到经还原的视频文件。4.一种用于还原视频文件的方法，其特征在于，所述方法包括：获取待还原的视频文件；对于获取的待还原的视频文件中的每一帧图片：对当前图片进行特征提取；基于提取的特征检索最相似的高清参照图片；将所述当前图片与检索到的最相似的高清参照图片进行融合；以及将经融合的图片输入通过如权利要求2所述的方法训练得到的高清图片生成模型；以及所述高清图片生成模型处理并输出与输入的经融合的图片对应的高清图片；以及将所述高清图片生成模型输出的高清图片进行组合以得到经还原的视频文件。5.如权利要求4所述的方法，其特征在于，基于提取的特征检索最相似的高清参照图片进一步包括：基于提取的特征值在高清参照图片库中检索具有与所述特征值最接近的特征值的高清参照图片。6.如权利要求5所述的方法，其特征在于，所述高清参照图片库是通过以下方式构建的：
定期采集高清参照图片；对当前采集的高清参照图片进行特征提取；将提取的特征值与库中已有图片的特征值进...
【专利技术属性】
技术研发人员：曹靖城，张继东，史国杰，吴春平，
申请(专利权)人：天翼智慧家庭科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。