一种内容修复方法、装置、设备和计算机程序产品制造方法及图纸

本申请公开本一种内容修复方法、装置、设备和计算机程序产品，可应用于云技术、人工智能、智慧交通、辅助驾驶等场景，可通过机器学习实现。方法从待修复内容中获取待修复图像，待修复图像包含噪声；将待修复图像作为修复模型的输入，对待修复图像进行画质修复获得修复后图像；根据待修复图像对应的修复后图像拼接得到待修复内容对应的修复后内容。修复模型为利用高清图像和含噪声图像训练获得的模型；高清图像画质符合预设画质要求。由于含噪声图像取自原始真实的含噪声内容，噪声类型真实、丰富，提升修复模型在修复方面的效用，修复模型泛化能力强，可修复包含多种不同噪声类型的待修复内容，提升对包含多种不同噪声内容的修复质量。量。量。

【技术实现步骤摘要】
一种内容修复方法、装置、设备和计算机程序产品


[0001]本申请涉及图像处理
，尤其涉及一种内容修复方法、装置、设备、计算机程序产品及存储介质。

技术介绍

[0002]目前，对于内容的修复技术通常是通过特定类型噪声的先验知识来修复处理带有特定类型噪声的内容。此处所指的内容可以是视频、电影等。如DnCNN算法，该算法通过在干净图片上添加高斯噪声，基于构造的成对数据，训练能处理包含高斯噪声图片的神经网络，将包含高斯噪声的视频拆解为一帧帧包含高斯噪声图片，利用训练好的神经网络逐帧处理。但现有的内容修复方法对于可能包含的雪花、划痕、竖线等多种不同的噪声类型的内容，例如老电影，修复效果不佳。这是因为神经网络是针对特定类型噪声的先验知识训练的，对于包含多种不同类型噪声的内容，在修复方面适用性较差。可见，以上现有技术获得的修复模型泛化能力差，也影响了对于内容的修复效果。

技术实现思路

[0003]本申请实施例提供了一种内容修复方法、装置、设备和计算机程序产品，以解决现有技术中对于包含多种类型噪声的内容不能够很好修复画质，适用性差的问题。
[0004]本申请第一方面提供一种内容修复方法，包括：
[0005]从待修复内容中获取待修复图像，所述待修复图像包含噪声；
[0006]将所述待修复图像作为修复模型的输入，利用所述修复模型对所述待修复图像进行画质修复，获得所述待修复图像对应的修复后图像；
[0007]根据所述待修复图像对应的修复后图像拼接得到所述待修复内容对应的修复后内容；r/>[0008]其中，所述修复模型为利用高清图像和含噪声图像训练获得的模型；所述高清图像为画质符合预设画质要求的图像，所述含噪声图像提取自与所述待修复内容类型相同的含噪声内容。
[0009]本申请第二方面提供一种内容修复装置，包括：
[0010]图像获取单元，用于从待修复内容中获取待修复图像，所述待修复图像包含噪声；
[0011]图像修复单元，用于将所述待修复图像作为修复模型的输入，利用所述修复模型对所述待修复图像进行画质修复，获得所述待修复图像对应的修复后图像；
[0012]图像拼接单元，用于根据所述待修复图像对应的修复后图像拼接得到所述待修复内容对应的修复后内容；
[0013]其中，所述修复模型为利用高清图像和含噪声图像训练获得的模型；所述高清图像为画质符合预设画质要求的图像，所述含噪声图像提取自与所述待修复内容类型相同的含噪声内容。
[0014]本申请第三方面提供一种内容修复设备，所述设备包括处理器以及存储器：
[0015]所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
[0016]所述处理器用于根据所述程序代码中的指令执行本专利技术第一方面提供的内容修复方法的步骤。
[0017]本申请第四方面提供一种计算机程序产品，包括计算机程序或指令，该计算机程序或指令被处理器执行时实现本专利技术第一方面提供的内容修复方法的步骤。
[0018]本申请第五方面提供一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行本专利技术第一方面提供的内容修复方法。
[0019]从以上技术方案可以看出，本申请实施例具有以下优点：
[0020]本申请实施例的内容修复方法使用的修复模型基于含噪声图像训练获得，含噪声图像取自原始真实的含噪声内容，噪声类型真实、丰富，提升修复模型在修复方面的效用，修复模型泛化能力强，可以修复包含多种不同噪声类型的待修复内容，提升对可能包含多种不同噪声的内容的修复质量。
附图说明
[0021]图1为本申请实施例提供的一种内容修复方法的流程图；
[0022]图2a为本申请实施例提供的从真实的含噪声的图像中获取的噪声图像；
[0023]图2b为本申请实施例提供的一张真实的含噪声的图像；
[0024]图3a为本申请实施例提供的一张待修复图像；
[0025]图3b为本申请实施例提供的另一张待修复图像；
[0026]图3c为本申请实施例提供内容修复方法的一张修复后的图像；
[0027]图3d为本申请实施例提供内容修复方法的另一张修复后的图像；
[0028]图4为本申请实施例提供的修复模型训练方法的流程图；
[0029]图5为本申请实施例提供的一个修复模型训练方法的具体步骤流程图；
[0030]图6为本申请实施例提供的另一个修复模型训练方法的具体步骤流程图；
[0031]图7为本申请实施例提供的又一个修复模型训练方法的具体步骤流程图；
[0032]图8为本申请实施例提供的又一个修复模型训练方法的具体步骤流程图；
[0033]图9为本申请实施例提供的老电影修复模型训练过程示意图；
[0034]图10为本申请实施例提供的老电影修复过程示意图；
[0035]图11为本申请实施例提供的一种内容修复装置的结构示意图；
[0036]图12为本申请实施例中服务器的一个结构示意图；
[0037]图13为本申请实施例中终端设备的一个结构示意图。
具体实施方式
[0038]如
技术介绍
所言，现有的针对包含特定类型噪声的内容的修复方法不适用于修复包含多种类型噪声的内容(例如老电影)的画质，修复效果不佳。
[0039]本申请实施例提供一种内容修复方法、装置、设备和计算机程序产品，内容修复方法使用的修复模型基于含噪声图像训练获得，含噪声图像取自原始真实的含噪声内容，噪声类型真实、丰富，提升修复模型在修复方面的效用，修复模型泛化能力强，可以修复包含多种不同噪声类型的待修复内容。
[0040]修复模型可以通过人工智能的方式获得。人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
[0041]人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
[0042]机器学习(Machine Learning,ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种内容修复方法，其特征在于，包括：从待修复内容中获取待修复图像，所述待修复图像包含噪声；将所述待修复图像作为修复模型的输入，利用所述修复模型对所述待修复图像进行画质修复，获得所述待修复图像对应的修复后图像；根据所述待修复图像对应的修复后图像拼接得到所述待修复内容对应的修复后内容；其中，所述修复模型为利用高清图像和含噪声图像训练获得的模型；所述高清图像为画质符合预设画质要求的图像，所述含噪声图像提取自与所述待修复内容类型相同的含噪声内容。2.根据权利要求1所述的方法，其特征在于，训练获得所述修复模型包括以下步骤：获取所述含噪声图像和所述高清图像；利用所述含噪声图像对所述高清图像进行画质的退化处理，获得所述高清图像对应的退化图像；所述退化图像用于输入至生成器；利用所述高清图像以及所述生成器的输出训练判别器和所述生成器，直至训练完成，将训练完成的生成器作为所述修复模型。3.根据权利要求2所述的方法，其特征在于，所述利用所述含噪声图像对所述高清图像进行画质的退化处理，获得所述高清图像对应的退化图像，包括：获取所述含噪声图像的R通道均值、G通道均值和B通道均值；将所述含噪声图像对应色彩通道减去所述R通道均值、所述G通道均值和所述B通道均值，获得所述含噪声图像对应的中心化图像；将所述高清图像随机加上或减去所述含噪声图像对应的中心化图像，获得所述高清图像对应的退化图像。4.根据权利要求3所述的方法，其特征在于，所述获取所述含噪声图像和所述高清图像，包括：从所述含噪声内容中获取N张图像，从同一高清内容中获取连续N帧图像；所述N张图像中均含有噪声，所述N帧图像的画质均符合预设画质要求；所述N为大于1的整数；从所述N张图像中分别裁剪包含噪声的预设尺寸的图像作为N张所述含噪声图像，在所述N帧图像的相同位置裁剪预设尺寸的图像作为N帧所述高清图像；为N张所述含噪声图像和N帧所述高清图像分别赋予序号标识1至N，并基于序号标识建立N张所述含噪声图像和N帧所述高清图像的一一映射关系；所述映射关系应用于对所述高清图像的退化过程和对所述修复模型的训练过程。5.根据权利要求4所述的方法，其特征在于，所述将所述高清图像随机加上或减去所述含噪声图像对应的中心化图像，获得所述高清图像对应的退化图像，包括：根据预设概率从N帧所述高清图像中随机确定出目标高清图像，N帧所述高清图像中其他图像作为非目标高清图像；所述预设概率的取值区间为(0,1)；将所述目标高清图像加上具有所述映射关系的所述含噪声图像对应的中心化图像，并对所获得的图像结果进行像素值的限制，获得所述目标高清图像对应的退化图像；以及，将所述非目标高清图像减去具有映射关系的所述含噪声图像对应的中心化图像，并对所获得的图像结果进行像素值的限制，获得所述目标高清图像对应的退化图像。6.根据权利要求4或5所述的方法，其特征在于，所述利用所述高清图像以及所述生成
器的输出训练判别器和所述生成器，包括：将N帧高清图像{h1,h2,
…
，hN}对应的退化图像{l1,l2,
…
，lN}输入至所述生成器，获得所述生成器的N帧输出图像{G(l1),G(l2),
…
，G(lN)}；根据N帧高清图像{h1,h2,
…
，hN}和N帧输出图像{G(l1),G(l2),
…
，G(lN...

【专利技术属性】
技术研发人员：季孝忠，罗栋豪，邰颖，汪铖杰，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：