【技术实现步骤摘要】
本专利技术涉及图像处理，尤其涉及一种图像修复方法、装置、设备及存储介质。
技术介绍
1、随着数字技术的飞速发展和广泛应用，人们的生活中充满了大量的数字图像，然而，这些图像在生成、存储和传输过程中可能会遭受各种形式的损坏，如像素丢失、模糊、破损等，这种损坏不仅影响了图像的质量和可用性，也限制了图像在许多领域（比如医疗、艺术、安全等领域）的应用。
2、图像修复技术是一种利用计算机科学和人工智能技术，对受损图像进行恢复和优化的技术。目前的图像修复方法主要为基于补丁的修复方法，基于补丁的修复方法的主要思路是，在受损图像的未受损区域中搜索能够匹配受损区域的补丁，而后将补丁填充至受损区域。
3、然而，上述的图像修复方法本质上是局部复制移动图像区域，并没有实现真正意义上的受损补偿，因此，对于某些受损图像修复效果不理想。
技术实现思路
1、有鉴于此，本专利技术提供了一种图像修复方法、装置、设备及存储介质，用以解决现有的图像修复方法没有实现真正意义上的受损补偿，进而，对于某些受损图像修复效果不理想的问题，其技术方案如下：
2、第一方面，提供了一种图像修复方法，包括：
3、获取待修复图像以及与所述待修复图像相关的音频；
4、获取能够表征所述音频的整个音频信息的音频特征，作为目标音频特征；
5、利用所述目标音频特征，对所述待修复图像进行修复，得到所述待修复图像对应的修复后图像。
6、可选的，与所述待修复图像相关的音频包括
7、采集所述待修复图像时周围环境的音频、所述待修复图像的内容描述音频。
8、可选的，所述获取能够表征所述音频的整个音频信息的音频特征，包括：
9、获取所述音频包含的各音频帧分别对应的音频特征；
10、对所述音频包含的各音频帧分别对应的音频特征进行归一化处理，得到所述音频包含的各音频帧分别对应的归一化后音频特征；
11、将所述音频包含的各音频帧分别对应的归一化后音频特征融合，得到能够表征所述音频的整个音频信息的音频特征。
12、可选的，所述利用所述目标音频特征，对所述待修复图像进行修复，得到所述待修复图像对应的修复后图像，包括：
13、将所述目标音频特征融入所述待修复图像中，得到融合有所述目标音频特征的图像；
14、将所述融合有所述目标音频特征的图像处理为融合有所述目标音频特征的图像特征，作为目标融合特征；
15、根据所述目标融合特征，生成所述待修复图像对应的修复后图像。
16、可选的，所述将所述目标音频特征融入所述待修复图像中，包括：
17、在所述待修复图像的每行像素上加上所述目标音频特征；
18、或者，在所述待修复图像的每列像素上加上所述目标音频特征。
19、可选的，所述利用所述目标音频特征，对所述待修复图像进行修复，得到所述待修复图像对应的修复后图像，包括：
20、将所述待修复图像和所述目标音频特征输入预先训练得到的图像修复模型，得到所述图像修复模型输出的所述待修复图像对应的修复后图像；
21、其中，所述图像修复模型采用训练受损图像和训练音频特征训练得到，所述训练音频特征为能够表征与所述训练受损图像相关的音频的整个音频信息的音频特征。
22、可选的，所述图像修复模型采用对抗生成网络中的生成网络；
23、所述生成网络的训练目标为：使所述对抗生成网络中的判别网络无法判别出所述生成网络根据所述训练受损图像和所述训练音频特征生成的修复后图像是否为真实未受损图像。
24、第二方面，提供了一种图像修复装置，包括：数据获取模块、音频特征获取模块和图像修复模块；
25、所述数据获取模块，用于获取待修复图像和与所述待修复图像相关的音频；
26、所述音频特征获取模块，用于获取能够表征所述音频的整个音频信息的音频特征，作为目标音频特征；
27、所述图像修复模块，用于利用所述目标音频特征，对所述待修复图像进行修复，得到所述待修复图像对应的修复后图像。
28、第三方面，提供了一种图像修复设备，包括：存储器和处理器；
29、所述存储器，用于存储程序；
30、所述处理器，用于执行所述程序，实现上述任一项所述的图像修复方法的各个步骤。
31、第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现上述任一项所述的图像修复方法的各个步骤。
32、本专利技术提供的图像修复方法，首先获取待修复图像以及与待修复图像相关的音频，然后获取能够表征与待修复图像相关的音频的整个音频信息的音频特征，作为目标音频特征，最后利用目标音频特征，对待修复图像进行修复，以得到待修复图像对应的修复后图像。本专利技术提供的图像修复方法可利用与待修复图像相关的音频的信息对待修复图像中受损的图像信息进行补偿，从而实现真正意义上的受损补偿，本专利技术提供的图像修复方法具有较好的修复效果。
本文档来自技高网...【技术保护点】
1.一种图像修复方法，其特征在于，包括：
2.根据权利要求1所述的图像修复方法，其特征在于，与所述待修复图像相关的音频包括如下音频中的任一种：
3.根据权利要求1所述的图像修复方法，其特征在于，所述获取能够表征所述音频的整个音频信息的音频特征，包括：
4.根据权利要求1所述的图像修复方法，其特征在于，所述利用所述目标音频特征，对所述待修复图像进行修复，得到所述待修复图像对应的修复后图像，包括：
5.根据权利要求4所述的图像修复方法，其特征在于，所述将所述目标音频特征融入所述待修复图像中，包括：
6.根据权利要求1所述的图像修复方法，其特征在于，所述利用所述目标音频特征，对所述待修复图像进行修复，得到所述待修复图像对应的修复后图像，包括：
7.根据权利要求6所述的图像修复方法，其特征在于，所述图像修复模型采用对抗生成网络中的生成网络；
8.一种图像修复装置，其特征在于，包括：数据获取模块、音频特征获取模块和图像修复模块；
9.一种图像修复设备，其特征在于，包括：存储器和处理器；
<...【技术特征摘要】
1.一种图像修复方法，其特征在于，包括：
2.根据权利要求1所述的图像修复方法，其特征在于，与所述待修复图像相关的音频包括如下音频中的任一种：
3.根据权利要求1所述的图像修复方法，其特征在于，所述获取能够表征所述音频的整个音频信息的音频特征，包括：
4.根据权利要求1所述的图像修复方法，其特征在于，所述利用所述目标音频特征，对所述待修复图像进行修复，得到所述待修复图像对应的修复后图像，包括：
5.根据权利要求4所述的图像修复方法，其特征在于，所述将所述目标音频特征融入所述待修复图像中，包括：
6.根据权利要求...
【专利技术属性】
技术研发人员：应通和，王金钖，许丽，万根顺，熊世富，高建清，
申请(专利权)人：科大讯飞股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。