System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本申请涉及超分辨率重建,具体涉及一种图像处理方法、装置、计算机设备及存储介质。
技术介绍
1、超分辨率重建,是指将低分辨率(low resolution,lr)的图像,重建为高分辨率(high resolution,hr)图像的一种图像处理技术。动画的超分辨率重建一般基于深度学习来实现,例如深度学习中的real esrgan模型、real cugan模型等。
2、然而,real esrgan模型、real cugan模型等的计算量通常较大,在将其应用于移动端等设备时,由于设备中的计算资源较少,往往无法满足这些模型的计算需求,导致动画超分辨率重建的速度过慢。
技术实现思路
1、本申请提供一种图像处理方法、装置、计算机设备及存储介质,旨在解决如何提高动画超分辨率重建速度的技术问题。
2、一方面,本申请提供一种图像处理方法,所述图像处理方法包括:
3、获取待处理图像在预设第一通道的第一图像数据;
4、将所述第一图像数据输入至图像处理模型进行图像处理,得到所述待处理图像在所述第一通道的第二图像数据;
5、基于所述第二图像数据,生成所述待处理图像对应的目标图像。
6、在本申请一种可能的实现方式中,所述基于所述第二图像数据,生成所述待处理图像对应的目标图像,包括:
7、获取所述待处理图像在预设第二通道的图像数据及所述待处理图像在预设第三通道的图像数据;
8、基于所述第二图像数据、所述待处理图像在预设
9、在本申请一种可能的实现方式中,所述将所述第一图像数据输入至图像处理模型进行图像处理,得到所述待处理图像在所述第一通道的第二图像数据,包括:
10、利用所述图像处理模型,对所述第一图像数据进行第一图像特征提取,得到第一特征图;
11、对所述第一特征图进行第二图像特征提取,得到第二特征图;
12、对所述第二特征图和所述第一特征图进行融合,得到融合特征图;
13、对所述融合特征图进行上采样,得到所述待处理图像在所述第一通道的第二图像数据。
14、在本申请一种可能的实现方式中,所述对所述第一特征图进行第二图像特征提取,得到第二特征图,包括:
15、对所述第一特征图进行卷积处理,得到卷积特征图;
16、对所述卷积特征图进行激活处理,得到所述第二特征图。
17、在本申请一种可能的实现方式中,所述将所述第一图像数据输入至图像处理模型进行图像处理,得到所述待处理图像在所述第一通道的第二图像数据之前,还包括:
18、获取训练图像集,所述训练图像集包括多个训练图像组,每个所述训练图像组包括第一图像及所述第一图像对应的第二图像,所述第一图像的分辨率小于所述第二图像的分辨率;
19、获取所述第一图像在所述预设第一通道的第三图像数据以及所述第二图像在所述预设第一通道的第四图像数据;
20、基于所述第三图像数据和所述第四图像数据对预设网络模型进行训练,得到基础模型;
21、对所述基础模型进行压缩,得到压缩模型;
22、对所述压缩模型进行量化处理,得到所述图像处理模型。
23、在本申请一种可能的实现方式中,所述获取训练图像集,包括:
24、获取多张第三图像;
25、确定所述多张第三图像中每张第三图像对应的第一图像;其中,所述第一图像的分辨率小于所述第三图像的分辨率;
26、确定所述多张第三图像中每张第三图像对应的第二图像;其中,所述第二图像的分辨率大于所述第三图像的分辨率;
27、基于所述第一图像和所述第二图像,构建所述训练图像集。
28、在本申请一种可能的实现方式中,所述确定所述多张第三图像中每张第三图像对应的第一图像,包括:
29、对多张所述第三图像分别进行降采样,得到每张第三图像对应的降采样图像;
30、对所述降采样图像进行图像压缩处理,得到每张所述第三图像对应的第一图像。
31、在本申请一种可能的实现方式中,所述确定所述多张第三图像中每张第三图像对应的第二图像,包括:
32、对多张所述第三图像分别进行双边滤波处理,得到每张所述第三图像对应的第一滤波图像;
33、对所述第一滤波图像进行双边滤波处理,得到每张所述第三图像对应的第二滤波图像;
34、基于所述第三图像、所述第一滤波图像、所述第二滤波图像,确定每张所述第三图像对应的第一图像。
35、另一方面,本申请提供一种图像处理装置,所述装置包括:
36、获取单元,用于获取待处理图像在预设第一通道的第一图像数据;
37、确定单元,用于将所述第一图像数据输入至图像处理模型进行图像处理,得到所述待处理图像在所述第一通道的第二图像数据;
38、生成单元,用于基于所述第二图像数据,生成所述待处理图像对应的目标图像。
39、另一方面,本申请还提供一种计算机设备,所述计算机设备包括:
40、一个或多个处理器;
41、存储器;以及
42、一个或多个应用程序,其中所述一个或多个应用程序被存储于所述存储器中,并配置为由所述处理器执行以实现上述中任一项所述的图像处理方法。
43、另一方面,本申请还提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器进行加载,以执行上述中任一项所述的图像处理方法中的步骤。
44、本申请实施例提供的图像处理方法、装置、计算机设备及存储介质,图像处理方法包括:获取待处理图像在预设第一通道的第一图像数据;将第一图像数据输入至图像处理模型进行图像处理,得到待处理图像在第一通道的第二图像数据;基于第二图像数据,生成待处理图像对应的目标图像。相较于传统方法,本申请实施例基于待处理图像在预设第一通道的第一图像数据,通过图像处理模型进行超分辨率重建,得到待处理图像在第一通道的第二图像数据,然后生成超分辨率图像,实现了基于单通道的图像数据的超分辨率重建,降低了超分辨率重建时的数据处理量,从而提高超分辨率重建的速度,并且在待处理图像为单帧动画时,区别于自然视频数据需要通过光流信息还原现实,动画并不需要光流信息来达到现实场景中的真实感,因此相较于自然视频数据,基于单通道图像数据对单帧动画的超分,超分效果更好,从而在提高超分辨率重建速度的同时,保证较好的超分效果。
本文档来自技高网...【技术保护点】
1.一种图像处理方法,其特征在于,所述图像处理方法包括:
2.如权利要求1所述的图像处理方法,其特征在于,所述基于所述第二图像数据,生成所述待处理图像对应的目标图像,包括:
3.如权利要求1所述的图像处理方法,其特征在于,所述将所述第一图像数据输入至图像处理模型进行图像处理,得到所述待处理图像在所述第一通道的第二图像数据,包括:
4.如权利要求3所述的图像处理方法,其特征在于,所述对所述第一特征图进行第二图像特征提取,得到第二特征图,包括:
5.如权利要求1所述的图像处理方法,其特征在于,所述将所述第一图像数据输入至图像处理模型进行图像处理,得到所述待处理图像在所述第一通道的第二图像数据之前,还包括:
6.如权利要求5所述的图像处理方法,其特征在于,所述获取训练图像集,包括:
7.如权利要求6所述的图像处理方法,其特征在于,所述确定所述多张第三图像中每张第三图像对应的第一图像,包括:
8.如权利要求6所述的图像处理方法,其特征在于,所述确定所述多张第三图像中每张第三图像对应的第二图像,包括:
>9.一种图像处理装置,其特征在于,所述装置包括:
10.一种计算机设备,其特征在于,所述计算机设备包括:
11.一种计算机可读存储介质,其特征在于,其上存储有计算机程序,所述计算机程序被处理器进行加载,以执行权利要求1至8任一项所述的图像处理方法中的步骤。
...【技术特征摘要】
1.一种图像处理方法,其特征在于,所述图像处理方法包括:
2.如权利要求1所述的图像处理方法,其特征在于,所述基于所述第二图像数据,生成所述待处理图像对应的目标图像,包括:
3.如权利要求1所述的图像处理方法,其特征在于,所述将所述第一图像数据输入至图像处理模型进行图像处理,得到所述待处理图像在所述第一通道的第二图像数据,包括:
4.如权利要求3所述的图像处理方法,其特征在于,所述对所述第一特征图进行第二图像特征提取,得到第二特征图,包括:
5.如权利要求1所述的图像处理方法,其特征在于,所述将所述第一图像数据输入至图像处理模型进行图像处理,得到所述待处理图像在所述第一通道的第二图像数据...
【专利技术属性】
技术研发人员:陈浩鹏,刘阳兴,王树朋,
申请(专利权)人:武汉TCL集团工业研究院有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。