一种图像增强方法、装置、设备及可读存储介质，涉及图像处理领域，包括基于不同尺度的滑动窗口机制对待增强图像进行多阶段的深度语义特征处理和下采样卷积处理，以输出深度特征张量；对所述深度特征张量进行上采样处理，以输出增强后图像；其中，基于移动窗口机制构建第一阶段的滑动窗口机制。通过本申请可有效提升图像增强效果的同时降低模型结构复杂度、计算复杂度及算力资源消耗。
【技术实现步骤摘要】
本申请涉及图像处理，具体涉及一种图像增强方法、装置、设备及可读存储介质。
技术介绍
1、伴随视觉传感器的广泛普及与人工智能技术的飞速发展，面向户外场景下的自动化视觉处理技术与方法已经成为工业界和学术界的研究热点和研究难点。其中，面向多种不同环境下的图像增强技术是人工智能、智能驾驶领域中应用发展最为迅猛、应用最为广泛的技术之一，具有重要的研究和应用价值；该技术旨在通过算法模型对恶劣天气等不同环境下拍摄到的图像进行处理，以去除图像中的天气噪音(如雨水，雪花等)后输出高质量的图像。
2、相关技术中，当前的图像增强模型通常仅能实现单一天气环境下图像的增强，但实际的天气环境中往往包含多种天气类型，以致天气噪音的类型和分布具有多样且复杂的特点，因此当前的图像增强模型并不适用于多天气环境图像的增强，存在图像增强效果差的问题；此外，当前少部分技术虽然能够初步实现多天气条件下的图像增强，但模型结构和计算复杂度较高且算力资源消耗较高，以致影响了图像增强的实时性。
技术实现思路
1、本申请提供一种图像增强方法、装置、设备及可读存储介质，可以有效提升图像增强效果的同时降低模型结构复杂度、计算复杂度以及算力资源消耗。
2、第一方面，本申请实施例提供一种图像增强方法，所述图像增强方法包括：
3、基于不同尺度的滑动窗口机制对待增强图像进行多阶段的深度语义特征处理和下采样卷积处理，以输出深度特征张量；
4、对所述深度特征张量进行上采样处理，以输出增强后图像；
5、其中，基于移动窗口机制构建第一阶段的滑动窗口机制。
6、结合第一方面，在一种实施方式中，所述基于不同尺度的滑动窗口机制对待增强图像进行多阶段的深度语义特征处理，包括：
7、基于第一尺度的滑动窗口机制对待增强图像进行第一阶段的深度语义特征处理；
8、基于第二尺度的滑动窗口机制对第一阶段的输出结果进行第二阶段的深度语义特征处理；
9、基于第三尺度的滑动窗口机制对第二阶段的输出结果进行第三阶段的深度语义特征处理；
10、基于第一尺度的滑动窗口机制对第三阶段的输出结果进行第四阶段的深度语义特征处理；
11、其中，第三尺度大于第二尺度且第二尺度大于第一尺度。
12、结合第一方面，在一种实施方式中，所述基于第一尺度的滑动窗口机制对待增强图像进行第一阶段的深度语义特征处理，包括：
13、基于第一尺度的滑动窗口机制对待增强图像进行正则化处理，得到第一正则化张量；
14、对所述第一正则化张量进行等维度映射处理，得到特征张量；
15、对所述待增强图像和所述特征张量进行正则化处理，得到第二正则化张量；
16、对所述第二正则化张量进行等维度变换，得到目标张量，并基于所述目标张量重复执行一次上述步骤，得到最终的目标张量。
17、结合第一方面，在一种实施方式中，所述对所述深度特征张量进行上采样处理，包括：
18、对所述深度特征张量进行多次上采样处理；
19、针对每一次上采样处理，对上一次上采样处理结果进行反卷积处理，得到反卷积张量；
20、对所述反卷积张量进行第一卷积处理，得到第一卷积张量；
21、通过激活函数对所述第一卷积张量进行映射，得到激活张量；
22、对所述激活张量进行第二卷积处理，得到第二卷积张量，
23、对所述第二卷积张量、所述反卷积张量以及与本次上采样处理尺度对应的下采样结果进行残差连接，并将残差结果以及与下一次上采样处理尺度对应的下采样结果作为下一次上采样处理的输入；
24、其中，第一次上采样处理时，反卷积处理的对象为深度特征张量。
25、结合第一方面，在一种实施方式中，通过步长为2、卷积核为7且输出通道维度是输入通道维度2倍的二维卷积实现下采样卷积处理。
26、第二方面，本申请实施例提供了一种图像增强装置，所述图像增强装置包括：编码器和解码器；
27、所述编码器用于基于不同尺度的滑动窗口机制对待增强图像进行多阶段的深度语义特征处理和下采样卷积处理，以输出深度特征张量；
28、所述解码器用于对所述深度特征张量进行上采样处理，以输出增强后图像；
29、其中，所述编码器的每个阶段均包括串联的变压器模块和下采样模块，处于不同阶段的变压器模块包括不同尺度的滑动窗口多头自注意力模块，处于第一阶段的其中一个滑动窗口多头自注意力模块是基于移动窗口机制构建的，通过所述变压器模块和所述下采样模块对待增强图像进行深度语义特征处理和下采样卷积处理。
30、结合第二方面，在一种实施方式中，所述变压器模块包括串联的两个注意力单元，每个注意力单元包括依次连接的第一层正则化模块、滑动窗口多头自注意力模块、第二层正则化模块以及多层感知机；
31、所述第一层正则化模块用于对输入张量进行正则化处理，得到第一正则化张量；
32、所述滑动窗口多头自注意力模块用于对所述第一正则化张量进行等维度映射处理，得到特征张量；
33、所述第二层正则化模块用于对所述输入张量和所述特征张量进行正则化处理，得到第二正则化张量；
34、所述多层感知机用于对所述第二正则化张量进行等维度变换，得到目标张量。
35、结合第二方面，在一种实施方式中，处于第一阶段的滑动窗口多头自注意力模块的滑动窗口尺度为第一尺度；处于第二阶段的滑动窗口多头自注意力模块的滑动窗口尺度为第二尺度；处于第三阶段的滑动窗口多头自注意力模块的滑动窗口尺度为第三尺度；处于第四阶段的滑动窗口多头自注意力模块的滑动窗口尺度为第一尺度；其中，第三尺度大于第二尺度且第二尺度大于第一尺度。
36、结合第二方面，在一种实施方式中，所述解码器具体用于：
37、对所述深度特征张量进行多次上采样处理；
38、针对每一次上采样处理，对上一次上采样处理结果进行反卷积处理，得到反卷积张量；
39、对所述反卷积张量进行第一卷积处理，得到第一卷积张量；
40、通过激活函数对所述第一卷积张量进行映射，得到激活张量；
41、对所述激活张量进行第二卷积处理，得到第二卷积张量，
42、对所述第二卷积张量、所述反卷积张量以及与本次上采样处理尺度对应的下采样结果进行残差连接，并将残差结果以及与下一次上采样处理尺度对应的下采样结果作为下一次上采样处理的输入；
43、其中，第一次上采样处理时，反卷积处理的对象为深度特征张量。
44、结合第二方面，在一种实施方式中，所述下采样模块包括步长为2、卷积核为7且输出通道维度是输入通道维度2倍的二维卷积。
45、第三方面，本申请实施例提供了一种图像增强设备，所述图像增强设备包括处理器、存储器以及存储在所述存储器上并可被所述处理器执行的图像增强程序，其中所述图像增强本文档来自技高网
...
【技术保护点】
1.一种图像增强方法，其特征在于，所述图像增强方法包括：
2.如权利要求1所述的图像增强方法，其特征在于，所述基于不同尺度的滑动窗口机制对待增强图像进行多阶段的深度语义特征处理，包括：
3.如权利要求2所述的图像增强方法，其特征在于，所述基于第一尺度的滑动窗口机制对待增强图像进行第一阶段的深度语义特征处理，包括：
4.如权利要求1所述的图像增强方法，其特征在于，所述对所述深度特征张量进行上采样处理，包括：
5.如权利要求1所述的图像增强方法，其特征在于：通过步长为2、卷积核为7且输出通道维度是输入通道维度2倍的二维卷积实现下采样卷积处理。
6.一种图像增强装置，其特征在于，所述图像增强装置包括：编码器和解码器；
7.如权利要求6所述的图像增强装置，其特征在于：
8.如权利要求6或7所述的图像增强装置，其特征在于：
9.一种图像增强设备，其特征在于，所述图像增强设备包括处理器、存储器以及存储在所述存储器上并可被所述处理器执行的图像增强程序，其中所述图像增强程序被所述处理器执行时，实现如权利要求1至5中任一项所述的图像增强方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有图像增强程序，其中所述图像增强程序被处理器执行时，实现如权利要求1至5中任一项所述的图像增强方法的步骤。
...
【技术特征摘要】
1.一种图像增强方法，其特征在于，所述图像增强方法包括：
2.如权利要求1所述的图像增强方法，其特征在于，所述基于不同尺度的滑动窗口机制对待增强图像进行多阶段的深度语义特征处理，包括：
3.如权利要求2所述的图像增强方法，其特征在于，所述基于第一尺度的滑动窗口机制对待增强图像进行第一阶段的深度语义特征处理，包括：
4.如权利要求1所述的图像增强方法，其特征在于，所述对所述深度特征张量进行上采样处理，包括：
5.如权利要求1所述的图像增强方法，其特征在于：通过步长为2、卷积核为7且输出通道维度是输入通道维度2倍的二维卷积实现下采样卷积处理。
6.一种图...
【专利技术属性】
技术研发人员：刘会凯，朱玟谦，付斌，刘程，张澳，
申请(专利权)人：岚图汽车科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。