【技术实现步骤摘要】
本申请涉及图像处理领域，特别是涉及一体化图像复原方法、系统、电子设备和可读存储介质。
技术介绍
1、随着科技的进步与时代的发展，社会迫切需要成熟可靠的智能驾驶环境感知系统以应对当前越来越普及的智能交通。车辆智能感知系统的发展已经极大地促进了车辆智能化的进步，进一步保障行车安全。现有大部分图像视觉算法主要是针对正常天气情况下获取的图像视频，具有良好的性能，但是当遇到如大雾、暴雨、暴雪等恶劣天气时，这类基于图像视觉算法的性能将受到极大的影响，影响车辆智能感知系统的功能。另外，恶劣天气下极易发生交通事故，并且受天气影响，行车记录仪、监控等获取的图像视频质量较低，使得事故原因分析、调查取证难度加大。
2、在现有技术中，图像复原技术则能够提升图像质量，如图像去雨、去雾等，相关图像复原技术能够去除图像和视频中的雨条纹和雾的遮挡，得到更为清晰的图像和视频数据，提升图像视频质量，为事故原因分析、调查取证提供更为准确的参考数据。进一步地，该技术也能够有效促进高级视觉任务的研究，相关研究在医学影像，自动驾驶，智能监控等领域具有广泛的应用基础与前景。随着深度学习技术的发展，单降质图像复原(singledegradation image restoration,sdir)研究取得了重要的进展，这类方法旨在恢复某一特定降质的图像，随着相关研究的不断深入，算法性能进一步提高，大量研究被用于实际。多降质图像复原(multiple degradation image restoration,mdir)方法又称为一体化图像复原，即只通过一个训练好的模
3、但是，实际驾驶场景降质通常比较复杂，获取的图像视频数据可能混合多种不同的降质，sdir方法不能很好地应对实际需求，使用多个不同sdir方法来处理则明显降低效率，因此对mdir方法的需求比较迫切。并且现有普遍的方法都局限于研究图像的降质特性，而未关注图像的内容信息，难以更加高效地恢复图像纹理特征等信息。
技术实现思路
1、本申请实施例提供了一种一体化图像复原方法、系统、电子设备和可读存储介质，以至少解决相关技术中图像复原局限于研究图像的降质特性，而未关注图像的内容信息的问题。
2、第一方面，本申请实施例提供了一种一体化图像复原方法，包括：
3、通过预先训练好的降质编码器对低质量图像进行降质学习，得到所述低质量图像的降质表示；
4、通过预先训练好的内容编码器对低质量图像进行内容学习，得到所述低质量图像的内容表示；
5、通过预先训练好的复原模块将所述降质表示、内容表示和所述低质量图像的特征进行融合变换，得到重建特征；
6、根据所述重建特征对所述低质量图像进行复原得到重建图像。
7、在一实施例中，所述将所述降质表示、内容表示和所述低质量图像的特征进行融合变换，得到重建特征，包括：
8、通过逐像素相加方式将所述降质表示和所述内容表示进行融合，得到兼具降质和内容信息的融合表示；
9、通过卷积神经网络对所述低质量图像进行特征提取，得到通道数量为第一预设值的浅层特征；
10、对所述融合表示和所述浅层特征进行n次特征变换处理，得到深层特征；其中，n>0；
11、通过逐像素相加的方式将所述浅层特征和所述深层特征进行拼接融合，得到重建特征。
12、在一实施例中，所述根据所述重建特征对所述低质量图像进行复原得到重建图像包括：
13、通过卷积神经网络对所述重建特征的通道数量压缩至第二预设值，所述第二预设值小于所述第一预设值；
14、将通道数量压缩后的重建特征与所述低质量图像进行逐像素相加融合，得到所述重建图像。
15、在一实施例中，所述对所述融合表示和所述浅层特征进行n次特征变换处理，得到深层特征，包括：
16、步骤a，将所述融合表示和输入图像特征在通道方向进行拼接融合，得到第四输出特征；
17、步骤b，通过可变形卷积网络对所述第四输出特征进行空间特征的提取，得到第五输出特征；
18、步骤c，对所述融合表示进行全连接操作处理得到注意力参数；
19、步骤d，将所述注意力参数与所述浅层特征先逐像素相乘再逐像素相加，得到第六输出特征；
20、步骤e，将所述第五输出特征、所述第六输出特征与输入图像特征通过逐像素相加进行融合，得到第n次特征变换处理的输出特征并将作为第n+1次特征变换处理的输入图像特征，执行步骤a；
21、其中，当n＝1时，将所述浅层特征作为输入图像特征；当n＝n时，输出特征为深层特征。
22、在一实施例中，所述对低质量图像进行降质或内容学习，得到所述低质量图像的降质表示或内容表示，包括：
23、通过卷积、批归一化和非线性激活操作对所述低质量图像进行降质或内容特征提取，得到第一输出特征；
24、通过残差连接将所述第一输出特征中不同深度的特征进行深度交互融合，得到第二输出特征；
25、通过特征注意力模块在通道和空间两个维度上提取所述第二输出特征的全局信息，得到第三输出特征；
26、对所述第一输出特征和第三输出特征进行逐像素相加融合，得到所述降质表示或所述内容表示。
27、在一实施例中，所述降质编码器和内容编码器的训练过程包括：
28、通过降质编码器对历史低质量图像进行降质学习，得到降质训练表示；
29、通过内容编码器分别对历史低质量图像和与之配对的高质量图像进行内容学习，得到第一内容训练表示和第二内容训练表示；
30、对所述降质训练表示进行变换计算，得到降质对比损失，并通过所述降质对比损失约束所述降质编码器对图像降质表示的学习；
31、对所述第二内容训练表示进行变换计算，得到内容对比损失，并通过所述内容对比损失约束所述内容编码器对图像内容表示的学习；
32、根据所述降质训练表示、第一内容训练表示和第二内容训练表示计算得到互补损失；并根据所述互补损失作对图像的降质学习和内容学习过程进行约束和优化，以使所述降质表示和内容表示相互关联。
33、在一实施例中，所述复原模块的训练过程包括：
34、将所述降质训练表示、第一内容训练表示和所述历史低质量图像的特征进行融合变换，得到重建训练特征；
35、根据所述重建训练特征对所述历史低质量图像进行复原得到高清训练图像；
36、对所述高清训练图像和与所述历史低质量图像配对的高质量图像进行分析计算，得到重建损失；
37、获取超参数，根据所述超参数、所述互补损失、所述降质对比损失、所述内容对比损失和所述重建损失计算得到总损失；
38、根据所述总损失对所述降质编码器、所述内容编码器和所述复原模块的图像复原过程进行本文档来自技高网...
【技术保护点】
1.一种一体化图像复原方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述将所述降质表示、内容表示和所述低质量图像的特征进行融合变换，得到重建特征，包括：
3.根据权利要求2所述的方法，其特征在于，所述根据所述重建特征对所述低质量图像进行复原得到重建图像包括：
4.根据权利要求2所述的方法，其特征在于，所述对所述融合表示和所述浅层特征进行N次特征变换处理，得到深层特征，包括：
5.根据权利要求1所述的方法，其特征在于，所述对低质量图像进行降质或内容学习，得到所述低质量图像的降质表示或内容表示，包括：
6.根据权利要求1所述的方法，其特征在于，所述降质编码器和内容编码器的训练过程包括：
7.根据权利要求6所述的方法，其特征在于，所述复原模块的训练过程包括：
8.一种一体化图像复原系统，其特征在于，包括降质编码器、内容编码器和复原模块；其中，
9.根据权利要求8所述的系统，其特征在于，所述复原模块包括第一像素相加模块、第一卷积模块、N个变换模块、第二像素相加模块、第二卷
10.根据权利要求8所述的系统，其特征在于，所述降质编码器或内容编码器包括特征提取模块、残差模块、特征注意力模块和第四像素相加模块；其中，
11.根据权利要求8所述的系统，其特征在于，所述降质编码器和内容编码器包括多层感知器；其中，
12.一种电子设备，其特征在于，包括存储器、处理器、以及、存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的一体化图像复原方法。
13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1至7中任一项所述的一体化图像复原方法。
...【技术特征摘要】
1.一种一体化图像复原方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述将所述降质表示、内容表示和所述低质量图像的特征进行融合变换，得到重建特征，包括：
3.根据权利要求2所述的方法，其特征在于，所述根据所述重建特征对所述低质量图像进行复原得到重建图像包括：
4.根据权利要求2所述的方法，其特征在于，所述对所述融合表示和所述浅层特征进行n次特征变换处理，得到深层特征，包括：
5.根据权利要求1所述的方法，其特征在于，所述对低质量图像进行降质或内容学习，得到所述低质量图像的降质表示或内容表示，包括：
6.根据权利要求1所述的方法，其特征在于，所述降质编码器和内容编码器的训练过程包括：
7.根据权利要求6所述的方法，其特征在于，所述复原模块的训练过程包括：
8.一种一体化图像复原系统，其特征在于，包括降质编码器、内容编码...
【专利技术属性】
技术研发人员：王晓峰，王瑞慷，吴越，陈洪刚，
申请(专利权)人：银江技术股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。