本发明专利技术涉及一种面向恶劣环境的图像增大模型，属于图像增强技术领域，提出一种针对自动驾驶场景下的夜晚暗光条件中恶劣环境的图像增强模型，可同时实现暗光增强和雨雪雾去噪的功能，通过抑制辉光和增强低光区域来提高单幅夜间雨雾图像的可见度；提升自动驾驶系统在恶劣环境下的感知能力和行驶安全性。
【技术实现步骤摘要】
本专利技术涉及图像增强，具体涉及一种面向恶劣环境的图像增强大模型。
技术介绍
1、随着自动驾驶技术的飞速发展，自动驾驶车辆在各种环境下的感知能力变得尤为关键。其中，视觉感知系统，尤其是摄像头，作为自动驾驶车辆获取外界信息的主要途径之一，其性能直接影响到自动驾驶的安全性和可靠性。然而，在恶劣环境下，如夜间光线不足、雨雾天气等，摄像头捕捉的图像质量会大幅下降，严重影响自动驾驶系统的判断和决策。
2、夜间行驶时，由于光线不足，摄像头难以捕捉到足够的信息，导致图像细节模糊、对比度低。这不仅使得自动驾驶车辆难以识别路面标志、障碍物等关键信息，还可能引发交通事故。因此，提升夜间图像的亮度和对比度，恢复图像细节，对于提高自动驾驶系统的夜间行驶能力具有重要意义。
3、同样地，在雨雾天气下，摄像头捕捉到的图像会受到雨滴和雾气的干扰，出现模糊、对比度降低等问题。这些干扰不仅影响自动驾驶车辆对周围环境的感知能力，还可能误导系统做出错误的判断和决策。因此，去除图像中的雨滴和雾气，恢复图像的清晰度和对比度，对于提高自动驾驶系统在雨雾天气下的行驶能力同样至关重要。
4、目前的恶劣环境图像增强方法主要有两种方案：传统方法与深度学习方法。传统方法包括直方图均衡化、颜色阈值与透视变换等方案，但精度较低，且泛化能力较弱；基于深度学习方法的恶劣环境下图像增强方法通常只针对单一场景，算法适用性差，或是需要大规模算力支持，计算效率低，不利于后续部署应用，无法用对后续自动驾驶车辆大规模应用时的各种突发天气状况，易造成车辆事故。
<
p>5、公开号为cn113191977a的中国专利申请，主要提供了一种基于传统图像处理的光线增强与雨雾去噪方法。首先通过目标检测获取感兴趣的暗光区域以及雨雾区域，再通过传统图像处理中的直方图均衡化，调整像素值，减少暗光或雨雾噪点对图像的影响。然而此类方法受限于特定场景，无法满足多场景下复杂环境的图像增强需求。
技术实现思路
1、鉴于上述问题，本专利技术提供了一种基于图像增强模型的恶劣环境图像增强方法，提出一种针对自动驾驶场景下的夜晚暗光条件中恶劣环境的图像增强模型，可同时实现暗光增强和雨雪雾去噪的功能，通过抑制辉光和增强低光区域来提高单幅夜间雨雾图像的可见度；提升自动驾驶系统在恶劣环境下的感知能力和行驶安全性。
2、本专利技术提供了一种面向恶劣环境的图像增强大模型，包括：
3、步骤1、采集视频数据制作恶劣环境图像数据集；
4、优选的，步骤1所述采集视频数据制作恶劣环境图像数据集具体步骤包括：
5、在数据采集车上安装摄像头，选取多种道路在下雨和下雾时段的动态视频数据；采集所述多种道路在晴朗天气下的动态视频数据；
6、在所述多种道路在下雨和下雾时段的动态视频数据中选取多种场景以及不同光线情况的图像数据制作恶劣环境图像数据集；
7、进一步的，步骤1还包括恶劣环境图像数据集的真值；
8、更进一步，获得所述恶劣环境图像数据集的真值的具体步骤包括：基于所述晴朗天气下的动态视频数据得到晴朗天气图像数据集；所述晴朗天气图像数据集作为恶劣环境图像数据集的真值。
9、步骤2、将所述恶劣环境图像数据集制作为图像数据训练集；
10、优选的，步骤2所述将所述恶劣环境图像数据集制作为图像数据训练集具体步骤包括：
11、将恶劣环境图像数据集中的多个恶劣环境图像数据进行分类，得到多种类型图像数据集；所述分类后的图像数据集包括五类，分别为：夜晚昏暗场景、夜晚炫光以及光线突然变化场景、夜晚下雨场景、夜晚雾天场景和夜晚下雪场景；
12、在每种类型图像数据集中分别选取1万张图片做成图像数据训练集；
13、进一步的，步骤2还包括测试集；在所述图像训练集中选出一部分作为测试集；
14、更进一步，在所述图像训练集中随机挑选5000张不同状态，不同场景的图像数据作为测试集。
15、步骤3、基于所述恶劣环境图像数据集建立亮暗图像对数据集；
16、优选的，步骤3所述建立亮暗图像对数据集具体步骤包括：
17、基于所述恶劣环境图像数据集获取多张夜间图像；
18、基于光源感知网络检测每张夜间图像的恶劣光源亮度；所述夜间图像的恶劣光源亮度具体为光源辉光和/或雾霾亮度；
19、基于多张夜间图像的光源亮度得到光源地图；
20、将大气点扩散函数转换为2d格式，得到更新大气点扩散函数；
21、每张夜间图像利用所述更新大气点扩散函数以及对应的光源一致性损失在所述光源地图上进行卷积，进行图像亮度增强，得到每张夜间图像对应的亮度增强图像；
22、将每张夜间图像与对应的亮度增强图像进行逐像素融合，得到每张夜间图像对应的光线增强图像；
23、基于多张夜间图像和对应的光线增强图像建立亮暗图像对数据集。
24、可以理解的是，所述亮度增强图像为暗光或者炫光图像；
25、示例性的，所述光源为主动光源，所述主动光源可以在朦胧的夜景中产生强烈的光，如路灯、汽车前灯和建筑灯；
26、优选的，所述夜间图像的恶劣光源亮度表达式为：
27、ih(x)＝ic(x)t(x)+a(x)(1-t(x))+ls(x)×apsf
28、其中，ih(x)表示夜间图像x的光源亮度表达式，ic(x)表示夜间图像x中场景的整体亮度(不含恶劣环境天气的影响)，a(x)表示夜间图像x用于光源映射检测的大气算法，t(x)表示夜间图像x的光线传输时间，t(x)＝e-βd(x)，其中β是消光系数，d(x)表示夜间图像x的光线传输距离；ls(x)表示夜间图像x的光源亮度，apsf表示大气点扩散函数。
29、优选的，所述光源一致性损失表达式为：
30、
31、其中，表示夜间图像x的光源一致性损失，oc(x)为夜间图像x对应的干净图像，m(x)为夜间图像x的掩码图，⊙为用于表示元素间的乘法运算，ls为光源地图。
32、进一步的，步骤3还包括获得每张夜间图像对应的光源一致性损失，具体步骤包括：
33、对夜间图像x进行阈值处理，生成初始光源掩模m′(x)；
34、基于所述初始光源掩模对所述夜间图像x进行光源区分，得到对应的光源区域；
35、采用alpha抠图技术对所述初始光源掩模m′(x)进行精细化处理，得到掩码图m(x)；
36、将夜间图像x的光源区域与对应的掩码图m(x)进行元素乘法运算得到光源一致性损失
37、步骤4、在初始扩散模型中设计非扩散翻译分支ntb，得到扩散模型；
38、基于步骤3所述亮暗图像对数据集对所述扩散模型进行训练，得到更新扩散模型；
39、可以理解的是，所述扩散模型用于获取未配对的雨雾图像和晴朗图像的相似度得分；
40、优选的，步骤4所述得到更新扩本文档来自技高网
...
【技术保护点】
1.一种面向恶劣环境的图像增强大模型，其特征在于，包括：
2.根据权利要求1所述的面向恶劣环境的图像增强大模型，其特征在于，步骤3所述建立亮暗图像对数据集具体步骤包括：
3.根据权利要求2所述的面向恶劣环境的图像增强大模型，其特征在于，所述亮度增强图像为暗光或者炫光图像。
4.根据权利要求2所述的面向恶劣环境的图像增强大模型，其特征在于，所述每张夜间图像的恶劣光源亮度为夜间图像的辉光和/或雾霾亮度。
5.根据权利要求2所述的面向恶劣环境的图像增强大模型，其特征在于，步骤3所述获得每张夜间图像对应的光源一致性损失，具体步骤包括：
6.根据权利要求2所述的面向恶劣环境的图像增强大模型，其特征在于，所述光源一致性损失的表达式为：
7.根据权利要求1所述的面向恶劣环境的图像增强大模型，其特征在于，
8.根据权利要求1所述的面向恶劣环境的图像增强大模型，其特征在于，所述梯度自适应卷积结构的表达式为：
9.根据权利要求1所述的面向恶劣环境的图像增强大模型，其特征在于，包括步骤7、在恶劣环境图像数据集中选取夜间图像输入所述图像增强模型，进行图像去雨雾重构，得到更新夜间图像；
10.根据权利要求9所述的面向恶劣环境的图像增强大模型，其特征在于，所述自监督梯度损失的表达式为：
...
【技术特征摘要】
1.一种面向恶劣环境的图像增强大模型，其特征在于，包括：
2.根据权利要求1所述的面向恶劣环境的图像增强大模型，其特征在于，步骤3所述建立亮暗图像对数据集具体步骤包括：
3.根据权利要求2所述的面向恶劣环境的图像增强大模型，其特征在于，所述亮度增强图像为暗光或者炫光图像。
4.根据权利要求2所述的面向恶劣环境的图像增强大模型，其特征在于，所述每张夜间图像的恶劣光源亮度为夜间图像的辉光和/或雾霾亮度。
5.根据权利要求2所述的面向恶劣环境的图像增强大模型，其特征在于，步骤3所述获得每张夜间图像对应的光源一致性损失，具体步骤包括：
【专利技术属性】
技术研发人员：余贵珍，刘文韬，王章宇，陈鹏，杨松岳，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。