基于逆ISP的RAW域雾气数据仿真方法技术

本申请涉及一种基于逆ISP的RAW域雾气数据仿真方法，其中，方法包括：输入RGB图像，经过逆ISP过程得到对应的RAW图像；基于RAW图像和深度图，通过预设大气退化模型在RAW图像上进行加雾，以进行目标物和大气散射光的线性响应，得到线性响应结果；基于线性响应结果，加入传感器噪声后得到RAW域的雾气仿真模型，并通过统一散粒噪声和读出噪声得到高斯分布，以进行噪声合成；将雾气RAW图像进行ISP处理，以得到真实雾气RGB图像。由此，解决了相关技术直接在RGB数据上进行雾气合成，与真实的雾气场景成像过程不符，未考虑到传感器噪声随其表面接收辐照度的变化及图像处理过程中对传感器信号的非线性变换等问题。号的非线性变换等问题。号的非线性变换等问题。

【技术实现步骤摘要】
基于逆ISP的RAW域雾气数据仿真方法


[0001]本申请涉及光学成像领域和图像处理
，特别涉及一种基于逆ISP的RAW域雾气数据仿真方法。

技术介绍

[0002]雾气是户外拍摄时常见的天气之一，1924年Koschmieder提出了一个传统的用于解释雾气的物理模型，如图1所示。其中到达相机传感器的光线分为两部分，一部分为经过雾气衰减的物体反射光，一部分为大气散射光，这两部分的比例由相机传感器和物体之间散射介质的光学厚度所控制。由于雾气的散射作用，拍摄图像的对比度下降、目标物细节丢失，对后续的机器视觉算法带来了较多挑战。
[0003]相关技术中，基于监督学习的去雾算法通常需要匹配清晰图像和雾气图像进行模型训练，并且现有的仿真雾气数据集是利用清晰的RGBD数据并基于Koschmieder大气退化模型进行雾气数据的仿真。
[0004]然而，相关技术中，由于光照变化、物体运动等因素，实际拍摄同一场景的清晰和雾气数据对几乎是难以实现的，并且直接在RGB数据上进行雾气合成的方法与真实的雾气场景成像过程是不符的，未考虑到传感器噪声随其表面接收辐照度的变化及图像处理过程中对传感器信号的非线性变换，难以真实模拟雾气场景的成像结果，亟待改善。

技术实现思路

[0005]本申请提供一种基于逆ISP的RAW域雾气数据仿真方法，以解决相关技术中，由于光照变化、物体运动等因素，实际拍摄同一场景的清晰和雾气数据对几乎难以实现，并且直接在RGB数据上进行雾气合成的方法与真实的雾气场景成像过程不符，未考虑到传感器噪声随其表面接收辐照度的变化及图像处理过程中对传感器信号的非线性变换，无法模拟雾气成像过程中噪声影响等问题。
[0006]本申请第一方面实施例提供一种基于逆ISP的RAW域雾气数据仿真方法，包括以下步骤：输入RGB图像，经过逆ISP过程得到对应的RAW图像；基于所述RAW图像和深度图，通过预设大气退化模型在所述RAW图像上进行加雾，以进行目标物和大气散射光的线性响应，得到所述线性响应结果；基于所述线性响应结果，加入传感器噪声后得到RAW域的雾气仿真模型，并通过统一散粒噪声和读出噪声得到高斯分布，以进行噪声合成，得到雾气RAW图像；以及将所述雾气RAW图像进行ISP处理，以得到真实雾气RGB图像。
[0007]可选地，在本申请的一个实施例中，所述逆ISP过程的色调映射和逆色调映射的公式为：
[0008]T(x)＝3x2‑
2x3，
[0009][0010]其中，x为进行色调映射前的图像像素值，y为进行逆色调映射前的图像像素值；
[0011]所述逆ISP过程的Gamma变换和逆Gamma变换的公式为：
[0012]Γ(x)＝max(x,∈＝10
‑8)
1/2.2
，
[0013]Γ
‑1(y)＝max(y,∈＝10
‑8)
2.2
，
[0014]其中，x为进行Gamma变换前的图像像素值，y为进行逆Gamma变化前的图像像素值。
[0015]可选地，在本申请的一个实施例中，所述进行目标物和大气散射光的线性响应的计算公式为：
[0016]I(x)＝J(x)e
‑
β
·
d(x)
+A[1
‑
e
‑
β
·
d(x)
]，
[0017]其中，x为所述图像中像素点的位置，J(x)为清晰图像中像素点x处的像素值，d(x)为深度图中像素点x处的深度值，A为大气光，β为大气衰减系数，e
‑
β
·
d(x)
为场景的透射图。
[0018]可选地，在本申请的一个实施例中，所述RAW域的雾气仿真模型的计算公式为：
[0019]I(x)＝J(x)e
‑
β
·
d(x)
+A[1
‑
e
‑
β
·
d(x)
]+n，
[0020]其中，x为所述图像中像素点的位置，J(x)为所述清晰图像中像素点x处的像素值，d(x)为所述深度图中像素点x处的深度值，A为所述大气光，β为所述大气衰减系数，e
‑
β
·
d(x)
为所述场景的透射图，n为传感器噪声项。
[0021]可选地，在本申请的一个实施例中，所述雾气RAW图像的高斯分布的公式为：
[0022]q～N(μ＝m,σ2＝λ
read
+λ
shot
m)，
[0023]其中，λ
read
和λ
shot
分别为所述传感器的模拟增益g
a
和数字增益g
d
决定的参数，m为无噪图像像素强度。
[0024]本申请第二方面实施例提供一种基于逆ISP的RAW域雾气数据仿真方法，包括：输入模块，用于输入RGB图像，经过逆ISP过程得到对应的RAW图像；获取模块，用于基于所述RAW图像和深度图，通过预设大气退化模型在所述RAW图像上进行加雾，以进行目标物和大气散射光的线性响应，得到所述线性响应结果；仿真模块，用于基于所述线性响应结果，加入传感器噪声后得到RAW域的雾气仿真模型，并通过统一散粒噪声和读出噪声得到高斯分布，以进行噪声合成，得到雾气RAW图像；以及处理模块，用于将所述雾气RAW图像进行ISP处理，以得到真实雾气RGB图像。
[0025]可选地，在本申请的一个实施例中，所述逆ISP过程的色调映射和逆色调映射的公式为：
[0026]T(x)＝3x2‑
2x3，
[0027][0028]其中，x为进行色调映射前的图像像素值，y为进行逆色调映射前的图像像素值；
[0029]所述逆ISP过程的Gamma变换和逆Gamma变换的公式为：
[0030]Γ(x)＝max(x,∈＝10
‑8)
1/2.2
，
[0031]Γ
‑1(y)＝max(y,∈＝10
‑8)
2.2
，
[0032]其中，x为进行Gamma变换前的图像像素值，y为进行逆Gamma变化前的图像像素值。
[0033]可选地，在本申请的一个实施例中，所述进行目标物和大气散射光的线性响应的计算公式为：
[0034]I(x)＝J(x)e
‑
β
·
d(x)
+A[1
‑
e
‑
β
·
d(x)
]，
[0035]其中，x为所述图像中像素点的位置，J(x)为清晰图像中像素点x处的像素值，d(x)为深度图中像素点x处的深度值，A为大气光，β为大气衰减系数，e
‑
β
·
d(x)
为场景的透射图。
[0036本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于逆ISP的RAW域雾气数据仿真方法，其特征在于，包括以下步骤：输入RGB图像，经过逆ISP过程得到对应的RAW图像；基于所述RAW图像和深度图，通过预设大气退化模型在所述RAW图像上进行加雾，以进行目标物和大气散射光的线性响应，得到所述线性响应结果；基于所述线性响应结果，加入传感器噪声后得到RAW域的雾气仿真模型，并通过统一散粒噪声和读出噪声得到高斯分布，以进行噪声合成，得到雾气RAW图像；以及将所述雾气RAW图像进行ISP处理，以得到真实雾气RGB图像。2.根据权利要求1所述的方法，其特征在于，所述逆ISP过程的色调映射和逆色调映射的公式为：T(x)＝3x2‑
2x3，其中，x为进行色调映射前的图像像素值，y为进行逆色调映射前的图像像素值；所述逆ISP过程的Gamma变换和逆Gamma变换的公式为：Γ(x)＝max(x，∈＝10
‑8)1/2.2，Γ
‑1(y)＝max(y，∈＝10
‑8)
2.2
，其中，x为进行Gamma变换前的图像像素值，y为进行逆Gamma变化前的图像像素值。3.根据权利要求2所述的方法，其特征在于，所述进行目标物和大气散射光的线性响应的计算公式为：I(x)＝J(x)e
‑
β
·
d(x)
+A[1
‑
e
‑
β
·
d(x)
]，其中，x为所述图像中像素点的位置，J(x)为清晰图像中像素点x处的像素值，d(x)为深度图中像素点x处的深度值，A为大气光，β为大气衰减系数，e
‑
β
·
d(x)
为场景的透射图。4.根据权利要求3所述的方法，其特征在于，所述RAW域的雾气仿真模型的计算公式为：I(x)＝J(x)e
‑
β
·
d(x)
+A[1
‑
e
‑
β
·
d(x)
]+n，其中，x为所述图像中像素点的位置，J(x)为所述清晰图像中像素点x处的像素值，d(x)为所述深度图中像素点x处的深度值，A为所述大气光，β为所述大气衰减系数，e
‑
β
·
d(x)
为所述场景的透射图，n为传感器噪声项。5.根据权利要求1所述的方法，其特征在于，所述雾气RAW图像的高斯分布的公式为：q～N(μ＝m，σ2＝λ
read
+λ

【专利技术属性】
技术研发人员：季向阳，谢艺明，王枭宇，杨祉煜，王仁睿，连晓聪，
申请(专利权)人：清华大学，
类型：发明
国别省市：