基于深度残差神经网络的非视域成像方法技术

本发明专利技术提出了一种基于深度残差神经网络的非视域成像方法，解决现有非视域成像方法成本高昂、捕获时间长、分辨率低的问题，该方法减少了捕获时间、提高了图像质量。该基于深度残差神经网络的非视域成像方法，包括以下步骤：步骤一、合成训练数据集图像对；步骤二、获取输出原图估计图像；步骤三、构建目标损失函数；步骤四、对目标损失函数进行迭代优化求解，使得目标损失函数达到稳定状态，得到自相关图到原图的映射，残差神经网络模型训练完成；步骤五、采集激光散斑图，对激光散斑图做自相关运算；步骤六、将自相关激光散斑图输入训练好的残差神经网络，生成非视域目标图像。生成非视域目标图像。生成非视域目标图像。

【技术实现步骤摘要】
基于深度残差神经网络的非视域成像方法


[0001]本专利技术属于非视域成像领域，具体涉及一种基于深度残差神经网络的非视 域成像方法，可用于应急救援和自动驾驶等领域。

技术介绍

[0002]非视域成像(Non
‑
Light
‑
of
‑
Sight Imaging)技术是针对隐藏目标进行成像的 技术。由于其能够对视域外的目标进行成像，可以应用于一些特殊场景。在紧 急救援、自动驾驶等领域，人眼和传统成像设备有时会受到遮挡或阻碍，视线 区域受到限制，存在一定的视觉盲区。传统的光学成像技术是通过探测器对视 线区域内的场景成像，无法探测视线以外的区域，如墙体拐角后面、烟雾后面 的物体等。例如，在自动驾驶中，可以检测公路拐角处不可直接观测到的物体， 使自动驾驶车辆提前感知路况，从而避免碰撞。在紧急救援(如火灾和地震) 任务中，救援队员不需要进入危险环境就可以检测和定位目标，使救援行动更 加安全和高效。
[0003]现有非视域成像的方法主要包括以下三类：
[0004]第一类为基于飞行时间的非视域成像方法，该方法为目前的主流方法。A. Velten等人在文献“A.Velten,T.Willwacher,O.Gupta,A.Veeraraghavan,M. G.Bawendi,and R.Raskar,“RecoveringThree
‑
Dimensional Shape around a CornerUsing Ultrafast Time
‑
of
‑
Flight Imaging,”Nature Communications,vol.3,no.1,pp. 1
‑
8,2012”中提出了使用高时间分辨率激光脉冲和条纹相机，结合飞行时间技术 和计算重建算法，解码多次漫反射后的光子信息。该方法中，演示了一种三维 范围的相机，它能够使用漫反射光环顾一个角落，在超过40厘米
×
40厘米
×
40 厘米的隐藏空间达到亚毫米的深度精度和厘米的横向精度。在非视域成像的众 多工作中，基于飞行时间的技术是最受欢迎的，因为它们能够解析携带隐藏场 景信息的光子三步反射的路径长度。但是基于飞行时间的测量方法硬件成本高 昂，捕获时间长，难以投入大规模实际应用。
[0005]第二类为基于相关属性的非视域成像方法，虽然隐藏目标的信息很大程度 上被中继墙上光子的漫反射所丢失，但是光的某些相关特性仍然保留了下来。 基于相关的方法利用散斑模式或空间相干来观察拐角。散斑图是相干光波干涉 产生的强度波动。虽然斑点图案看起来是随机的，但是观察到的图案编码了隐 藏场景的信息。O.Katz等人在“O.Katz,P.Heidmann,M.Fink,andS. Gigan,“Non
‑
Invasive Real
‑
Time Imaging Through Scattering Layers and aroundCorners via Speckle Correlations,”Nature Photonics,vol.8,no.3,2014.”中表 明，由于散斑相关性的“记忆效应”，使用标准相机捕获的单个高分辨率散射光 高分辨率图像可编码足够的信息，以通过视觉上不透明的层和绕过拐角的图像 进行分辨率有限的成像。虽然这种方法实现了有限衍射分辨率，但由于记忆效 应，其视场受到了限制。
[0006]第三类为基于强度的非视域成像方法，其主要利用产生阴影的遮挡。C. Saunders等人提出的使用普通数码相机采集目标阴影图像(参见文献“C. Saunders,J.Murray
‑
Bruce,and V.K.Goyal,“Computational Periscopy with anOrdinary Digital Camera,”Nature,vol.565,no.7740,pp.472
‑
475,2019.”)，通过 构建光传输矩阵和估计遮挡位置来重建场景，该方法由于只使用普通相机，成 本很低，不需要复杂遮挡校准、控制照明、时间分辨检测或场景运动，且可获 得彩色二维图像。但是这种方法只能针对形状简单的目标图像，且重建分辨率 较低。

技术实现思路

[0007]本专利技术提出了一种基于深度残差神经网络的非视域成像方法，解决现有非 视域成像方法成本高昂、捕获时间长、分辨率低的问题，该方法减少了捕获时 间、提高了图像质量。
[0008]为实现上述目的，本专利技术的技术解决方案如下：
[0009]一种基于深度残差神经网络的非视域成像方法，包括以下步骤：
[0010]步骤一、合成训练数据集图像对；
[0011]1.1)将数据集中的图像二值化后进行分块，裁剪得到边缘稀疏图像数据集；
[0012]1.2)使用边缘检测器对步骤1.1)中的边缘稀疏图像数据集进行检测处理， 得到分块后图片块I；
[0013]1.3)对步骤1.2)得到的分块后图片块I做自相关运算，得到自相关图像 corr，计算公式为：
[0014][0015]其中，为傅里叶变换；为傅里叶逆变换；Real为取运算后的实部；
[0016]1.4)将自相关图像corr的像素区间归一化至阈值[0,255]，得到归一化后自 相关图像corr
′
，计算公式为；
[0017]corr
′
＝corr/max(corr)*255
[0018]其中，max(corr)为自相关图中像素最大值；
[0019]1.5)给步骤1.4)获取的归一化后自相关图像corr
′
添加噪声，得到加噪自 相关图像corr
N
；
[0020]1.6)将加噪自相关图像corr
N
和分块后图片块I进行合成，得到训练数据集 图像对，计算公式为：
[0021]Final＝[cOrr
N
,I][0022]其中，Final为训练数据集图像对；
[0023]步骤二、获取输出原图估计图像；
[0024]将步骤一中的训练数据集图像对输入至残差神经网络模型中，输出自相关 图像corr
N
对应的原图估计图像
[0025]步骤三、构建目标损失函数；
[0026]选择分块后图片块I与步骤二所获取的原图估计图像组成二范数损失函 数，该二范数损失函数为目标损失函数；
[0027][0028]其中，loss为目标损失函数；
[0029]步骤四、对目标损失函数进行迭代优化求解，使得目标损失函数达到稳定 状态，从而得到自相关图到原图的映射，残差神经网络模型训练完成；
[0030]步骤五、采集激光散斑图，对激光散斑图做自相关运算；
[0031]调整激光发射器的发射角度，CMOS相机采集带有可见表面物体上的激光 散本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度残差神经网络的非视域成像方法，其特征在于，包括以下步骤：步骤一、合成训练数据集图像对；1.1)将数据集中的图像二值化后进行分块，裁剪得到边缘稀疏图像数据集；1.2)使用边缘检测器对步骤1.1)中的边缘稀疏图像数据集进行检测处理，得到分块后图片块I；1.3)对步骤1.2)得到的分块后图片块I做自相关运算，得到自相关图像corr，计算公式为：其中，为傅里叶变换；为傅里叶逆变换；Real为取运算后的实部；1.4)将自相关图像corr的像素区间归一化至阈值[0，255]，得到归一化后自相关图像corr
′
，计算公式为；corr
′
＝corr/max(corr)*255其中，max(corr)为自相关图中像素最大值；1.5)给步骤1.4)获取的归一化后自相关图像corr
′
添加噪声，得到加噪自相关图像corr
N
；1.6)将加噪自相关图像corr
N
和分块后图片块I进行合成，得到训练数据集图像对，计算公式为：Final＝[corr
N
，I]其中，Final为训练数据集图像对；步骤二、获取输出原图估计图像；将步骤一中的训练数据集图像对输入至残差神经网络模型中，输出自相关图像corr
N
对应的原图估计图像步骤三、构建目标损失函数；选择分块后图片块I与步骤二所获取的原图估计图像组成二范数损失函数，该二范数损失函数为目标损失函数；其中，loss为目标损失函数；步骤四、对目标损失函数进行迭代优化求解，使得目标损失函数达到稳定状态，从而得到自相关图到原图的映射，残差神经网络模型训练完成；步骤五、采集激光散斑图，对激光散斑图做自相关运算；调整激光发射器的发射角度，CMOS相...

【专利技术属性】
技术研发人员：卢孝强，陈跃，郑向涛，任玉涛，
申请(专利权)人：中国科学院西安光学精密机械研究所，
类型：发明
国别省市：