应用于飞行时间图像传感器的超分辨率图像重建方法技术

本发明专利技术公开一种应用于飞行时间图像传感器的超分辨率图像重建方法，包括：对于IToF图像传感器，在低频调制频率下进行全像素阵列全局曝光获取低精度深度图，在高频调制频率下选通部分像素进行阵列全局曝光，获取高精度深度图；基于所述高精度深度图对所述低精度深度图进行像素替换，得到引导图一；将同一场景下使用对比图像传感器成像的场景灰度图作为引导图二；基于所述引导图一和所述引导图二对所述高精度深度图进行联合三边上采样，得到超分辨率重建后的高精度深度图；本发明专利技术在不改变IToF图像传感器电路结构与低功耗成像的同时，实现高分辨率高精度深度信息感知。高分辨率高精度深度信息感知。高分辨率高精度深度信息感知。

【技术实现步骤摘要】
应用于飞行时间图像传感器的超分辨率图像重建方法


[0001]本专利技术涉及图像处理
，具体涉及一种应用于飞行时间图像传感器的超分辨率图像重建方法。

技术介绍

[0002]与双目视觉和结构光成像等三维成像系统相比，间接型飞行时间(Indirect Time
‑
of
‑
Flight，IToF)图像传感器具有成像原理简单，设备体积小，抗背景光干扰能力强的特点，能够实现高精度的三维成像，能有效提高信息感知能力，在消费电子，汽车电子，工业自动化等领域具有广阔的应用前景。IToF工作原理如图1：与图像传感器并列放置的红外光源发射调制光，传感器对经过物体反射回来的调制光进行信号积分、解调计算，从而获得反射调制光信号的相位偏移来计算红外光飞行时间，进而计算传感器与物体之间的距离值。由于距离解算不需要依赖高精度的计时装置，因此IToF图像传感器能够获得较高的测量精度。
[0003]随着对更高深度成像精度和更大成像分辨率的需要，IToF图像传感器的设计中通常采用较高的调制频率和较大的像素阵列，然而高调制频率导致有效探测距离减小以及峰值功耗增加，大像素阵列进一步引起更高的峰值功耗。为了解决高调制频率引起的有效探测距离降低的问题，通常在成像时使用双频调制的方法，通过获取两种不同调制频率下成像的深度值来重新计算高精度的深度值。通常选择两种相差较大的频率，高频调制获取的深度值精度高，有效探测距离短，低频调制获取的深度值精度低，有效探测距离长，结合两种调制频率下的深度值可以得到高精度的深度信息。而对于功耗的增加，虽然在一些设计中已经应用了基于恒定延时链的电路来在不同的时间节点驱动解调信号，从而降低峰值功耗。但是当像素阵列较大时，延时链电路依然无法从整体上降低功耗，导致受限于功耗的影响，IToF图像传感器无法达到传统CMOS图像传感器的分辨率。
[0004]相关技术中，申请公布号为CN110084775A的中国专利技术专利申请文献公开了一种图像处理方法及装置、电子设备和存储介质，方法包括：获取第一图像；获取所述第一图像的至少一个引导图像，所述引导图像包括所述第一图像中的目标对象的引导信息；基于所述第一图像的至少一个引导图像对所述第一图像进行引导重构，得到重构图像。
[0005]但该方案对混入噪声与模糊的低质量平面图像进行训练，通过神经网络处理来对退化严重的图像进行优化，从而恢复平面图像的成像质量以实现目标检测。有效对质量退化严重的平面图像进行去噪声与去模糊处理，提高成像质量，实现更好的目标平面检测能力。其采用基于训练集的神经网络方法对图像进行重建，首先获取第一图像与引导图像集，之后基于至少一个引导图像对第一图像进行引导重构得到重构图像，然后对引导图像进行匹配以执行仿射变换，而后从仿射图像中提取所需目标的子图像。与此同时，对第一图像进行超分辨率处理得到第二图像，并对第二图像重复上述引导重构、仿射变换与提取子图像操作。然后将得到的两幅图像的仿射图像与提取的子图像输入至对抗网络、特征识别网络与语义分割网络进行训练，最终得到训练后的准确的超分辨率重建图像。该方案需要多幅
引导图像，并需要多重神经网络进行图像训练与处理，需要庞大的运算量支撑。
[0006]申请公布号为CN113837938A的中国专利技术专利申请文献公开了一种基于动态视觉传感器重建潜在图像的超分辨率方法，通过神经网络结构实现，包括潜在灰度图重建和多图像融合两个步骤实现，通过神经网络架构重建高质量的高分辨率灰度图，同时考虑事件信号和灰度图信号，以灰度图为基础重建一系列潜在灰度图，融合出的高分辨率灰度图的像素值稳定且连续。
[0007]该方案为解决动态视觉传感器中，现有动态视觉图像信息重建技术存在灰度图的边缘细节不够锐利，同一像素值灰度不够稳定，以及容易损失动态范围等问题，使用一套完整的神经网络架构重建高质量的高分辨率灰度图，同时考虑事件信号和灰度图信号，以灰度图为基础重建一系列潜在灰度图，融合出的高分辨率灰度图的像素值稳定且连续，重建高分辨率灰度图像。

技术实现思路

[0008]本专利技术所要解决的技术问题在于如何使传感器在低功耗、高精度的工作状态下，实现更高分辨率成像。
[0009]本专利技术通过以下技术手段实现解决上述技术问题的：
[0010]一方面，提出了一种应用于飞行时间图像传感器的超分辨率图像重建方法，所述方法包括：
[0011]对于IToF图像传感器，在低频调制频率下进行全像素阵列全局曝光获取低精度深度图，在高频调制频率下选通部分像素进行阵列全局曝光，获取高精度深度图；
[0012]基于所述高精度深度图对所述低精度深度图进行像素替换，得到引导图一；
[0013]将同一场景下使用对比图像传感器成像的场景灰度图作为引导图二；
[0014]基于所述引导图一和所述引导图二对所述高精度深度图进行联合三边上采样，得到超分辨率重建后的高精度深度图。
[0015]进一步地，所述基于所述高精度深度图对所述低精度深度图进行像素替换，得到引导图一，包括：
[0016]判断高频调制频率下测量的深度值是否存在距离模糊；
[0017]若是，则利用所述低精度深度图对所述高精度深度图进行距离校正，得到所述高精度深度图的校正后深度值；
[0018]利用所述高精度深度图的校正后深度值替换所述低精度深度图中对应像素位置的深度值，并将部分像素替换后的所述低精度深度图作为所述引导图一；
[0019]若否，则利用高频调制频率下测量的深度值替换所述低精度深度图中对应像素位置的深度值，并将部分像素替换后的所述低精度深度图作为所述引导图一。
[0020]进一步地，所述利用所述低精度深度图对所述高精度深度图进行距离校正，得到所述高精度深度图的校正后深度值，包括：
[0021]计算使得y(k)最接近0情况下的k值，公式表示为：
[0022]y(k)＝|(d
mB
+kd
unB
)
‑
d
mA
|
[0023]式中：y(k)为以k为自变量，y为函数的函数表达式；d
mB
为高频调制频率下测量的深度值；d
unB
为高频调制频率下的最大成像距离；d
mA
为低频调制频率下测量的深度值；k为待求
的非负整数；
[0024]根据所述非负整数k，计算所述高精度深度图的校正后深度值，公式表示为：
[0025]d
m
＝d
mB
+kd
unB
[0026]式中：d
m
为所述高精度深度图的校正后深度值。
[0027]进一步地，所述基于所述引导图一和所述引导图二对所述高精度深度图进行联合三边上采样，得到超分辨率重建后的高精度深度图，包括：
[0028]基于所述引导图一和所述引导图二，进行第一次联合三边滤波，得到引导深度图；
[0029]将所述引导深度图作本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种应用于飞行时间图像传感器的超分辨率图像重建方法，其特征在于，所述方法包括：对于IToF图像传感器，在低频调制频率下进行全像素阵列全局曝光获取低精度深度图，在高频调制频率下选通部分像素进行阵列全局曝光，获取高精度深度图；基于所述高精度深度图对所述低精度深度图进行像素替换，得到引导图一；将同一场景下使用对比图像传感器成像的场景灰度图作为引导图二；基于所述引导图一和所述引导图二对所述高精度深度图进行联合三边上采样，得到超分辨率重建后的高精度深度图。2.如权利要求1所述的应用于飞行时间图像传感器的超分辨率图像重建方法，其特征在于，所述基于所述高精度深度图对所述低精度深度图进行像素替换，得到引导图一，包括：判断高频调制频率下测量的深度值是否存在距离模糊；若是，则利用所述低精度深度图对所述高精度深度图进行距离校正，得到所述高精度深度图的校正后深度值；利用所述高精度深度图的校正后深度值替换所述低精度深度图中对应像素位置的深度值，并将部分像素替换后的所述低精度深度图作为所述引导图一；若否，则利用高频调制频率下测量的深度值替换所述低精度深度图中对应像素位置的深度值，并将部分像素替换后的所述低精度深度图作为所述引导图一。3.如权利要求2所述的应用于飞行时间图像传感器的超分辨率图像重建方法，其特征在于，所述利用所述低精度深度图对所述高精度深度图进行距离校正，得到所述高精度深度图的校正后深度值，包括：计算使得y(k)最接近0情况下的k值，公式表示为：y(k)＝|(d
mB
+kd
unB
)
‑
d
mA
|式中：y(k)为以k为自变量，y为函数的函数表达式；d
mB
为高频调制频率下测量的深度值；d
unB
为高频调制频率下的最大成像距离；d
mA
为低频调制频率下测量的深度值；k为待求的非负整数；根据所述非负整数k，计算所述高精度深度图的校正后深度值，公式表示为：d
m
＝d
mB
+kd
unB
式中：d
m
为所述高精度深度图的校正后深度值。4.如权利要求1所述的应用于飞行时间图像传感器的超分辨率图像重建方法，其特征在于，所述基于所述引导图一和所述引导图二对所述高精度深度图进行联合三边上采样，得到超分辨率重建后的高精度深度图，包括：基于所述引导图一和所述引导图二，进行第一次联合三边滤波，得到引导深度图；将所述引导深度图作为第二次联合三边上采样的引导图，与所述高精度深度图进行第二次联合三边上采样，得到超分辨率重建后的高精度深度图。5.如权利要求4所述的应用于飞行时间图像传感器的超分辨率图像重建方法，其特征在于，所述基于所述引导图一和所述引导图二，进行第一次联合三边滤波，得到引导深度图，包括：对所述引导图一进行双三次插值上采样，得到上采样后的深度图；
基于所述上采样后的深度图，计算梯度域的权重作为第一次联合三边滤波的三个高斯滤波核之一；提取所述上采样后的深度图和所述引导图二的共同边缘作为第一次联合三边滤波的掩模；在所述掩模覆盖的像素区域内进行二阶梯度算子计算和第一次联合三边滤波，得到所述引导深度图。6.如权利要求5所述的应用于飞行时间图像传感器的超分辨率图像重建方法，其特征在于，基于所述上采样后的深度图，计算梯度域的权重作为第一次联合三边滤波的三个高斯滤波核之一，包括：基于所述上采样后的深度图，计算其横向与纵向的二阶梯度信息||G
P
‑
G
q
||，公式表示为：式中：G
p
表示窗口中心像素的二阶梯度；G
q
表示窗口除中心像素外其他像...

【专利技术属性】
技术研发人员：聂凯明，郭世杰，谢继勇，徐江涛，
申请(专利权)人：天津大学合肥创新发展研究院，
类型：发明
国别省市：