一种基于飞行时间传感器的快照差分成像方法技术

本发明专利技术提出了一种基于飞行时间传感器的快照差分成像方法，其主要内容包括：差分成像规则、差分成像仪原型设计、基于极性的全局分割、基于单幅差分图像恢复两幅图像的方法，其过程为，通过依次捕获多个图像来对图像进行差分计算，然后把它们放在一起处理，其中在记录动态场景时这种方法会导致伪影的产生，因此本发明专利技术设计出一种在飞行时间相机的传感器硬件中实现的快照差分成像方法。通过本发明专利技术所提出的快照差分成像技术使得直接全局光照分割、时空图像梯度直接成像和直接深度边缘成像都获得了更好的实时性与准确性。

A snapshot differential imaging method based on flight time sensor

The invention provides a snapshot of the time of flight sensors based on differential imaging method, its main contents include: difference imaging rules, differential imaging instrument prototype design, segmentation, global polar difference method based on single image restoration based on two images, the process is, in order to capture multiple images the image difference calculation, and then put them together, which in this dynamic scene record method will cause artifacts generated, so the invention is designed to achieve a snapshot in time of flight of the camera sensor hardware difference imaging method. The proposed snapshot differential imaging technique achieves better real-time and accuracy in direct global illumination segmentation, spatio-temporal image gradient direct imaging and direct depth edge imaging.

【技术实现步骤摘要】
一种基于飞行时间传感器的快照差分成像方法
本专利技术涉及计算机图形学中的快照式成像光谱
，尤其是涉及了一种基于飞行时间传感器的快照差分成像方法。
技术介绍
快照差分成像技术作为计算机视觉研究的核心课题之一，是一门正兴起的技术。它融入了人工智能、图像处理、模式识别、计算机、以及自动控制等许多领域的先进技术。若用在视频跟踪系统上，具有隐蔽性、直观性、抗电子干扰性、性价比高等突出优点。因为可从视频监视器上直接看到目标图像，因而能方便、直观地辨别出目标。此外在近距离跟踪方而，视频的跟踪系统具有较高的可靠性、精确性和稳定性。因提取的结果中包含了场景中各个运动目标的大量时空信息，快照差分成像技术从二十世纪六十年代以来，取得了极大的发展，在医疗诊断、战场警戒、气候分析、军事视觉制导、安全监测、参数现实、交通管制、机器人视觉导航、虚拟现实和视频压缩等许多方面都有广泛应用。但现有的快照差分成像技术针对全局光照分割、时空图像梯度直接成像和直接深度边缘成像时还无法实现高实时性与高准确度，本专利技术很好的改善了这一技术在这方面的局限性。本专利技术提出了一种基于飞行时间传感器的快照差分成像方法，其主要内容包括：差分成像规则、差分成像仪原型设计、基于极性的全局分割、基于单幅差分图像恢复两幅图像的方法，其过程为，通过依次捕获多个图像来对图像进行差分计算，然后把它们放在一起处理，其中在记录动态场景时这种方法会导致伪影的产生，因此本专利技术设计出一种在飞行时间相机的传感器硬件中实现的快照差分成像方法。通过本专利技术所提出的快照差分成像技术使得直接全局光照分割、时空图像梯度直接成像和直接深度边缘成像都获得了更好的实时性与准确性。
技术实现思路
针对本专利技术提出的基于飞行时间传感器的快照差分成像方法，其通过依次捕获多个图像来对图像进行差分计算，然后把它们放在一起处理，其中在记录动态场景时这种方法会导致伪影的产生，因此本专利技术设计出一种在飞行时间相机的传感器硬件中实现的快照差分成像方法。通过本专利技术所提出的快照差分成像技术使得直接全局光照分割、时空图像梯度直接成像和直接深度边缘成像都获得了更好的实时性与准确性。为解决上述问题，本专利技术提供一种基于飞行时间传感器的快照差分成像方法，其主要内容包括：(一)差分成像规则；(二)差分成像仪原型设计；(三)基于极性的全局分割；(四)基于单幅差分图像恢复两幅图像的方法；其中，所述的差分成像规则，在飞行时间(ToF)传感器中的像素用于测量时变光子通量gi(t)以及时变传感器调制信号f(t)∈[0,1]，与在一个势阱中收集光电二极管所产生电荷的CCD或CMOS传感器不同，ToF传感器的每个像素具有两个这样的势阱，其中传感器调制信号f(t)决定了在时间t产生的电荷在哪一个势阱中终止，而在积分阶段结束时两势阱间的差值被读出并进行数字化，如等式(1)所示：其中ρ是从电子计数到数字单位的转换因子，而η代表解调对比度，而和是在积分阶段[0,T]内两个势阱分别收集的光电子，如等式(2)所示：这里入射光子率gi(t)是一个描述光源发光这个场景的时变强度g(t)的函数，而在ToF成像过程中，f(t)和g(t)是相同高频(通常为20-100MHz)的周期函数，且从光源到传感器的光传播延时导致了相对相移，这里通过测量相移可以恢复图像深度，且需要将调制频率降低到1-5MHz，其中近距离场景下的光传播可以被认为是瞬时发生的，f(t)由数字电路产生，其值仅被假设为0和1，这里使用两个光源，其中光源1(LS1)使用相同的函数f(t)来驱动，而光源2(LS2)则使用f(t)的逻辑非来驱动，根据等式(2)，在势阱中收集的电荷将会记录LS1发光所显示的场景图像，而这里则对应LS2，因此像素可以在不同的发光情况下测量两幅图像的差别；此外还需要对ToF成像仪建立合适的噪声模型来降低噪声所导致的系统误差。进一步地，所述的噪声模型，ToF成像仪作为一种复杂的光学器件容易接收不同来源的噪声影响，而对于差分测量方案来说，尤其是正在经常在ToF操作中使用的多抽头测量方案，可以很好的抵消大部分硬件所导致的系统误差，但这些措施也不能消除散射噪声，这是在光电子计数过程中所发生的不确定性；如果是两个势阱的预期电子数，则实际在任何一副图像中所记录的电子数I±应该是一个泊松分布随机变量，其平均值μ±以及方差(σ±)2都应与相应的预期值相同，如等式(3)所示：最终像素值作为两个独立随机变量的差值也是一个随机变量，且这个值遵循Skellam分布，这里平均值μdiff和方差与I±的平均值μ±和方差的相互关系如等式(4)和(5)所示：其中为所读取的模型附加噪声源的值，而器件常数η∈[0,1]则是成像器的对比度，这里用矩阵向量乘积来表示如等式(6)所示：这里注意测量值Idiff的不确定性并不主要取决于净差值，而更多的由隐形分量来决定，故即使是在出现零信号也就是的时候，实际观测值Idiff也可能会受到明显的噪声影响，这就是差分成像的主要特征，其适用于各种机构并能应用到后捕获差分技术中去，这里将系统特征矩阵H称为Skellam混合矩阵。进一步地，所述的差分成像仪原型设计，构建了基于两个不同的飞行时间传感平台的快照差分成像仪，这里将光学评估模块与外部调制器和光源结合，其中将成像器的过红外滤波器移除以便它们能感知可见光，为了能够进行差分成像，外部光源分别被配置在相位的里面和外面，而系统则配置每秒刷新60帧，其中每帧的曝光时间为2000μs，图像也在曝光时间内捕获，而为了实现不同的成像模式，需要将光源与不同颜色的LED配合使用放置在不同的位置，并按照特定的目的来安装LED和带有偏振滤光片的相机，此处为了减少固定模式噪声，需要在进行数据采集之前记录一个黑色帧并从每个测量帧中减去，因此差分图像像素的值取决于两势阱之间的电荷平衡。进一步地，所述的基于极性的全局分割，这里设计的机构以单点偏振差分成像仪的形式来展示其隔离直接反射光的能力，并在使用交叉线偏振光的两个光源和相机上的分析滤光片照明场景时可以考虑图像的四个不同部分：(1)最初通过偏振滤光器的直射光平行于分析仪，并直接反射到场景中从而保持极化的方向；(2)最初通过偏振滤光器平行于分析仪并在场景中多次散射，因此不能保持极化的方向；(3)最初通过偏振滤光片垂直于分析仪，并直接反映在场景中；(4)最初通过偏振滤光片垂直于分析仪，并在场景中多次散射；这里假设场景中的多次散射完全消除了两个初始极化方向的光线，则在与分析仪平行偏振的光照射后到达相机的光线照射量是与f(t)同相的分量，如等式(7)所示：而在与分析仪垂直偏振的光照射后到达传感器的光线则是通过分析滤光片的光线，如等式(8)所示：在光源相同的情况下假设直接和间接散射光之间的比例对于初始极化方向是相同的，此时满足因此光子混合设备(PMD)传感器在与光源的锁定操作中获取的差分图像可以用等式(9)表示：最后留下仅包含直接反射光的图像，这种基于极性的全局分割方法在深度边缘与方向性梯度成像、时间梯度成像、空间梯度成像等成像方法中都得到了应用，且为了能在许多应用场合中对材料进行表征与分类，需要使用到双极性色彩匹配功能。进一步地，所述的双极性色彩匹配功能，使用表示特征的照明或优化过的光谱照明模式来基于每个像素对材料进本文档来自技高网...

【技术保护点】
一种基于飞行时间传感器的快照差分成像方法，其特征在于，主要包括差分成像规则(一)；差分成像仪原型设计(二)；基于极性的全局分割(三)；基于单幅差分图像恢复两幅图像的方法(四)。

【技术特征摘要】
1.一种基于飞行时间传感器的快照差分成像方法，其特征在于，主要包括差分成像规则(一)；差分成像仪原型设计(二)；基于极性的全局分割(三)；基于单幅差分图像恢复两幅图像的方法(四)。2.基于权利要求书1所述的差分成像规则(一)，其特征在于，在飞行时间(ToF)传感器中的像素用于测量时变光子通量gi(t)以及时变传感器调制信号f(t)∈[0,1]，与在一个势阱中收集光电二极管所产生电荷的CCD或CMOS传感器不同，ToF传感器的每个像素具有两个这样的势阱，其中传感器调制信号f(t)决定了在时间t产生的电荷在哪一个势阱中终止，而在积分阶段结束时两势阱间的差值被读出并进行数字化，如等式(1)所示：其中ρ是从电子计数到数字单位的转换因子，而η代表解调对比度，而和是在积分阶段[0,T]内两个势阱分别收集的光电子，如等式(2)所示：这里入射光子率gi(t)是一个描述光源发光这个场景的时变强度g(t)的函数，而在ToF成像过程中，f(t)和g(t)是相同高频(通常为20-100MHz)的周期函数，且从光源到传感器的光传播延时导致了相对相移，这里通过测量相移可以恢复图像深度，且需要将调制频率降低到1-5MHz，其中近距离场景下的光传播可以被认为是瞬时发生的，f(t)由数字电路产生，其值仅被假设为0和1，这里使用两个光源，其中光源1(LS1)使用相同的函数f(t)来驱动，而光源2(LS2)则使用f(t)的逻辑非来驱动，根据等式(2)，在势阱中收集的电荷将会记录LS1发光所显示的场景图像，而这里则对应LS2，因此像素可以在不同的发光情况下测量两幅图像的差别；此外还需要对ToF成像仪建立合适的噪声模型来降低噪声所导致的系统误差。3.基于权利要求书2所述的噪声模型，其特征在于，ToF成像仪作为一种复杂的光学器件容易接收不同来源的噪声影响，而对于差分测量方案来说，尤其是正在经常在ToF操作中使用的多抽头测量方案，可以很好的抵消大部分硬件所导致的系统误差，但这些措施也不能消除散射噪声，这是在光电子计数过程中所发生的不确定性；如果是两个势阱的预期电子数，则实际在任何一副图像中所记录的电子数I±应该是一个泊松分布随机变量，其平均值μ±以及方差(σ±)2都应与相应的预期值相同，如等式(3)所示：最终像素值作为两个独立随机变量的差值也是一个随机变量，且这个值遵循Skellam分布，这里平均值μdiff和方差与I±的平均值μ±和方差的相互关系如等式(4)和(5)所示：其中为所读取的模型附加噪声源的值，而器件常数η∈[0,1]则是成像器的对比度，这里用矩阵向量乘积来表示如等式(6)所示：这里注意测量值Idiff的不确定性并不主要取决于净差值，而更多的由隐形分量来决定，故即使是在出现零信号也就是的时候，实际观测值Idiff也可能会受到明显的噪声影响，这就是差分成像的主要特征，其适用于各种机构并能应用到后捕获差分技术中去，这里将系统特征矩阵H称为Skellam混合矩阵。4.基于权利要求书1所述的差分成像仪原型设计(二)，其特征在于，构建了基于两个不同的飞行时间传感平台的快照差分成像仪，这里将光学评估模块与外部调制器和光源结合，其中将成像器的过红外滤波器移除以便它们能感知可见光，为了能够进行差分成像，外部光源分别被配置在相位的里面和外面，而系统则配置每秒刷新60帧，其中每帧的曝光时间为2000μs，图像也在曝光时间内捕获，而为了实现不同的成像模式，需要将光源与不同颜色的LED配合使用放置在不同的位置，并按照特定的目的来安装LED和带有偏振滤光片的相机，此处为了减少固定模式噪声，需要在进行数据采集之前记录一个黑色帧并从每个测量帧中减去，因此差分图像像素的值取决于两势阱之间的电荷平衡。5.基于权利要求书1所述的基于极性的全局分割(三)，其特征在于，这里设计的机构以单点偏振差分成像仪的形式来展示其隔离直接反射光的能力，并在使用交叉线偏振光的两个光源和相机上的分析滤光片照明场景时可以考虑图像的四个不同部分：(1)最初通过偏振滤光器的直射光平行于分析仪，并直接反射到场景中从而保持极化的方向；(2)最初通过偏振滤光器平行于分析仪并在场景中多次散射，因此不能保持极化的方向；(3)最初通过偏振滤光片垂直于分析仪，并直接反映在场景中；(4)最初通过偏振滤光片垂直于分析仪，并在场景中多次散射；这里假设场景中的多次散射完全消除了两个初始极化方向的光线，则在与分析仪平行偏振的光照射...

【专利技术属性】
技术研发人员：夏春秋，
申请(专利权)人：深圳市唯特视科技有限公司，
类型：发明
国别省市：广东,44