一种并行单像素成像方法技术

本发明专利技术涉及一种并行单像素成像的实现方法，将单像素成像的基本方法拓展至像素阵列(图像)传感器中，极大拓宽了单像素成像方法的应用范围。首先，通过投射和拍摄傅里叶切片的图案模式，解算并定位像素阵列上每个像素的观测区域。然后，利用投射器向场景投射所需图案模式，采用相机拍摄得到对应的图像；其次，对相机图像上所有像素执行并行单像素成像的图像重构算法，获得每个相机像素下对应的具有投射器分辨率的图像。由于充分发掘了光传输过程的稀疏性，并行单像素成像方法可大幅提高传统单像素系统的成像效率。同时，重构的结果建立了相机像素与投射器像素之间的对应关系，对进一步推动光学成像理论、计算机图形学和计算机视觉的发展有良好作用。

A Parallel Single Pixel Imaging Method

【技术实现步骤摘要】
一种并行单像素成像方法
本专利技术涉及一种并行单像素成像的实现方法，将单像素成像的基本方法拓展至诸如CCD(Charge-coupledDevice，电荷耦合器件)和CMOS(ComplementaryMetalOxideSemiconductor，互补金属氧化物半导体)的像素阵列(图像)传感器中，极大地拓宽了单像素成像方法的应用范围。本专利技术属于计算成像领域。
技术介绍
单像素成像(Single-pixelImaging)作为一种全新的成像方式，相较于传统成像中全场一致的照明光源，其使用可控结构化照明光源(如投射器)向场景投射一系列基模式图案，同时使用不具有空间分辨率的光电探测器对叠加了基图案模式的场景进行拍摄。这种成像方法不直接测量场景信息，而是串行地采集被调制的场景信号，并通过单像素成像的图像重构算法对采集到的数据进行解算，从而实现场景的重构。基于这种成像机理，单像素探测器采集到的信号具有能量大，信噪比高的特点，特别适合于能量很弱的弱光信号探测。现有的单像素成像技术均使用单个光电探测元件接收来自整个场景对投射器照明的反射光，这种成像机理及相应的重构方法难以直接应用于目前传统成像中的CCD或CMOS等像素阵列并行采集场景图像信息的模式，限制了其在传统成像系统中的广泛应用。
技术实现思路
本专利技术提出一种并行单像素成像方法，将单像素成像的基本方法拓展至如CCD和COMS等像素阵列(图像)传感器中，极大地拓宽了单像素成像方法的应用范围。传统成像方法、单像素成像方法和并行单像素成像方法的关系见图2。本专利技术的基本原理是在定位像素阵列上每个像素观测范围的基础上，投射周期延拓的基图案模式，通过相机拍摄被场景调制后的图像，对拍摄到图像中的每个像素同时采用并行单像素成像的图像重构算法，实现所有像元并行地单像素成像。在本专利技术中，任意一种单像素成像技术原则上都能够用于并行单像素成像的实现，但考虑到近年来基于正交基的单像素成像方法具有较高的信噪比，且能够重建出高质量的图像。同时，由于傅里叶变换的基底本身带有周期的性质，在进行周期延拓后，重构图像的边缘处不会因周期延拓后基图案模式的不连续而产生失真。最后，使用傅里叶基图案模式还可根据傅里叶切片原理更方便地对像素观测区域进行定位。综上，我们在具体实施中，采用基于傅里叶变换的单像素成像原理来实现并行单像素成像方法。本专利技术的技术解决方案为：首先利用投射器向被成像场景投射一系列用于定位的图案模式对每个像素的观测区域进行定位，再投射并行单像素成像所需的周期延拓图案模式，并通过相机进行拍摄；拍摄完毕后，对像素阵列上的每个像素按照并行单像素成像的图像重构方法得到投射器视角下的图像。其成像过程主要包含以下步骤：(1)先将投射器和相机面向被成像场景放置，投射器的投射区域应与相机视场有重合的区域；(2)利用投射器向被成像场景投射一系列用于定位的图案模式，并通过相机拍摄；(3)根据拍摄到的定位图像，对每个像素的观测范围进行定位；(4)利用投射器向被成像场景投射并行单像素成像所需的周期延拓图案模式，并通过相机进行拍摄；(5)通过相机拍摄的场景图像，对相机图像上的每个像素执行并行单像素成像的图像重构算法，重构出每个像素在投射器视角下的对应图像；所述步骤(2)中的一系列用于定位的图案模式，包括横方向正弦基图案模式和纵方向正弦基图案模式。横方向正弦基图案模式生成公式为：纵方向正弦基图案模式生成公式为：其中，(m,n)代表投射器平面坐标系上一点，取值范围是0≤m≤M-1,0≤n≤N-1。k,l代表正弦基图案模式中条纹的空间频率，取值范围是0≤k≤M-1,0≤l≤N-1中的任意整数。φ代表正弦基图案模式中条纹的相位，取值分别为0,π/2,π,3/2π，构成四步相移图像模式。a是正弦基图案模式中条纹的的平均亮度，b是正弦基图案模式中条纹的幅值。M是投射器沿横方向的有效显示像素个数，N是投射器沿纵方向的有效显示像素个数。为了提高定位速度，可以采用部分较低频率投射。所述步骤(3)中的定位技术为，根据相机拍摄不同频率的四步相移横纵条纹图像，计算获得相机每个像素观测到的投射器视角下图像分别在横向和纵向投影的一维傅里叶系数；当获得了一维傅里叶变换域中的所有系数后，对变换域系数作一维傅里叶逆变换，计算得到相机每个像素观测到的投射器视角下图像分别在横向和纵向的投影函数。该投影函数中值大于噪声阈值的区域即为对应像素可观测到的横向或纵向区域范围。该范围内的区域称为有效区域。所述步骤(4)中的周期延拓图案模式为周期延拓的二维傅里叶变换的不同频率正弦基图案模式，每个频率包含四步相移图案模式。并通过相机拍摄采集对应的图像。周期延拓的正弦基图案模式的具体生成公式如下：其中m,n分别为投射器的横纵坐标，取值范围是0≤m≤M-1,0≤n≤N-1。k,l为周期延拓的正弦基图案模式中条纹空间频率，取值范围是0≤k≤Ms-1,0≤l≤Ns-1。Ms,Ns为延拓的周期。φ为周期延拓的正弦基图案模式中条纹的相位，取值分别为0,π/2,π,3/2π，构成四步相移图像模式。a是周期延拓的正弦基图案模式中条纹的平均亮度，b是周期延拓的正弦基图案模式中条纹的幅值。所述步骤(5)中的并行单像素成像的图像重构算法为，根据相机拍摄不同频率的四步相移条纹图像，计算获得相机每个像素下对应图像的二维傅里叶变换域系数；当获取了在二维傅里叶变换域图像的所有系数之后，对变换域图像作二维傅里叶逆变换，计算得到相机每个像素对应的图像，其分辨率与周期延拓的正弦基图案模式的分辨率相同；将每个像素对应的图像经周期延拓为与投射器分辨率一致的投射器视角图像；根据步骤(3)的定位结果，将重构得到的周期延拓图像的有效区域保留，其他区域置零，得到对应像素在投射器视角下的对应图像。本专利技术的优点在于：(1)极大地拓宽了单像素成像方法的应用范围。由于传统单像素成像方法使用不具有空间分辨率的光电探测器，因此这种成像机理及相应的重构方法难以直接应用于目前传统成像中的CCD或CMOS等像素阵列并行采集场景图像信息的模式。并行单像素成像方法可方便地将单像素成像方法拓展至基于像素阵列成像系统的应用场景中。因此，极大地扩展了单像素方法的应用范围。同时，由于单像素成像方法的内在特殊性，并行单像素成像方法可解决传统成像方法的瓶颈问题。(2)大幅度提高单像素系统的成像效率。通过引入像素阵列，其中的每个像素所能观测到的场景区域将大大减少。这意味着对每个像素的响应有影响的投射器像素数量会被限制在某(几)个很小的区域内。投射器像素与像素阵列中单个像素的光传输系数数的稀疏性将大大增加，从而提高单像素系统的成像效率，同时具有较高信噪比。(3)实现光线追迹。并行单像素系统重构出像素阵列上每个像素观测到的投射器视角下的图像，因此建立了投射器像素和相机像素之间的对应关系。这种关系是场景物体对投射器中发出光线的复杂作用(例如直接和多次反射或次表面散射)的结果。获得这样的信息后，可完成两个不同任务：生成用户自定义光照条件下的场景图像和对光照中的不同成分进行分离。前者是计算机图形学中基于图像的建模和渲染方向主要考虑的问题，而后者将对计算机视觉中的三维重构有重要的意义。(4)为直接照明光和间接照明光的分离提供新思路。在传统成像中，当被拍本文档来自技高网...

【技术保护点】
1.一种并行单像素成像系统及方法，其特征在于：成像过程包括以下步骤：(1)先将投射器和相机面向被成像场景放置，投射器的投射区域应与相机视场有重合的区域；(2)利用投射器向被成像场景投射一系列用于定位的图案模式，并通过相机拍摄；(3)根据拍摄到的定位图像，对每个像素的观测范围进行定位；(4)利用投射器向被成像场景投射并行单像素成像所需的周期延拓图案模式，并通过相机进行拍摄；(5)通过相机拍摄的场景图像，对相机图像上的每个像素执行并行单像素成像的图像重构算法，重构出每个像素在投射器视角下的对应图像。

【技术特征摘要】
1.一种并行单像素成像系统及方法，其特征在于：成像过程包括以下步骤：(1)先将投射器和相机面向被成像场景放置，投射器的投射区域应与相机视场有重合的区域；(2)利用投射器向被成像场景投射一系列用于定位的图案模式，并通过相机拍摄；(3)根据拍摄到的定位图像，对每个像素的观测范围进行定位；(4)利用投射器向被成像场景投射并行单像素成像所需的周期延拓图案模式，并通过相机进行拍摄；(5)通过相机拍摄的场景图像，对相机图像上的每个像素执行并行单像素成像的图像重构算法，重构出每个像素在投射器视角下的对应图像。2.根据权利要求1所述的方法，其特征在于：所述步骤(2)中的一系列用于定位的图案模式，包括横方向正弦基图案模式和纵方向正弦基图案模式。横方向正弦基图案模式生成公式为：纵方向正弦基图案模式生成公式为：其中，(m,n)代表投射器平面坐标系上一点，取值范围是0≤m≤M-1,0≤n≤N-1。k,l代表正弦基图案模式中条纹的空间频率，取值范围是0≤k≤M-1,0≤l≤N-1中的任意整数。φ代表正弦基图案模式中条纹的相位，取值分别为0,π/2,π,3/2π，构成四步相移图像模式。a是正弦基图案模式中条纹的的平均亮度，b是正弦基图案模式中条纹的幅值。M是投射器沿横方向的有效显示像素个数，N是投射器沿纵方向的有效显示像素个数。为了提高定位速度，可以采用部分较低频率投射。3.根据权利要求1所述的方法，其特征在于：所述步骤(3)中的定位技术为，根据相机拍摄不同频率的四步相移横纵条纹图像，计算获得相机每个像素观测到的投射器视角下图像分别在横向和纵向投影的一维傅里叶系数；当获得了一维傅里...

【专利技术属性】
技术研发人员：姜宏志，赵慧洁，李宇曦，李旭东，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京,11