【技术实现步骤摘要】
【国外来华专利技术】用于深度获取的光场图像处理方法
一般的
涉及成像系统和方法，更具体地说，涉及用于深度获取和三维(3D)成像的光场成像装置和图像处理方法。专利技术背景传统的成像硬件涉及将复杂的三维(3D)场景投影到简化的二维(2D)平面上，因而放弃了入射光中固有的维度。这种信息的丢失是诸如电荷联接装置(CCD)或互补金属氧化物半导体(CMOS)传感器阵列的平方律检测器的本质的直接结果，它们只能直接测量入射光的时间平均强度I，而非其相位或波向量k或角频率ω：在这种约束下工作，全光相机被迫要么通过多个同时获取的图像的比较分析、复杂的机器学习和/或重建技术，要么通过使用主动照明器和传感器来恢复深度信息。全光相机通常通过“全光函数”来描述场景，所述函数通过下式来参数化撞击在观察者或点上的光场：P＝P(x，y，λ，t，Vx，Vy，Vz，p)，(2)其中x坐标和y坐标针对波长λ和极化角p在时间t定义某个图像平面，如由在位置(Vx，Vy，Vz)处的观察者所看到的。虽然它们可以是基于单一传感器或多个传感器的系统，但是...
【技术保护点】
1.一种捕获场景的三维图像数据的方法，所述方法包括：/na)根据衍射光栅图案衍射源自所述场景的光学波前以产生经过衍射的光学波前，所述衍射光栅图案沿着光栅轴具有光栅周期；/nb)使用像素阵列在近场区域中检测所述经过衍射的光学波前，从而获得像素数据，所述像素阵列包括多个光敏像素，每个光敏像素与滤色器相关联，所述滤色器形成颜色马赛克，所述颜色马赛克定义主色和一个或多个次色，所述主色和所述一个或多个次色被布置成使得与所述主色相关联的不同的相邻像素在所述经过衍射的光学波前的完整周期内检测所述经过衍射的光学波前的不同的空间部分，所述像素阵列沿着所述光栅轴具有小于所述光栅周期的像素间距；...
【技术特征摘要】 【专利技术属性】
【国外来华专利技术】20171205 US 62/594,7181.一种捕获场景的三维图像数据的方法，所述方法包括：
a)根据衍射光栅图案衍射源自所述场景的光学波前以产生经过衍射的光学波前，所述衍射光栅图案沿着光栅轴具有光栅周期；
b)使用像素阵列在近场区域中检测所述经过衍射的光学波前，从而获得像素数据，所述像素阵列包括多个光敏像素，每个光敏像素与滤色器相关联，所述滤色器形成颜色马赛克，所述颜色马赛克定义主色和一个或多个次色，所述主色和所述一个或多个次色被布置成使得与所述主色相关联的不同的相邻像素在所述经过衍射的光学波前的完整周期内检测所述经过衍射的光学波前的不同的空间部分，所述像素阵列沿着所述光栅轴具有小于所述光栅周期的像素间距；
c)根据所述主色和所述次色将所述像素数据解析成对应的主色通道和次色通道；
d)确定所述经过衍射的光学波前的强度分布中与所述主色通道相关联的主要基础分量和主要调制分量；
e)确定所述经过衍射的光学波前的强度分布中与所述次要通道中的每个次要通道相关联的次要基础分量和次要调制分量；
f)使用所述主要基础分量和所述次要基础分量重建所述场景的2D图像；以及
g)使用至少一个颜色径向传递函数创建所述场景的深度图，所述至少一个颜色径向传递函数被校准以从所述颜色通道的相关联的颜色通道的所述调制分量来提供物距信息。
2.根据权利要求1所述的方法，其中每个颜色径向传递函数将所述相关联的颜色通道的所述经过衍射的光学波前的所述强度分布与用于所述检测步骤的图像捕获装置的对应焦平面相关。
3.根据权利要求2所述的方法，其中所述物距信息是从某一关系获得使得：
其中z是在所述场景中的给定物体与所述图像捕获装置的所述焦平面的距离，2D图像是在步骤f)中重建的所述2D图像，并且CRTF是所述径向传递函数。
4.根据权利要求3所述的方法，其中CRTF的值是从来自所述焦平面的极坐标r、φ、θ、像素数量n以及入射波长λ的拟合函数获得。
5.根据权利要求1至4中任一项所述的方法，其中步骤e)的所述确定次要基础分量和次要调制分量包括使用与所述像素的相邻组的所述主色通道相关联的所述经过衍射的光学波前的所述强度分布来确定所述相邻组是否具有相长干涉偏移或相消干涉偏移。
6.根据权利要求1至5中任一项所述的方法，其中步骤f)的所述重建2D图像包括使用所述主要基础分量归一化所述次要基础分量。
7.根据权利要求1至6中任一项所述的方法，其中步骤f)的所述重建2D图像包括：
-使用所述主要调制分量和所述相关联的颜色径向传递函数来获得所述物距信息；以及
-鉴于所述物距信息，使用所述次要调制分量和所述相关联的颜色径向传递函数来补偿在所述2D图像中来自所述光学波前的所述衍射的假影。
8.根据权利要求1至7中任一项所述的方法，其中步骤g)的深度图的所述创建包括使用所述主要调制分量和所述相关联的颜色径向传递函数来创建粗略的深度图。
9.根据权利要求8所述的方法，其中创建粗略的深度图包括：
-从与所述主色通道相关联的所述主要调制分量获得用于所述主色通道的相对相位信息；以及
-从所述相对相位信息和与所述主色通道相关联的所述颜色径向传递函数的比较中获得用于所述主色通道的绝对相位信息。
10.根据权利要求8或9所述的方法，其中深度图的所述创建包括使用所述一个或多个次要调制分量和所述相关联的颜色径向传递函数来校正所述粗略的深度图。
11.根据权利要求10所述的方法，其中校正所述粗略的深度图包括：
-从与每个次色通道相关联的所述主要调制分量获得用于每个次色通道的相对相位信息；以及
-从所述相对相位信息和与跟所述相关联的次色通道相关联的所述颜色径向传递函数的比较中获得用于每个次色通道的绝对相位信息。
12.根据权利要求1至11中任一项所述的方法，其中所述颜色马赛克定义所述次色中的两个。
13.根据权利要求1至12中任一项所述的方法，其中所述主色通道是绿色通道，所述次色通道是红色通道和蓝色通道，并且所述相关联的颜色径向传递函数分别定义绿色径向传递函数GRTF、红色径向传递函数RRTF以及蓝色径向传递函数BRTF。
14.根据权利要求13所述的方法，其中所述颜色马赛克是拜尔图案。
15.根据权利要求13或14所述的方法，其中步骤g)的深度图的所述创建包括：
i)通过以下方式创建粗略的深度图：
-从与所述绿色通道相关联的所述主要调制分量获得用于所述绿色通道的相对相位信息；以及
-从所述相对相位信息与所述绿色径向传递函数GRTF的比较中获得用于所述绿色通道的绝对相位信息；以及
ii)通过以下方式校正所述粗略的深度图：
-从与所述红色通道和所述蓝色通道相关联的所述主要调制分量获得用于所述红色通道和所述蓝色通道的相对相位信息；以及
-从所述相对相位信息与所述红色径向传递函数RRTF和所述蓝色径向传递函数BRTF的比较中获得用于所述红色通道和所述蓝色通道的绝对相位信息。
16.一种非暂时性计算机可读存储介质，在所述非暂时性计算机可读存储介质上已存储有用于从源自场景并根据衍射光栅图案来衍射的经过衍射的光学波前而获得所述场景的三维图像数据的计算机可执行指令，所述衍射光栅图案沿着光栅轴具有光栅周期，所述经过衍射的光学波前已使用像素阵列在近场区域中进行衍射，从而获得像素数据，所述像素阵列包括多个光敏像素，每个光敏像素与滤色器相关联，所述滤色器形成颜色马赛克，所述颜色马赛克定义主色和一个或多个次色，所述主色和所述一个或多个次色被布置成使得与所述主色相关联的不同的相邻像素在所述经过衍射的光学波前的完整周期内检测所述经过衍射的光学波前的不同的空间部分，所述像素阵列沿着所述光栅轴具有小于所述光栅周期的像素间距，所述计算机可执行指令在由已经接收到所述像素数据的处理器执行时致使所述处理器执行以下步骤：
a)根据所述主色和所述次色将所述像素数据解析成对应的主色通道和次色通道；
b)确定所述经过衍射的光学波前的强度分布中与所述主色通道相关联的主要基础分量和主要调制分量；
c)确定所述经过衍射的光学波前的强度分布中与所述次要通道中的每个次要通道相关联的次要基础分量和次要调制分量；
d)使用所述主要基础分量和所述次要基础分量重建所述场景的2D图像；以及
e)使用至少一个颜色径向传递函数创建所述场景的深度图，所述至少一个颜色径向传递函数被校准以从所述颜色通道的相关联的颜色通道的所述调制分量来提供物距信息。
17.根据权利要求16所述的非暂时性计算机可读存储介质，其中每个颜色径向传递函数将所述相关联的颜色通道的所述经过衍射的光学波前的所述强度分布与用于所述检测步骤的图像捕获装置的对应焦平面相关。
18.根据权利要求16所述的非暂时性计算机可读存储介质，其中所述物距信息是从某一关系获得使得：
其中z是在所述场景中的给定物体与所述图像捕获装置的所述焦平面的距离、2D图像是在步骤d)中重建的所述2D图像，并且CRTF是所述径向传递函数。
19.根据权利要求18所述的非暂时性计算机可读存储介质，其中CRTF的值是从来自所述焦平面的极坐标r、φ、θ、像素数量n以及入射波长λ的拟合函数获得。
20.根据权利要求16至19中任一项所述的非暂时性计算机可读存储介质，其中步骤c)的所述确定次要基础分量和次要调制分量包括使用与所述像素的相邻组的所述主色通道相关联的所述经过衍射的光学波前的所述强度分布来确定所述相邻组是否具有相长干涉偏移或相消干涉偏移。
21.根据权利要求16至20中任一项所述的非暂时性计算机可读存储介质，其中步骤d)的所述重建2D图像包括使用所述主要基础分量归一化所述次要基础分量。
22.根据权利要求16至21中任一项所述的非暂时性计算机可读存储介质，其中步骤d)的所述重建2D图像包括：
-使用所述主要调制分量和所述相关联的颜色径向传递函数来获得所述物距信息；以及
-鉴于所述物距信息，使用所述次要调制分量和所述相关联的颜色径向传递函数来补偿在所述2D图像中来自所述光学波前的所述衍射的假影。
23.根据权利要求16至22中任一项所述的非暂时性计算机可读存储介质，其中步骤e)的深度图的所述创建包括使用所述主要调制分量和所述相关联的颜色径向传递函数来创建粗略的深度图。
24.根据权利要求23所述的非暂时性计算机可读存储介质，其中创建粗略的深度图包括：
-从与所述主色通道相关联的所述主要调制分量获得用于所述主色通道的相对相位信息；以及
-从所述相对相位信息和与所述主色通道相关联的所述颜色径向传递函数的比较中获得用于所述主色通道的绝对相位信息。
25.根据权利要求23或24所述的非暂时性计算机可读存储介质，其中深度图的所述创建包括使用所述一个或多个次要调制分量和所述相关联的颜色径向传递函数来校正所述粗略的深度图。
26.根据权利要求25所述的非暂时性计算机可读存储介质，其中校正所述粗略的深度图包括：
技术研发人员：乔纳森·伊库拉·萨里，赵智镐，
申请(专利权)人：艾瑞三D有限公司，
类型：发明
国别省市：加拿大;CA
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。