分析部、飞行时间成像装置和方法制造方法及图纸

本公开涉及用于飞行时间成像部的分析部，其中，飞行时间成像部包括至少一个第一类型的成像元件和至少一个第二类型的成像元件，其中，至少一个第一类型的成像元件和至少一个第二类型的成像元件以预定图案布置，该分析部被配置为：基于至少一个第二类型的成像元件的第二成像元件数据构造至少一个第一类型的成像元件的第一成像数据，其中，基于机器学习算法构造第一成像数据。构造第一成像数据。构造第一成像数据。

【技术实现步骤摘要】
【国外来华专利技术】分析部、飞行时间成像装置和方法


[0001]本公开总体上涉及用于飞行时间成像部的分析部、飞行时间成像装置和用于控制飞行时间成像部的方法。

技术介绍

[0002]通常，飞行时间(ToF)装置已知用于例如成像或创建诸如对象、人等的场景的深度图。可以通过测量发射光和反射光的运行时间(dToF)或通过测量发射光和反射光的一个或多个相移(iToF)来区分直接ToF(dToF)和间接ToF(iToF)以测量距离。
[0003]为了测量距离，已知飞行时间装置需要遍历数千或数百万个测量周期，这可以导致耗时的过程。此外，为了减少测量周期的数量，同时保持还能够获取除深度/距离信息之外的信息(诸如颜色信息)的复杂成像芯片，必须找到复杂的算法来对原始成像数据进行去马赛克处理。
[0004]因此，通常期望提供用于飞行时间成像部的分析部、飞行时间成像装置和用于控制用于飞行时间成像部的分析部的方法。

技术实现思路

[0005]根据第一方面，本公开提供一种用于飞行时间成像部的分析部，其中，飞行时间成像部包括至少一个第一类型的成像元件和至少一个第二类型的成像元件，其中，至少一个第一类型的成像元件和至少一个第二类型的成像元件以预定图案布置，其中，分析部被配置为：基于至少一个第二类型的成像元件的第二成像元件数据构造至少一个第一类型的成像元件的第一成像数据，其中，基于机器学习算法构造第一成像数据。
[0006]根据第二方面，本公开提供一种飞行时间成像装置，包括：飞行时间成像部，包括至少一个第一类型的成像元件和至少一个第二类型的成像元件，其中，至少一个第一类型的成像元件和至少一个第二类型的成像元件以预定图案布置；以及用于飞行时间成像部的分析部，被配置为：基于至少一个第二类型的成像元件的第二成像元件数据构造至少一个第一类型的成像元件的第一成像数据，其中，基于机器学习算法构造第一成像数据。
[0007]根据第三方面，本公开提供一种用于控制用于飞行时间成像部的分析部的方法，其中，飞行时间成像部包括至少一个第一类型的成像元件和至少一个第二类型的成像元件，其中，至少一个第一类型的成像元件和至少一个第二类型的成像元件以预定图案布置，该方法包括：基于至少一个第二类型的成像元件的第二成像元件数据构造至少一个第一类型的成像元件的第一成像数据，其中，基于机器学习算法构造第一成像数据。
[0008]在从属权利要求、以下描述和附图中阐述了进一步的方面。
附图说明
[0009]通过关于附图的示例来解释实施例，其中：
[0010]图1示出了ToF成像部的六个实施例；
[0011]图2示出了ToF成像装置的实施例；
[0012]图3示出了用于构造成像数据的方法；
[0013]图4示出了马赛克化原始数据的表示；
[0014]图5示出了第一成像数据和第二成像数据以及输出数据的第一示例；
[0015]图6示出了第一成像数据和第二成像数据以及输出数据的第二示例；
[0016]图7是描绘堆叠图像传感器的外部配置的第一示例的透视图；
[0017]图8是描绘堆叠图像传感器的外部配置的第二示例的透视图；
[0018]图9是描绘外围电路的配置示例的框图；
[0019]图10是飞行时间装置的实施例的抽象图；并且
[0020]图11示出了根据本公开的方法的实施例的流程图。
具体实施方式
[0021]在给出参考图1的实施例的详细描述之前，进行一般性解释。
[0022]如开头已经解释的那样，通常期望具有少量(例如，一个)成像周期。因此，已经认识到，必须找到复杂的算法以便能够对以少量成像周期获取的原始成像数据进行去马赛克处理。
[0023]因此，一些实施例涉及用于飞行时间成像部的分析部，其中，飞行时间成像部包括至少一个第一类型的成像元件和至少一个第二类型的成像元件，其中，至少一个第一类型的成像元件和至少一个第二类型的成像元件以预定图案布置，其中，分析部被配置为：基于至少一个第二类型的成像元件的第二成像元件数据构造至少一个第一类型的成像元件的第一成像数据，其中，基于机器学习算法构造第一成像数据。
[0024]通常，分析部可以由被配置为执行如本文所述的方法的(任何)电路系统(诸如可以被配置为分析(成像)数据等的任何装置、芯片等)提供，并且该部分可以包括一个或多个处理器、电路、电路系统等，它们也可以分布在飞行时间装置或成像部中。例如，分析部(电路系统)可以是处理器，诸如中央处理单元(CPU)、图形处理单元(GPU)、现场可编程门阵列(FPGA)等，或者CPU、GPU、FPGA的若干单元(也以组合的方式)。在其他实施例中，分析部(电路系统)是(个人)计算机、服务器、AI加速器等。
[0025]飞行时间成像部可以实现为相机，例如，实现为独立装置，或者它可以与其他相机技术结合以创建深度图。飞行时间设备还可以包括或集成在另一装置中，诸如智能电话、平板电脑、手持计算机、相机系统等。
[0026]通常，本技术还可以在使用飞行时间技术的任何
(诸如汽车技术、交通系统等)实现。
[0027]飞行时间成像部的实施例可以基于不同的飞行时间(ToF)技术。通常，ToF装置可以分为两种主要技术，即间接ToF(iToF)和直接ToF(dToF)，如上所述。
[0028]可以基于iToF技术的飞行时间成像部通过恢复相关波的相位来间接获得深度测量，该相关波的相位表示所调制的发射光与从由场景反射接收的光之间的相移。分析部(例如，被配置在iToF像素传感器中或被配置为从iToF像素传感器读取信号的部分)解调从场景反射的照明调制周期以采样相关波(在所发射的调制光信号与所接收的解调光信号或指示所发射的调制光信号和所接收的解调光信号的信号之间)，这是基于通过使发射光和检
测光相关而获得的相关性。
[0029]在一些实施例中，基于dToF技术的飞行时间成像部通过测量由光源发射并从场景反射的光子的飞行时间(例如，基于所发射的数百个短照明脉冲)直接获得深度测量。
[0030]通常，成像元件可以基于用于飞行时间系统的任何类型的已知感测技术并且可以基于例如互补金属氧化物半导体(CMOS)、电荷耦合装置(CCD)、单光子雪崩二极管(SPAD)、电流辅助光电二极管(CAPD)技术等，其中，SPAD可以用于基于dToF的技术，并且CAPD可以用于基于iToF的技术。
[0031]此外，飞行时间成像部可以包括成像元件(例如，单个像素)或多个成像元件(例如，多个像素)，如通常所知，该成像元件(例如，单个像素)或多个成像元件(例如，多个像素)可以以阵列、图案等布置。具体地，ToF成像部可以具有少量成像元件(像素)(例如，64
×
64像素)，但是在其他实施例中，像素的数量可以更小(例如，32
×
32、16
×
16、16
×
32等)或更大(例如，128
×
128像本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于飞行时间成像部的分析部，其中，所述飞行时间成像部包括至少一个第一类型的成像元件和至少一个第二类型的成像元件，其中，所述至少一个第一类型的成像元件和所述至少一个第二类型的成像元件以预定图案布置，其中，所述分析部被配置为：基于所述至少一个第二类型的成像元件的第二成像元件数据构造所述至少一个第一类型的成像元件的第一成像数据，其中，基于机器学习算法构造所述第一成像数据。2.根据权利要求1所述的分析部，被进一步配置为：基于所述至少一个第一类型的成像元件的第一成像元件数据构造所述至少一个第二类型的成像元件的第二成像数据，其中，所述第一成像元件数据基于第一调制相位，并且所述第二成像元件数据基于第二调制相位。3.根据权利要求2所述的分析部，其中，所述飞行时间成像部包括至少一个第三类型的成像元件，所述至少一个第三类型的成像元件包括在所述预定图案中，并且其中，所述分析部被进一步配置为：基于所述第一成像元件数据和所述第二成像元件数据中的任一个构造所述至少一个第三类型的成像元件的第三成像数据，其中，所述第三成像数据指示颜色信息。4.根据权利要求3所述的分析部，其中，基于第三成像元件数据进一步构造所述第一成像数据和所述第二成像数据中的任一个。5.根据权利要求1所述的分析部，其中，所述机器学习算法应用于神经网络。6.根据权利要求5所述的分析部，其中，基于所述预定图案训练所述神经网络。7.根据权利要求1所述的分析部，其中，在所述分析部处提供由所述机器学习算法获得的函数。8.根据权利要求1所述的分析部，其中，响应于所述飞行时间成像部的一次曝光构造所述第一成像数据。9.一种飞行时间成像装置，包括：飞行时间成像部，包括至少一个第一类型的成像元件和至少一个第二类型的成像元件，其中，所述至少一个第一类型的成像元件和所述至少一个第二类型的成像元件以预定图案布置；以及用于所述飞行时间成像部的分析部，被配置为：基于所述至少一个第二类型的成像元件的第二成像元件数据构造所述至少一个第一类型的成像元件的第一成像数据，其中，基于机器学习算法构造所述第一成像数据。10.根据权利要求9所述的飞行时间成像装置，其中，所述飞行...

【专利技术属性】
技术研发人员：瓦莱里奥，
申请(专利权)人：索尼半导体解决方案公司，
类型：发明
国别省市：