一种在图像传感器芯片上实现3D点云坐标计算和系统装置制造方法及图纸

本发明专利技术公开了一种在图像传感器芯片上实现3D点云坐标计算和系统装置，通过设计3D图像传感器芯片、像素存储器阵列以及行列地址记录器，在主动光源发射光线到被测物体时，像素存储器阵列读取传感器每个像素曝光信息的同时记录该像素的行列地址信息形成坐标像素单元，3D点云生成单元根据获得的坐标像素单元位置坐标信息以及预先标定的光源和传感器镜头的中心点参数计算被测物体的3D点云坐标。中心点参数计算被测物体的3D点云坐标。中心点参数计算被测物体的3D点云坐标。

【技术实现步骤摘要】
一种在图像传感器芯片上实现3D点云坐标计算和系统装置


[0001]本专利技术属于机器视觉、人工智能和3D传感器装备


技术介绍

[0002]目前，3D相机的设计实现方法是用1或2台2D相机完成成像，然后计算每个像素的坐标位置，最后计算被测物体的3D点云坐标。其缺陷和不足在于：1)消耗大量的计算资源，由于2D相机要经过传感器成像、ISP图像信号处理后生成人眼可以看到的2D图像，而且在3D点云生成的时候，主要是定位每个像素的坐标，并不需要人眼可以看到的2D图像；2)实时性差，目前的最高性能是2帧/秒；3)对高反光物体、黑色低反光物体、表面油污以及复杂强环境光的被测物体成像有很多局限，由于用2D相机实现， 2D相机的传感器RGGB滤光结构无法有效过滤对3D点云生成无用的光线； 4)功耗高，2D相机ISP处理需要大量计算资源。
[0003]由此可以看出，要使3D相机解决上述问题，就必须从图像传感器集成电路层面进行创新解决上述问题，考虑在图像传感器像素曝光后，在图像传感器芯片行选、列选有效并读取像素电压值的同时直接获得像素的坐标信息 (x,y)，为后续的3D点云生成使用。

技术实现思路

[0004]本专利技术公开了一种在图像传感器芯片上实现3D点云坐标计算和系统装置，通过设计3D图像传感器芯片，在图像传感器芯片内部设计像素像素存储器阵列、行记录器和列记录器，在主动光源发射光线到被测物体时，控制单元读取传感器每个像素曝光信息的同时记录该像素的位置坐标信息，在直接获得了像素的坐标信息后，3D点云生成单元根据获得的像素位置坐标信息以及预先标定的光源和传感器镜头的中心点参数计算被测物体的3D点云坐标。
[0005]为达到上述目的，本专利技术的技术方案是这样实现的：
[0006]一种在图像传感器芯片上实现3D点云坐标计算和系统装置，由3D图像传感器芯片、3D点云生成单元、传感器阵列、主动光源和光学镜头机构组成。其特征在于，3D图像传感器芯片设计像素存储器阵列，在主动光源发射光线到被测物体时，通过行选、列选控制读取传感器每个像素曝光信息的同时记录该像素行选、列选有效的位置生成坐标像素单元信息，3D点云生成单元根据获得的像素位置坐标信息以及预先标定的光源和传感器镜头的中心点参数计算被测物体的3D点云坐标。
[0007]该装置还包括以下步骤：
[0008]a、控制主动光源发光，投射一条光线到被测物体；
[0009]b、3D图像传感器控制像素曝光；
[0010]c、选行，列选控制锁定被读取的像素；
[0011]d、被读像素ADC模数转换；
[0012]e、像素存储器阵列将像素数据和像素坐标形成的坐标像素单元发给3D点云生成单元；
[0013]f、3D坐标生成单元利用坐标像素的行地址和列地址，根据传感器阵列芯片生产实现的集成电路工艺节点和每个像素的大小参数，计算像素的坐标x，y，图像传感器成像镜头中心点，传感器与主动光源的距离参数，X/x＝Y/y＝Z/f方程，计算3D点云坐标X，Y，Z；其中：f为镜头的焦距值。
[0014]g、被测物体移动成像，重复步骤a，直至被测物体3D点云坐标生成完成；
[0015]较佳地，ADC模数转换方式为每一行像素设有一个独有的模数转换单元，可实现对一行像素的高速并行模数转换
[0016]较佳地ADC模数转换方式为每个像素设有一个独有的模数转换单元，可实现对所有像素的高速并行模数转换。
[0017]更进一步，3D图像传感器芯片的像素存储器阵列并将从DAC模数转换单元读取的像素数据信息与被读像素选中的行地址和列地址信息整合成一个坐标像素单元，坐标像素单元包含：a位二进制行地址，b位二进制列地址，像素数据信息。其中，2
a
为传感器像素阵列一行像素的总个数，2
b
为像素阵列一列的像素总个数。
[0018]较佳地，为减少后续传输和处理的工作量，像素存储器阵列对读取的像素信息进行滤波判断，对于未能曝光成像的像素数据进行剔除，只发送可曝光成像的像素信息和坐标给3D点云生成单元。
[0019]更进一步，像素存储器阵列的设计方法包含但不仅限于：1)按串行读取一个像素，生成一个坐标像素单元；2)并行读取一行像素，生成一行坐标像素单元；3)同时读取全局坐标像素单元。
[0020]更进一步，主动光源的使用包括但不限于：线激光发射器光源，LED光源；为保证被测物体整体的3D坐标生成，被测物体移动成像方法包括但不仅限于：被测物体自主移动，3D点云坐标生成装置自主移动，采用激光振镜移动线激光发射的光线。
[0021]当3D图像传感器完成像素和其坐标数据采集后，传送给3D点云生成单元计算被测物体的3D点云坐标，其方法包含以下步骤：
[0022]a、按照物理像素的实际尺寸和像素所处的行列坐标信息，计算像素的实际坐标值(x,y)；
[0023]b、利用光学镜头像中心点小孔成像原理，将像素实际坐标值与被测物体 3D坐标(X,Y,Z)建立方程式；X/x＝Y/y＝Z/f，其中：f是3D传感器装置光学镜头的焦距；
[0024]c、利用已知的3D图像传感器与主动光源的距离数据和光源射线与被测物体相交在空间形成的平面方程，计算出被测物体对应成像像素的3D坐标(X， Y，Z)。
[0025]更进一步，为了抗环境光干扰，传感器像素阵列包括物理传感器和滤光材料，滤光材料包含但不仅限于：使用于主动光源发射的光的波长一致的滤光材料；
[0026]物理传感器包含但不仅限于：CMOS(Complementary Metal OxideSemiconductor)图像传感器，CCD(Charge Couple Device)传感器。
[0027]更进一步，3D点云生成单元的实际实现方法包含但不仅限于：1)现场可编程阵列FPGA；2)计算单元CPU+图形处理器GPU；3)片上系统芯片SoC； 4)集成在3D图像传感器芯片中且与3D图像传感器同样集成电路工艺。
[0028]更进一步，3D图像传感器芯片可实现的装置场景至少包含：1)3D面阵相机；2)3D线扫描相机；3)3D激光雷达装置。
附图说明
[0029]图1所示为应用本专利技术的系统原理示意图
[0030][0031]图2所示为应用本专利技术的3D图像传感器芯片原理示意图
[0032][0033]图3所示为应用本专利技术芯片的工作处理流程实施例
[0034][0035]图4所示为应用本专利技术第一实施例
[0036][0037]图5所示为应用本专利技术第二实施例
[0038][0039]图6所示为应用本专利技术第三实施例
[0040][0041]图7所示为应用本专利技术第四实施例
[0042]具体实施方式
[0043]本专利技术的思路是：
[0044]针对3D相机的3D点云坐标快速生成、抗环境光干扰以及设计复杂等问题，本专利技术公开了一种在图像传感器芯片上直接获取像本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种在图像传感器芯片上实现3D点云坐标计算和系统装置，由3D图像传感器芯片、3D点云生成单元、传感器阵列、主动光源和光学镜头机构组成。其特征在于，3D图像传感器芯片设计像素存储器阵列、行记录器和列记录器。在主动光源发射光线到被测物体时，通过行选、列选控制读取传感器每个像素曝光信息的同时记录该像素行选、列选有效的地址生成坐标像素单元信息，3D点云生成单元根据获得的像素位置坐标信息以及预先标定的光源和传感器镜头的中心点参数计算被测物体的3D点云坐标。该装置还包括以下步骤：a、控制主动光源发光，投射一条光线到被测物体；b、3D图像传感器控制像素曝光；c、行选，列选控制锁定被读取的像素；d、被读像素ADC模数转换；e、像素存储器阵列将像素数据和像素坐标形成的坐标像素单元发给3D点云生成单元；f、3D坐标生成单元利用像素坐标，图像传感器成像镜头中心点，传感器与主动光源的距离参数计算3D点云坐标X，Y，Z；g、被测物体移动成像，重复步骤a，直至被测物体3D点云坐标生成完成。2.根据权利要求1所述的装置，其特征在于，3D图像传感器芯片的像素存储器阵列并将从DAC模数转换单元读取的像素数据信息与被读像素选中的行地址和列地址信息整合成一个坐标像素单元，并将坐标像素单元的数据发送给3D点云坐标生成单元，更进一步包括但不仅限于，该像素存储器阵列对读取的像素信息进行滤波判断，对于未能曝光成像的像素数据进行剔除，只发送可曝光成像的像素信息和坐标给3D点云生成单元。3.根据权力要求1和权力要求2所述装置，其特征在于，像素存储器阵列包含但不仅限于：1)按串行读取一个像素，生成一个坐标像素单元；2)并行读取...

【专利技术属性】
技术研发人员：韦卫，谢巍，周卫国，刘铮，刘伟华，
申请(专利权)人：深慧视深圳科技有限公司，
类型：发明
国别省市：