成像装置制造方法及图纸

通过组合多种测距方案以在避免投影光的干涉的同时提高测距精度。光源投影单元投影被强度调制的空间图案光。光飞行时间测距相机基于当空间图案光从被摄体反射时获得的反射光中包括的调制分量的光飞行时间来测量到被摄体的距离。空间信息测距相机基于反射光中包括的空间信息来测量到被摄体的距离。深度合成单元将光飞行时间测距相机和空间信息测距相机中的测距结果合成，以确定由光飞行时间测距相机或空间信息测距相机拍摄的图像的每个像素位置的深度值。

Imaging device

A variety of ranging schemes are combined to improve the ranging accuracy while avoiding the interference of projection light. The projection unit of light source projected intensity modulated spatial pattern light. The optical flight time range camera measure the range of the subject based on the light flight time of the modulated component included in the reflected light obtained by the space pattern light from the subject. The space information ranging camera measures the distance of the object based on the spatial information contained in the reflected light. The depth synthesis unit syntheses the ranging results in the optical flight time range camera and the space information range camera to determine the depth value of each pixel position of the image taken by the optical flight time range camera or the space information range camera.

【技术实现步骤摘要】
【国外来华专利技术】成像装置
本技术涉及一种成像装置。具体地，本专利技术涉及用于测量到被摄体的距离的成像装置、成像装置中的处理方法以及用于使计算机执行处理方法的程序。
技术介绍
在目前的成像装置中，采用不仅获取被摄体的图像信号而且还获取以像素为单位表示距离信息的深度图的技术。作为获取距离信息的技术，例如，已知ToF系统和立体系统，其中，ToF系统基于包括在来自被摄体的反射光中的调制分量的光飞行时间(ToF：timeofflight)来测量距离，并且立体系统根据两个图像的偏移量来测量距离。用于获取距离信息的这些技术具有优点和缺点。例如，立体系统的优点在于，可以通过调节作为两个相机之间的距离的基线长度来调节待测量的距离。此外，通过添加主动光源可以补偿在黑暗处或无边缘部分中的测距。一方面，在ToF系统中，该距离通过相位偏移被转换，因此计算简单，但是存在的问题在于，诸如多通道等的多个测量结果在被摄体的边缘部分处被混合，测距性能劣化。因此，已经提出了将ToF系统和立体系统相结合的系统(例如，参见专利文献1和2)。引用列表专利文献专利文献1：国际公开号No.2012/137434专利文献2：日本专利申请特开No.2005-077130
技术实现思路
技术问题在上述传统技术中，可以设想，通过ToF系统和立体系统对距离信息进行整合，以空间地合成由各个系统准确地测量的测量值，从而获得高质量的距离信息。然而，如果将两个测量值简单地组合在一起，则两个光源会投影出相同的场景，并且投影光因彼此干涉而成为噪声分量，从而导致测距精度劣化。本技术是鉴于上述情况而作出的，并且其目的在于，在避免投影光的干涉的同时，通过将多种测距方法进行组合来提高测距精度，干涉。技术方案本技术用于解决上述问题，并且本技术的第一方面是成像装置，该成像装置包括：光源投影单元，其被构造成投影被强度调制的空间图案光；光飞行时间测距相机，其被构造成基于包括在来自被摄体的空间图案光的反射光中的调制分量的光飞行时间来测量到被摄体的距离；空间信息测距相机，其被构造成基于包括反射光中的空间信息来测量到被摄体的距离；以及深度合成单元，其被构造成将光飞行时间测距相机和空间信息测距相机中的距离的测量结果进行合成，以确定由光飞行时间测距相机或空间信息测距相机成像的图像的每个像素位置的深度值。该构造提供的用作在于，将光飞行时间测距相机和空间信息测距相机中的距离的测量结果进行合成以提高测距精度。此外，在第一方面中，光源投影单元可以包括：光源生成单元，其被构造成根据预定的调制信号和预定的垂直同步信号来生成强度调制光源；以及光学元件，其被构造成根据空间位置来使光源变形，以生成空间图案光。该构造提供的作用在于投影被强度调制的空间图案光。此外，在第一方面中，光飞行时间测距相机和空间信息测距相机中的每者均可以生成作为测量结果的各像素位置的深度值和深度值的可靠性，并且深度合成单元可以基于测量结果中的可靠性大小来确定各像素位置的深度值。该构造提供的作用在于，基于光飞行时间测距相机和空间信息测距相机的深度值的可靠性大小来确定深度值。在这种情况下，深度合成单元可以针对各像素选择测量结果中具有最高可靠性的深度值，以确定各像素位置的深度值。此外，在第一方面中，空间信息测距相机是立体相机，该立体相机包括左右两个成像元件，并被构造成测量到被摄体的距离，该测量基于从右图像和左图像中求出的各像素位置中的视差量和两个成像元件的基线长度，其中，右图像和左图像是从与包括在反射光中的空间信息有关的两个成像元件中获得的。这提供的作用在于，利用立体相机对距离的测量结果，可以提高测距精度。此外，在第一方面中，空间信息测距相机为结构光相机，其被构造成基于与包括在反射光中的空间信息有关的三角测量计算来测量到被摄体的距离。这提供的作用在于，利用结构光相机对距离的测量结果，可以提高测距精度。此外，在第一方面中，还包括第二光飞行时间测距相机，该第二光飞行时间测距相机被构造成基于包括在来自被摄体的空间图案光的反射光中的调制分量的光飞行时间来测量到被摄体的距离，并且光飞行时间测距相机和第二光飞行时间测距相机可以作为空间信息测距相机进行操作。这提供的作用在于，利用两台光飞行时间测距相机对距离的测量结果，可以提高测距精度。在这种情况下，光飞行时间测距相机和第二光飞行时间测距相机中的每者可以生成作为测量结果的各像素位置的深度值和深度值的可靠性，光飞行时间测距相机和第二光飞行时间测距相机可以生成作为空间信息测距相机的测量结果的各像素位置的深度值和深度值的可靠性，并且深度合成单元可以针对各像素在光飞行时间测距相机和第二光飞行时间测距相机的测量结果以及作为空间信息测距相机的测量结果中选择具有最高可靠性的深度值，以确定各像素位置的深度值。此外，在第一方面中，光飞行时间测距相机和空间信息测距相机可以是集成相机，该集成相机基于包括在反射光中的调制分量的光飞行时间来测量到被摄体的距离，并且基于与包括在反射光中的空间信息有关的三角测量计算来测量到被摄体的距离。这提供的作用在于，利用集成相机的多个测量结果，可以提高测距精度。有益效果根据本技术，可以发挥通过组合多种测距方法的来提高测距精度而同时避免投影光的干涉的优越效果。注意，这里说明的效果不一定受到限制，并且可以呈现本公开中说明的任何效果。附图说明图1是示出根据本技术的实施例的成像装置100的构造示例的图。图2是示出根据本技术的实施例的拍摄控制单元180的构造示例的图。图3是示出根据本技术的实施例的光源投影单元130的构造示例的图。图4是示出根据本技术的实施例的空间图案光的模式的示例的图。图5是示出根据本技术的第一实施例的ToF相机110的构造示例的图。图6是示出根据本技术的实施例的作为测距方法的示例的脉冲方法的图。图7是示出根据本技术的第一实施例的立体相机120的构造示例的图。图8是示出根据本技术的第一实施例的深度合成单元160的构造示例的图。图9是示出根据本技术的实施例的拍摄控制单元180的操作过程示例的流程图。图10是示出本技术的实施例中的光源投影单元130的操作过程示例的流程图。图11是示出根据本技术的第一实施例的ToF相机110的操作过程示例的流程图。图12是示出根据本技术的第一实施例的立体相机120的操作过程示例的流程图。图13是示出根据本技术的第二实施例的ToF相机110和相机126的构造示例的图。图14是示出根据本技术的第三实施例的结构光相机140的构造示例的图。图15是示出根据本技术的第四实施例的ToF相机110和ToF相机116的构造示例的图。图16是示出根据本技术的第五实施例的相机150的构造示例的图。图17是示出车辆控制系统的示意性构造的示例的框图。图18是示出车辆外部信息检测单元和成像单元的安装位置的示例的说明图。图19是示出内窥镜手术系统的示意性构造的示例的图。图20是示出摄像头和CCU的实用构造的示例的框图。具体实施方式以下，将说明实施本技术的方式(以下称为实施例)。将根据以下顺序进行说明。1.第一实施例(使用ToF相机和立体相机的示例)2.第二实施例(使用ToF相机和单眼相机的示例)3.第三实施例(使用ToF相机和结构光相机的示例)4.第四实施例(使用两台ToF相机的示例)5.第五实施例(集成T本文档来自技高网...

【技术保护点】
一种成像装置，其包括：光源投影单元，其被构造成投影被强度调制的空间图案光；光飞行时间测距相机，其被构造成基于包括在来自被摄体的所述空间图案光的反射光中的调制分量的光飞行时间来测量到所述被摄体的距离；空间信息测距相机，其被构造成基于包括在所述反射光中的空间信息来测量到所述被摄体的距离；以及深度合成单元，其被构造成合成所述光飞行时间测距相机和所述空间信息测距相机中的距离的测量结果，以确定由所述光飞行时间测距相机或所述空间信息测距相机进行成像的图像的每个像素位置处的深度值。

【技术特征摘要】
【国外来华专利技术】2016.09.01 JP 2016-1710481.一种成像装置，其包括：光源投影单元，其被构造成投影被强度调制的空间图案光；光飞行时间测距相机，其被构造成基于包括在来自被摄体的所述空间图案光的反射光中的调制分量的光飞行时间来测量到所述被摄体的距离；空间信息测距相机，其被构造成基于包括在所述反射光中的空间信息来测量到所述被摄体的距离；以及深度合成单元，其被构造成合成所述光飞行时间测距相机和所述空间信息测距相机中的距离的测量结果，以确定由所述光飞行时间测距相机或所述空间信息测距相机进行成像的图像的每个像素位置处的深度值。2.根据权利要求1所述的成像装置，其中所述光源投影单元包括：光源生成单元，其被构造成根据预定的调制信号和预定的垂直同步信号生成强度调制光源，以及光学元件，其被构造成根据空间位置使所述光源变形以产生所述空间图案光。3.根据权利要求1所述的成像装置，其中所述光飞行时间测距相机和所述空间信息测距相机中的每者生成作为所述测量结果的每个像素位置的深度值和所述深度值的可靠性，并且所述深度合成单元基于所述测量结果中的所述可靠性的大小来确定每个像素位置的所述深度值。4.根据权利要求3所述的成像装置，其中所述深度合成单元为每个像素选择所述测量结果中具有最高可靠性的深度值，以确定每个像素位置的所述深度值。5.根据权利要求1所述的成像装置，其中所述空间信息测距相机是包括左右两个成像元件的立体相机，并且被构造成测量到所述被摄体的距离，所述测量基于从右图像和左图像中求出的各像素位...

【专利技术属性】
技术研发人员：山田英史，
申请(专利权)人：索尼半导体解决方案公司，
类型：发明
国别省市：日本,JP