测距装置和测距装置的控制方法制造方法及图纸

本发明专利技术改善了接收间歇光的测距装置中的深度图的图像质量。在像素阵列部中，用于接收预定间歇光的多个像素以二维格子状排列。连续光图像数据生成部(310)基于所述多个像素的受光数据(Q1～Q4)来生成指示多个像素的预定连续光的亮度的多条图像数据在其中以二维格子状排列的连续光图像数据(IR)。深度图生成部(320)从所述受光数据(Q1～Q4)和所述连续光图像数据(IR)来生成包括与所述多个像素相对应的距离信息配置在其中的深度图(D)。

【技术实现步骤摘要】
【国外来华专利技术】测距装置和测距装置的控制方法
本技术涉及测距装置和测距装置的控制方法。更具体地，本技术涉及用于从光的相位差来测量距离的测距装置和测距装置的控制方法。
技术介绍
传统上，在具有测距功能的电子装置中，经常使用被称为飞行时间(ToF)方式的测距方式。在ToF方式中，装置利用诸如正弦波或矩形波等间歇光照射物体、接收相对于照射光的反射光并且从照射光和反射光之间的相位差来测量距离。在ToF方式中，如果反射光由其中多个像素以阵列状配置的ToF传感器接收，则该装置可以测量各像素的距离并生成深度图。为了改善深度图的图像质量，提出了添加有用于接收连续光而不是间歇光并对图像数据进行成像的固态成像元件的系统(例如，参见非专利文献1)。在该系统中，ToF传感器的受光数据和由固态成像元件成像的图像数据被输入到交叉双边滤波器以生成深度图。交叉双边滤波器是使用高斯函数的滤波器，用于噪声去除、上采样等。[引用文献列表][非专利文献]非专利文献1：D.Chanetal.,ANoise-AwareFilterforReal-TimeDepthUpsampling,ECCVWorkshops2008.
技术实现思路
[专利技术要解决的技术问题]在上述现有技术中，通过使用交叉双边滤波器，与仅使用ToF传感器的情况相比，可以生成具有改善的图像质量的深度图。然而，由于除了ToF传感器之外还需要安装固态成像元件，所以存在装置的成本和尺寸增加的问题。虽然可以仅利用来自ToF传感器的间歇光的受光数据来生成深度图，但是与添加有固态成像元件的情况相比，深度图的图像质量会劣化。以这种方式，存在如下问题：仅利用间歇光的受光数据不能改善深度图的图像质量。鉴于这种情况而作出了本技术。本技术的目的是改善用于从光的相位差来测量距离的测距装置中的深度图的图像质量。[解决问题的技术方案]本技术用来解决上述问题。本技术的第一方面是一种测距装置和测距装置的控制方法，所述测距装置包括：像素阵列部，其包括接收预定间歇光并且以二维格子状排列的多个像素；连续光图像数据生成部，其基于多个像素中的每一个的受光数据来生成指示预定连续光的亮度的多条像素数据在其中以二维格子状排列的连续光图像数据；和深度图生成部，其从所述受光数据和所述连续光图像数据来生成与所述多个像素中的每一个相对应的距离信息配置在其中的深度图。利用这种构成，获得了如下作用：基于用于接收间歇光的多个像素中的每一个的受光数据而生成了连续光图像数据。另外，根据第一方面，所述受光数据中的每一条都包括多个电荷信号，和所述连续光图像数据生成部可以通过针对所述多个像素中的每一个对所述多个电荷信号进行积分来生成所述连续光图像数据。利用这种构成，获得了如下作用：通过对多个电荷信号进行积分的处理而生成了连续光图像数据。此外，根据第一方面，所述深度图生成部可以获得当已经输入了多个电荷信号和所述连续光图像数据的预定函数被最小化时的电荷信号，以从该电荷信号生成所述深度图。利用这种构成，获得了如下作用：从当预定函数被最小化时的电荷信号生成深度图。此外，根据第一方面，所述深度图生成部可以通过使用预定滤波器来生成所述深度图。利用这种构成，获得了如下作用：通过使用预定滤波器而生成了深度图。此外，根据第一方面，所述像素阵列部被分割成多个像素块，并且所述深度图生成部可以包括：低分辨率电荷信号生成部，其通过对所述受光数据进行像素相加而针对所述多个像素块中的每一个生成作为低分辨率电荷信号的多个电荷信号；低分辨率连续光图像数据生成部，其针对所述多个像素块中的每一个对所述低分辨率电荷信号进行积分，并输出根据积分值的数据配置在其中的低分辨率连续光图像数据；低分辨率深度图生成部，其基于所述低分辨率电荷信号来生成作为低分辨率深度图的与所述多个像素块中的每一个相对应的距离信息配置在其中的数据；和高分辨率深度图生成部，其将所述连续光图像数据、所述低分辨率连续光图像数据和所述低分辨率深度图输入到所述预定滤波器以生成所述深度图。利用这种构成，获得了如下作用：通过将连续光图像数据、低分辨率连续光图像数据和低分辨率深度图输入到预定滤波器而生成了深度图。此外，根据第一方面，所述像素阵列部被分割成多个像素块，并且所述深度图生成部可以包括：低分辨率电荷信号生成部，其通过对所述受光数据进行像素相加而针对所述多个像素块中的每一个生成作为低分辨率电荷信号的多个电荷信号；低分辨率连续光图像数据生成部，其针对所述多个像素块中的每一个对所述低分辨率电荷信号进行积分，并输出根据积分值的数据配置在其中的低分辨率连续光图像数据；高分辨率电荷信号生成部，其将所述连续光图像数据、所述低分辨率连续光图像数据和所述低分辨率电荷信号输入到所述预定滤波器，以生成作为高分辨率电荷信号的针对所述多个像素中的每一个的新的电荷信号；和深度转换部，其将所述高分辨率电荷信号转换为所述距离信息。利用这种构成，获得了如下作用：通过将连续光图像数据、低分辨率连续光图像数据和低分辨率电荷信号输入到预定滤波器而生成了高分辨率电荷信号。此外，根据第一方面，所述深度图生成部可以包括：深度转换部，其将多个电荷信号转换为所述距离信息；和深度图噪声去除部，其将所述距离信息和所述连续光图像数据输入到所述预定滤波器以去除所述距离信息的噪声。利用这种构成，获得了如下作用：通过将距离信息和连续光图像数据输入到预定滤波器而去除了距离信息的噪声。此外，根据第一方面，所述深度图生成部可以包括：电荷信号噪声去除部，其将所述连续光图像数据和多个电荷信号输入到所述预定滤波器以去除所述多个电荷信号的噪声；和深度转换部，其将已经去除了噪声的多个电荷信号转换为所述距离信息。利用这种构成，获得了如下作用：通过将连续光图像数据和多个电荷信号输入到预定滤波器而去除了多个电荷信号的噪声。此外，根据第一方面，所述多个电荷信号可以包括第一、第二、第三和第四电荷信号，和所述预定滤波器是其中随着第一和第二电荷信号之和与第三和第四电荷信号之和之间的差分绝对值变大而变小的权重系数乘以预定高斯函数的滤波器。利用这种构成，获得了如下作用：通过其中随着第一和第二电荷信号之和与第三和第四电荷信号之和之间的差分绝对值变大而变小的权重系数乘以预定高斯函数的滤波器而生成了深度图。此外，根据第一方面，所述多个电荷信号包括第一、第二、第三和第四电荷信号，和所述预定滤波器是其中随着第一和第二电荷信号之差的平方与第三和第四电荷信号之差的平方之和变大而变大的权重系数乘以预定高斯函数的滤波器。利用这种构成，获得了如下作用：通过其中随着第一和第二电荷信号之差的平方与第三和第四电荷信号之差的平方之和变大而变大的权重系数乘以预定高斯函数的滤波器而生成了深度图。此外，根据第一方面，所述预定滤波器可以包括其中随着噪声被去除之前的间歇光的相位与已经去除了噪声的间歇光的相位之间的差变小而变大的系数乘以标准偏差的项的高斯函数。利用这种构成，获得了如下作用：通过包括其中随着噪声被去除之前的间歇光的相位与已经去除了噪声的间歇光的相位之间的差变小而变大的系数乘以标准偏差的项的高斯函数的预定滤波器而生成了深度图。此外，根据第一方面，所述像素阵列部在预定期间内接收所述预定间歇光并且在与所述预定期间不同的连续光接收期间内接收所述预定连续光，和所述本文档来自技高网...

【技术保护点】
一种测距装置，包括：像素阵列部，其包括接收预定间歇光并且以二维格子状排列的多个像素；连续光图像数据生成部，其构造成基于所述多个像素中的每一个的受光数据来生成指示预定连续光的亮度的多条像素数据在其中以二维格子状排列的连续光图像数据；和深度图生成部，其构造成基于所述受光数据和所述连续光图像数据来生成与所述多个像素中的每一个相对应的距离信息配置在其中的深度图。

【技术特征摘要】
【国外来华专利技术】2016.08.30 JP 2016-1682521.一种测距装置，包括：像素阵列部，其包括接收预定间歇光并且以二维格子状排列的多个像素；连续光图像数据生成部，其构造成基于所述多个像素中的每一个的受光数据来生成指示预定连续光的亮度的多条像素数据在其中以二维格子状排列的连续光图像数据；和深度图生成部，其构造成基于所述受光数据和所述连续光图像数据来生成与所述多个像素中的每一个相对应的距离信息配置在其中的深度图。2.根据权利要求1所述的测距装置，其中所述受光数据中的每一条都包括多个电荷信号，和所述连续光图像数据生成部通过针对所述多个像素中的每一个对所述多个电荷信号进行积分来生成所述连续光图像数据。3.根据权利要求1所述的测距装置，其中所述深度图生成部获得当已经输入了多个电荷信号和所述连续光图像数据的预定函数被最小化时的电荷信号，以从该电荷信号生成所述深度图。4.根据权利要求1所述的测距装置，其中所述深度图生成部通过使用预定滤波器来生成所述深度图。5.根据权利要求4所述的测距装置，其中所述像素阵列部被分割成多个像素块，和所述深度图生成部包括：低分辨率电荷信号生成部，其通过对所述受光数据进行像素相加而针对所述多个像素块中的每一个生成作为低分辨率电荷信号的多个电荷信号；低分辨率连续光图像数据生成部，其针对所述多个像素块中的每一个对所述低分辨率电荷信号进行积分，并输出根据积分值的数据配置在其中的低分辨率连续光图像数据；低分辨率深度图生成部，其基于所述低分辨率电荷信号来生成作为低分辨率深度图的与所述多个像素块中的每一个相对应的距离信息配置在其中的数据；和高分辨率深度图生成部，其将所述连续光图像数据、所述低分辨率连续光图像数据和所述低分辨率深度图输入到所述预定滤波器以生成所述深度图。6.根据权利要求4所述的测距装置，其中所述像素阵列部被分割成多个像素块，和所述深度图生成部包括：低分辨率电荷信号生成部，其通过对所述受光数据进行像素相加而针对所述多个像素块中的每一个生成作为低分辨率电荷信号的多个电荷信号；低分辨率连续光图像数据生成部，其针对所述多个像素块中的每一个对所述低分辨率电荷信号进行积分，并输出根据积分值的数据配置在其中的低分辨率连续光图像数据；高分辨率电...

【专利技术属性】
技术研发人员：大木光晴，
申请(专利权)人：索尼半导体解决方案公司，
类型：发明
国别省市：日本,JP