深度成像器被配置成使用第一深度成像技术来生成第一深度图像，并使用不同于第一深度成像技术的第二深度成像技术来生成第二深度图像。第一深度图像和第二深度图像中的每一个的至少一部分被合并而形成第三深度图像。深度成像器包括至少一个传感器，其包括至少部分地被第一和第二深度成像技术共享的单个公共传感器，使得第一深度图像和第二深度图像两者都至少部分地使用从单个公共传感器获取的数据生成。举例来说，第一深度图像可包括使用SL深度成像技术生成的结构光(SL)深度图，并且第二深度图像可包括使用ToF深度成像技术生成的飞行时间(ToF)深度图。
【技术实现步骤摘要】
【国外来华专利技术】
本领域一般地涉及图像处理，并且更具体地涉及深度图像的处理。
技术介绍
已知用于实时地生成空间场景的三维（3D)图像的许多不同技术。例如，可基于由 被布置成使得每个照相机具有场景的不同视野的各照相机捕捉的多个二维（2D)图像使用 三角测量来生成空间场景的3D图像。然而，此类技术的显著缺点是其一般地要求非常密集 的计算，并且因此可能消耗计算机或其他处理设备的过量的可用计算资源。并且，难以在当 使用此类技术时涉及到不足环境照明的条件下生成准确的3D图像。 其他已知技术包括使用诸如结构光（SL)照相机或飞行时间（atimeofflight) (ToF)照相机之类的深度成像器来直接地生成3D图像。此类照相机通常是紧凑式的，提供 快速的图像生成，并且在电磁谱的近红外部分中操作。结果，SL和ToF照相机一般地在机 器视觉应用中使用，诸如视频游戏系统或实现基于姿势的人机接口的其他类型的图像处理 系统中的姿势识别。SL和ToF照相机还被用于多种其他机器视觉应用中，包括例如人脸检 测和单个或多个人跟踪。 SL照相机和ToF照相机使用不同的物理原理进行操作，并且结果展现出关于深度 成像的不同优点和缺点。 典型常规SL照相机包括至少一个发射器和至少一个传感器。发射器被配置成向 场景中的对象上投射指定光图案。该光图案包括诸如线或光斑之类的多个图案元素。相应 的反射图案在传感器处失真地出现，因为发射器和传感器具有不同的对象视角。使用三角 测量法来确定对象表面形状的精确几何重构。然而，由于由发射器投射的光图案的性质，在 已在传感器处接收到的相应反射光图案的元素与场景中的特定点之间建立关联更为容易， 从而避免了与使用来自不同照相机的多个2D图像的三角测量相关联的大量繁重计算。 尽管如此，SL照相机具有在x和y维度上的精度方面的固有困难，因为基于光图 案的三角测量法不允许使得图案尺寸任意地细粒化以便实现高分辨率。并且，为了避免眼 损伤，跨整个图案的总体发射功率以及每个图案元素（例如，线或光斑）中的空间和角度功 率密度受到限制。结果产生的图像因此展现出低信噪比，并且仅提供有限质量的深度图，潜 在地包括许多深度伪像。 虽然ToF照相机通常能够比SL照相机更精确地确定x-y坐标，但ToF照相机也具 有关于空间分辨率的问题，特别是在深度测量或z坐标方面。因此，按照惯例，ToF照相机 一般地提供比SL照相机更好的x-y分辨率，而SL照相机一般地提供比ToF照相机更好的 z分辨率。 类似于SL照相机，典型的常规ToF照相机还包括至少一个发射器和至少一个传感 器。然而，发射器被控制产生具有基本上恒定振幅和频率的连续波（CW)输出光。已知有其 他变体，包括基于脉冲的调制、多频调制和编码脉冲调制，并且其一般地被配置成相对于CW 情况改善深度成像精度或减少多个照相机之间的相互干扰。 在这些及其他ToF布置中，输出光照亮要成像的场景并被场景中的对象散射或反 射。结果得到的返回光被传感器检测并用来产生深度图或其他类型的3D图像。传感器一次 接收从整个被照亮场景反射的光，并通过测量相应的时间延迟来估计到每个点的距离。这 更特别地涉及到例如利用输出光与返回光之间的相位差来确定到场景中的对象的距离。 深度测量结果通常是在ToF照相机中使用要求模拟电路中的非常快速的切换和 时间积分的技术生成的。例如，每个传感器单元可包括复杂模拟集成半导体期间，结合具有 微微秒开关和高精度积分电容器的光子传感器，以便经由传感器光流的时间积分来使测量 噪声最小化。虽然避免了与三角测量的使用相关联的缺点，但对复杂模拟电路的需要增加 了与每个传感器单元相关联的成本。结果，能够在给定实际实现中使用的传感器单元的数 目是有限的，其又可能限制深度图的可实现质量，再次地导致可包括大量深度伪像的图像。
技术实现思路
在一个实施例中，深度成像器被配置成使用第一深度成像技术来生成第一深度图 像，并使用不同于第一深度成像技术的第二深度成像技术来生成第二深度图像。第一深度 图像和第二深度图像中的每一个的至少一部分被合并而形成第三深度图像。深度成像器 包括至少一个传感器，其包括至少部分地被第一和第二深度成像技术共享的单个公共传感 器，使得第一深度图像和第二深度图像两者都至少部分地使用从单个公共传感器获取的数 据而生成。仅以示例的方式，第一深度图像可包括使用SL深度成像技术生成的SL深度图， 并且第二深度图像可包括使用ToF深度成像技术生成的ToF深度图。 本专利技术的其他实施例包括但不限于方法、装置、系统、处理设备、集成电路以及具 有在其中体现的计算机程序代码的计算机可读储存介质。【附图说明】 图1是包括配置有深度图合并功能的深度成像器的图像处理系统的实施例的框 图。 图2和3图示出在图1的深度成像器的各实施例中实现的示例性传感器。 图4示出了图1的深度成像器的实施例中的与给定深度成像器传感器的单个单元 相关联并被配置成提供局部深度估计的数据获取模块的一部分。 图5示出了图1的深度成像器的实施例中的数据获取模块和被配置成提供全局深 度估计的关联深度图处理模块。 图6图示出在图5的深度图处理模块中处理的示例性深度图像中的给定内插像素 周围的像素邻点的示例。【具体实施方式】 在本文中将结合示例性图像处理系统来举例说明本专利技术的实施例，该示例性图像 处理系统包括被配置成使用各不同的深度成像技术来生成深度图像的深度成像器，诸如SL 和ToF深度成像技术，结果是深度图像被合并而形成另一深度图像。例如，本专利技术的实施例 包括深度成像方法和装置，其能够生成与由常规SL或ToF照相机生成的那些相比具有增强 深度分辨率和较少深度伪像的较高质量深度图或其他类型的深度图像。然而，应理解的是 本专利技术的实施例更一般地可应用于其中期望为深度图或其他类型的深度图像提供改善的 质量的任何图像处理系统或关联深度成像器。 图1示出了本专利技术的实施例中的图像处理系统100。图像处理系统100包括深度 成像器101，其通过网络104与多个处理设备102-1、102-2.....102-N通信。本实施例中 的深度成像器101被假设为包括3D成像器，其结合了多个不同类型的深度成像功能，说明 性地SL深度成像功能和ToF深度成像功能两者，虽然在其他实施例中可使用多种其他类型 的深度成像器。 深度成像器101生成场景的深度图或其他深度图像并通过网络104将那些图像传 送至处理设备102中的一个或多个。处理设备102可包括以任何组合方式的计算机、服务 器或储存设备。举例来说，一个或多个此类设备可包括显示屏或被用来呈现由深度成像器 101生成的图像的各种其他类型的用户接口。 虽然在本实施例中被示为与处理设备102分离，但可将深度成像器101至少部分 地与处理设备中的一个或多个组合。因此，例如，可至少部分地使用处理设备102中的给定 的一个来实现深度成像器101。举例来说，可将计算机配置成结合深度成像器101作为外围 设备。 在给定实施例中，将图像处理系统100实现为视频游戏系统或其他类型的基于姿 势的系统，其生成图像以便识别用户姿势或其他用户移动。公开的成像技术能够同样地适 合于在要求基于姿势的人机接口的多种其他系统中使用，并且还能够应用于本文档来自技高网...
【技术保护点】
一种方法，包括：使用第一深度成像技术来生成第一深度图像；使用不同于第一深度成像技术的第二深度成像技术来生成第二深度图像；以及将第一深度图像和第二深度图像的至少一部分合并来形成第三深度图像；其中，第一深度图像和第二深度图像两者都是至少部分地使用从深度成像器的单个公共传感器获取的数据生成的。
【技术特征摘要】
【国外来华专利技术】...
【专利技术属性】
技术研发人员：A·A·佩蒂尤什克，D·V·帕芬诺韦，I·L·马祖仁克，A·B·霍洛多恩克，
申请(专利权)人：LSI公司，
类型：发明
国别省市：美国;US
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。