用于３Ｄ绘图的集成处理器制造技术

一种用于处理数据的装置（５０），其包括用于从第一图像传感器（４６）接收彩色图像数据的第一输入端口（７０）和用于从第二图像传感器（４０）接收深度相关图像数据的第二输入端口（６４）。处理电路（６２）使用所述深度相关图像数据产生深度图。至少一个输出端口（８６）将所述深度图和所述彩色图像数据传送到主机。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术总体上涉及用于三维(3D)绘图的方法和系统，特别涉及用于产生和处理 3D绘图数据的处理装置。
技术介绍
在光学3D绘图——即通过处理目标的光学图像来产生该目标表面的3D轮廓—— 领域中，已知各种方法。这种3D轮廓也被称作深度图(cbpth map)或深度图像(cbpth image)，且3D绘图也被称作深度绘图。一些方法基于的是，在目标上投射激光散斑图案(speckle pattern)，随后分析该 目标上的图案的图像。例如，PCT国际公开文本WO 2007/043036——其公开内容以参引方 式被纳入本文——描述了用于目标重构的系统和方法，其中，相干光源和随机散斑图案产 生器在目标上投射相干随机散斑图案。成像单元探测被照射区域的光响应，并产生图像数 据。目标图像中的图案相对于该图案的参考图像的偏移(shift)被用于实时重构该目标的 3D图(3D map)。例如，PCT国际公开文本WO 2007/105205——其公开内容以参引方式被纳 入本文——描述了使用散斑图案进行3D绘图的其他方法。光学3D绘图的其他方法把不同类型的图案投射在待绘图的目标上。例如，PCT国 际公开文本WO 2008/120217——其公开内容以参引方式被纳入本文——描述了用于3D绘 图的照射组件，该照射组件包括含有固定点状图案(fixed pattern of spots)的单个透明 体(transparency)。光源以光辐射透照(transilluminate)所述透明体，以将所述图案投 射到目标上。图像捕获组件捕获该目标上的图案的图像，且该图像被处理以重构该目标的 3D图。作为又一个实施例，PCT国际公开文本WO 93/03579描述了 3D视觉系统，其中， 一个或两个投影仪产生包括两组具有不同周期和角度的平行条纹的结构性光(structured light)。作为另一个实施例，美国专利6，751，344描述了用于对对象进行光学扫描的方法， 其中，所述对象被离散二维图像目标矩阵——例如点栅格(grid of dots)—照射。其他 方法包括投射光栅图案(grating pattern)，例如在美国专利4，802，759中描述的。上述专 利和公开文本以参弓I方式被纳入本文。
技术实现思路
下文中描述的本专利技术实施方案提供了用于处理3D绘图用图像数据的装置和方法。依照本专利技术的一个实施方案，一种用于处理数据的装置包括第一输入端口，其 用于从第一图像传感器接收彩色图像数据；以及第二输入端口，其用于从第二图像传感 器接收深度相关(cbpth-related)图像数据。处理电路使用所述深度相关图像数据产 生深度图，并且至少一个输出端口将所述深度图和所述彩色图像数据传送到主机(host computer)。5在所公开的一个实施方案中，所述第一和第二输入端口、所述处理电路和所述至 少一个输出端口是集成电路部件，它们被制造在单个半导体衬底上。在一些实施方案中，所述至少一个输出端口包括单个端口，并且被连接为将所述 深度图和所述彩色图像数据以多路复用(multiplexed)格式的单个数据流传送到所述主 机。通常，所述处理电路被配置为使所述单个数据流中的所述深度图与所述彩色图像数据 同步。可选地，所述装置包括用于接收音频信息的第三输入端口，其中，所述处理电路被配 置为将所述音频信息连同所述深度图和所述彩色图像数据一起并入所述单个数据流，用于 经由所述单个端口传送到所述主机。在一个实施方案中，所述单个端口包括通用串行总线 (USB)端 口。在所公开的实施方案中，所述处理电路被配置为将所述深度图与所述彩色图像数 据配准(register)。所述深度图包括具有各自深度值的像素的阵列，并且所述处理电路通 常被配置为响应于所述深度值来计算针对所述像素的各自偏移，并将所述各自偏移应用到 所述深度图中的像素，以将所述深度图与所述彩色图像数据配准。在一个实施方案中，所述 处理电路被配置为使用递增拟合处理(incremental fitting process)来递增地计算所 述各自偏移，使得所述深度图中一行内的像素的偏移作为在前像素偏移(preceding pixel shift)的函数而被计算。通常，所述处理电路被配置为在接收所述深度值时即时(on the fly)计算针对所述像素的各自偏移，而不将整个深度图存储在所述装置中。在一些实施方案中，所述处理电路被配置为压缩所述深度图和所述彩色图像数 据，用于经由所述至少一个输出端口传输到所述主机。在一个实施方案中，所述处理电路被 配置为对所述深度图和所述彩色图像数据应用无损压缩处理。在所公开的一个实施方案中，所述深度相关图像数据包括被投射到目标上的图案 的图像，并且所述处理电路被配置为通过测量所述图案相对于参考图像的偏移来产生所述 深度图。依照本专利技术的一个实施方案，也提供了用于成像的设备，包括第一图像传感器， 其被配置为捕获和输出目标的彩色图像；以及第二图像传感器，其被配置为捕获和输出关 于所述目标的深度相关图像数据。处理装置包括第一输入端口，其用于从所述第一图像传 感器接收所述彩色图像数据；第二输入端口，其用于从所述第二图像传感器接收所述深度 相关图像数据；处理电路，其用于使用所述深度相关图像数据来产生深度图；以及至少一 个输出端口，其用于将所述深度图和所述彩色图像数据传送到主机。可选地，所述设备包括音频传感器，其中，所述处理装置包括用于从所述音频传感 器接收音频信息的第三输入端口，并且其中，所述处理电路被配置为将所述音频信息连同 所述深度图和所述彩色图像数据一起经由所述至少一个输出端口传送到所述主机。在所公开的一个实施方案中，所述设备包括照射子组件(illumination subassembly)，其被配置为在所述目标上投射图案，其中，所述深度相关图像数据包括所述 目标上的图案的图像，并且所述处理电路被配置为通过测量所述图案相对于参考图像的偏 移来产生深度图。依照本专利技术的一个实施方案，还提供了一种用于处理数据的方法，包括经由第一 输入端口从第一图像传感器接收彩色图像数据；经由第二输入端口从第二图像传感器接收 深度相关图像数据。使用所述深度相关图像数据产生深度图，并经由输出端口将所述深度6图和所述彩色图像数据传送到主机。 附图说明从下文结合附图对本专利技术实施方案的详细描述中，将更完整地理解本专利技术，附图 中图1是依照本专利技术一个实施方案的用于3D绘图的系统的示意性图解说明；图2是依照本专利技术一个实施方案的成像组件的示意性俯视图；图3A和;3B是依照本专利技术一个实施方案的处理装置的框图；图4是依照本专利技术一个实施方案的框图，该图示意性地示出了深度处理器的元 件；图5是依照本专利技术一个实施方案的框图，该图示意性地示出了配准引擎的细节；图6A和6B是依照本专利技术一个实施方案的框图，该图示意性地示出了坐标计算电 路的细节；图7是依照本专利技术一个实施方案的框图，该图示意性地示出了压缩电路。具体实施例方式系统概述图1是依照本专利技术一个实施方案的用于3D绘图和成像的系统20的示意性图解说 明。在该实施例中，成像组件M被配置为捕获和处理用户22的3D图和图像。所述信息 可以被主机沈用作3D用户界面的一部分，所述3D用户界面使得本文档来自技高网...

【技术保护点】
一种用于处理数据的装置，其包括：　　第一输入端口，其用于从第一图像传感器接收彩色图像数据；　　第二输入端口，其用于从第二图像传感器接收深度相关图像数据；　　处理电路，其用于使用所述深度相关图像数据产生深度图；以及　　至少一个输出端口，其用于将所述深度图和所述彩色图像数据传送到主机。

【技术特征摘要】
【国外来华专利技术】US 2008-7-9 61/079,2541.一种用于处理数据的装置，其包括第一输入端口，其用于从第一图像传感器接收彩色图像数据；第二输入端口，其用于从第二图像传感器接收深度相关图像数据；处理电路，其用于使用所述深度相关图像数据产生深度图；以及至少一个输出端口，其用于将所述深度图和所述彩色图像数据传送到主机。2.根据权利要求1的装置，其中所述第一和第二输入端口、所述处理电路和所述至少 一个输出端口是集成电路部件，它们被制造在单个半导体衬底上。3.根据权利要求1的装置，其中所述至少一个输出端口包括单个端口，并且被连接为 将所述深度图和所述彩色图像数据以多路复用格式的单个数据流传送到所述主机。4.根据权利要求3的装置，其中所述处理电路被配置为使所述单个数据流中的所述深 度图与所述彩色图像数据同步。5.根据权利要求3的装置，还包括用于接收音频信息的第三输入端口，其中，所述处理 电路被配置为将所述音频信息连同所述深度图和所述彩色图像数据一起并入所述单个数 据流，用于经由所述单个端口传送到所述主机。6.根据权利要求3的装置，其中所述单个端口包括通用串行总线(USB)端口。7.根据权利要求1-6中任一项的装置，其中所述处理电路被配置为将所述深度图与所 述彩色图像数据配准。8.根据权利要求7的装置，其中所述深度图包括具有各自深度值的像素的阵列，并且 其中所述处理电路被配置为响应于所述深度值来计算针对所述像素的各自偏移，并将所述 各自偏移应用到所述深度图中的像素，以将所述深度图与所述彩色图像数据配准。9.根据权利要求8的装置，其中所述处理电路被配置为递增地计算所述各自偏移，使 得所述深度图中一行内的像素的偏移作为在前像素偏移的函数而被计算。10.根据权利要求9的装置，其中所述处理电路被配置为使用递增拟合处理来计算所 述各自偏移。11.根据权利要求8的装置，其中所述处理电路被配置为在接收所述深度值时即时计 算针对所述像素的各自偏移，而不将整个深度图存储在所述装置中。12.根据权利要求1-6中任一项的装置，其中所述处理电路被配置为压缩所述深度图 和所述彩色图像数据，用于经由所述至少一个输出端口传输到所述主机。13.根据权利要求12的装置，其中所述处理电路被配置为对所述深度图和所述彩色图 像数据应用无损压缩处理。14.根据权利要求1-6中任一项的装置，其中所述深度相关图像数据包括被投射到目 标上的图案的图像，并且其中所述处理电路被配置为通过测量所述图案相对于参考图像的 偏移来产生所述深度图。15.用于成像的设备，其包括第一图像传感器，其被配置为捕获和输出目标的彩色图像；第二图像传感器，其被配置为捕获和输出关于所述目标的深度相关图像数据；以及处理装置，其包括第一输入端口，其用于从所述第一图像传感器接收所述彩色图像数据；第二输入端口，其用于从所述第二图像传感器接收所述深度相关图像数据；处理电路，其用于使用所述深度相关图像数据产生深度图；以及至少一个输出端口，其用于将所述深度图和所述彩色图像数据传送到主机。16.根据权利要求15的设备，还包括音频传...

【专利技术属性】
技术研发人员：E斯贝克特，Z莫尔，D赖斯，
申请(专利权)人：普莱姆森斯有限公司，
类型：发明
国别省市：IL