交互式输入系统和方法技术方案

一种用于在显示屏幕上生成并显示对象对象的图形表示的方法。所述方法包括：使用至少一个图像传感器捕获对象所述对象的至少一幅图像，根据所述至少一幅图像，确定所述对象上的三维(3D)点在包含所述对象对象的空间中定义的三维坐标系中的三维坐标，在所述空间中定义接触交互式表面，进行将所述三维点投影到所述接触交互式表面上的投影点，根据所述投影确定该投影点在所述三维坐标系中的三维坐标，根据所述投影点的三维坐标确定所述图形表示在显示屏幕上的显示位置，并且在显示屏幕上的所述显示位置处显示该图形表示。

【技术实现步骤摘要】
相关申请的夺叉参引 本申请是2013年9月23日提交的申请No. 14/034,286,题为交互式输入系统 和方法的部分继续申请，申请No. 14/034,286是以2013年4月12日提交的临时申请 No. 61/811，680,题为三维和二维、以及2013年7月1日提交的临 时申请No. 61/841，864,题为三维和二维作为基础并要求其优先 权权益。本申请还基于2013年8月25日提交的临时申请No. 61/869, 726,题为三维和二 维并要求其优先权权益。在此上述申请以全文援引方式合并入本 文。
本公开涉及输入系统和方法，尤其涉及基于一种对三维（3D)对象的3D运动的感 测的输入系统和方法。
技术介绍
计算机用户经常需要与计算机进行交互，这可以通过使用交互式输入设备（如键 盘、鼠标或触屏）来实现。然而，使用这些设备会存在一些限制。例如，常规的触屏通常基 于像电容感应或电场感应这样的技术。这样的技术只可以追踪靠近屏幕的对象，例如用户 的手指（即短操作范围），而且不能识别对象的3D结构。此外，触屏经常用于小型计算机， 如平板电脑。对于大型计算机，如台式机或者工作站，用户通常不方便接触到屏幕。 因此，需要一种具有更大的操作范围的人机交互式输入系统，此系统能准确并快 速分辨精细对象，例如用户的手指，而且能够追踪对象的3D运动及其与表面的交互。
技术实现思路
根据本公开，提供了一种一种用于生成并在显示屏幕上显示对象的图形表示的方 法，该方法包括：使用至少一个图像传感器捕获所述对象的至少一幅图像；根据所述至少 一幅图像，确定所述对象上的三维（3D)点在包含所述对象的空间中定义的三维坐标系中 的三维坐标；在所述空间中定义接触交互式表面；执行所述三维点投影到所述接触交互式 表面上的投影点的投影；根据所述投影确定该投影点在三维坐标系中的三维坐标；根据所 述投影点的三维坐标确定所述图形表示在显示屏幕上的显示位置；并且在显示屏幕上的显 示位置处显示该图形表示。 本公开还提供了一种非易失性计算机可读存储介质，存储用于生成并在显示屏幕 上显示对象的图形表示的程序。该程序当由计算机执行时，指示计算机使用至少一个图 像传感器捕获所述对象的至少一幅图像；根据所述至少一幅图像，确定所述对象上的三维 (3D)点在包含所述对象的空间中定义的三维坐标系中的三维坐标；在所述空间中定义接 触交互式表面；执行所述三维点到所述接触交互式表面上的投影点的投影；根据所述投影 确定该投影点在三维坐标系中的三维坐标；根据所述投影点的三维坐标确定所述图形表示 在显示屏幕上的显示位置；并且在显示屏幕上的显示位置处显示该图形表示。 本公开还提供了一种用于生成和在显示屏幕上显示对象的图形表示的设备。所述 设备包括处理器和存储程序的非易失性计算机可读存储介质。当程序执行时，指示所述处 理器：使用至少一个图像传感器捕获所述对象的至少一幅图像；根据所述至少一幅图像， 确定所述对象上的三维（3D)点在包含所述对象的空间中定义的三维坐标系中的三维坐 标；在所述空间中定义接触交互式表面；执行所述三维点到所述接触交互式表面上的投影 点的投影；根据所述投影确定该投影点在三维坐标系中的三维坐标；根据所述投影点的三 维坐标确定所述图形表示在显示屏幕上的显示位置；并且在显示屏幕上的显示位置处显示 该图形表示。 本公开的特点和优点部分将在下面说明书中阐明、部分从说明书中显而易见可知 或者通过对本公开的实践习得。这些特点和优点将通过附属的权利要求所特别指出的要素 和组合方式来实现并获得。 可以理解的是，上述一般性描述和随后的【具体实施方式】仅是示例性的和解释性 的，并不用来限制如权利要求所保护的本专利技术。 附图包含在说明书中并组成说明书的一部分，与说明书一起描述本专利技术的几个实 施例，用于解释本专利技术的原理。 【附图说明】 图1示意性示出了根据一示例性实施例的交互式系统。 图2是显示根据一示例性实施例的过程的流程图。 图3A和3B示意性示出了根据一示例性实施例的感测装置。 图4A-4C示意性示出了根据一示例性实施例的感测装置。 图5示意性示出了根据一示例性实施例的感测装置。 图6A和6B示意性示出了根据一示例性实施例的感测单元和计算机的连接。 图7A和7B示意性示出了感测单元相对于显示器的示例性布置。 图8A和8B示意性示出了根据一示例性实施例的背景表面涂层。 图9示意性示出了根据一示例性实施例的感测装置。 图10A和10B分别示出了成像传感器和人类裸眼观测到的带有标记的背景表面。 图11A和11B显示了根据一示例性实施例的使用不同类型的墨来创建带有标记的 背景表面的模式。 图12是根据一示例性实施例的显示感测过程的高级流程示意图。 图13显示了根据一示例性实施例的用于调整照明源和成像传感器并估算背景的 过程。 图14示意性示出了根据一示例性实施例的用于分析和记录背景模型的过程。 图15示意性示出了根据一示例性实施例的用于基于多个成像传感器识别和追踪 前景对象的过程。 图16示意性示出了根据一示例性实施例的用于对于每一个成像传感器寻找前景 对象和识别前景对象的二维结构的过程。 图17显示了一示例性的背景模型图像。 图18显示一示例性的在手追踪过程中拍摄到的输入图像。 图19显示了一示例性的前景区域。 图20显示了根据一示例性实施例的示例性的概率计算结果。 图21显示了根据一示例性实施例的分割的结果。 图22示意性示出了手的子部分的二维边界。 图23示意性示出了手指的中心线。 图24示意性示出了手指尖。 图25是根据一示例性实施例的用于计算前景对象和前景对象的子部分的的三维 信息的过程的高级流程图。 图26显示了根据一示例性实施例的各个手指之间的关联。 图27显示了关联两个骨架线的一个实施例。 图28显示了根据一示例性实施例获得的3D骨架。 图29显示了基于由两个不同的成像传感器拍到的两个2D图像中的手掌的2D边 界所进行的对手掌的3D边界的计算。 图30显示了手骨架计算的示例性输出。 图31示意性示出了根据一示例性实施例计算的手掌3D中心。 图32显示了 一基于模型的架构。 图33A和33B示意性示出根据示例性实施例的系统的示例性设置以及不同类型的 接触交互式表面。 图34显示了根据一示例性实施例的实现2. ?接触交互的过程的高级流程图。 图35显示了根据一示例性实施例的手动校准接触交互表面的过程的高级流程 图。 图36显示了根据一示例性实施例的用于限定有效交互区域的过程。 图37显示了根据一示例性实施例的限定接触交互表面的角点的结果。 图38A和38B分别显示了当手指在空中移动及手指点击固体表面时手指的三维速 度。 图39显示了根据一示例性实施例的通过检测标记来自动检测接触交互表面的过 程的流程图。 图40显示了根据一示例性实施例的用于自动检测和校准显示屏的过程的流程 图。 图41示意性示出了显示在显示屏上的二维代码。 图42显示了根据一本文档来自技高网...

【技术保护点】
一种用于生成并在显示屏幕上显示对象的图形表示的方法，该方法包括：使用至少一个图像传感器捕获所述对象的至少一幅图像；根据所述至少一幅图像，确定所述对象上的三维(3D)点在包含所述对象的空间中定义的三维坐标系中的三维坐标；在所述空间中定义接触交互式表面；执行所述三维点到所述接触交互式表面上的投影点的投影；根据所述投影确定该投影点在三维坐标系中的三维坐标；根据所述投影点的三维坐标确定所述图形表示在显示屏幕上的显示位置；并且在显示屏幕上的显示位置处显示该图形表示。

【技术特征摘要】
2013.08.25 US 61/869,726;2013.09.23 US 14/034,286;1. 一种用于生成并在显示屏幕上显示对象的图形表示的方法，该方法包括： 使用至少一个图像传感器捕获所述对象的至少一幅图像； 根据所述至少一幅图像，确定所述对象上的三维（3D)点在包含所述对象的空间中定 义的三维坐标系中的三维坐标； 在所述空间中定义接触交互式表面； 执行所述三维点到所述接触交互式表面上的投影点的投影； 根据所述投影确定该投影点在三维坐标系中的三维坐标； 根据所述投影点的三维坐标确定所述图形表示在显示屏幕上的显示位置；并且 在显示屏幕上的显示位置处显示该图形表示。2. 如权利要求1所述的方法，还包括： 计算所述三维点和所述接触交互式表面之间的第一距离，或所述三维点和所述投影点 之间的第二距离二者之一。3. 如权利要求2所述的方法，其中显示所述图形表示包括： 在显示位置处显示二维位置指示符；并 在显示屏幕上的偏移位置处显示对象指示符，该对象指示符代表所述对象，并且所述 显示位置和偏移位置之间的偏移量是所述第一距离或所述第二距离的函数。4. 如权利要求3所述的方法，其中显示所述对象指示符包括显示具有依赖于所述第一 距离或所述第二距离的尺寸或透明度其中至少之一的对象指示符。5. 如权利要求3所述的方法，其中显示所述图形表示还包括在所述显示位置处显示对 象阴影，所述对象阴影表示所述对象的阴影。6. 如权利要求5所述的方法，其中显示所述对象阴影包括显示具有有依赖于所述第一 距离或所述第二距离的尺寸或透明度其中至少之一的对象阴影。7. 如权利要求3所述的方法，其中： 所述偏移位置是第一偏移位置， 所述偏移量是第一偏移量，而且 显示所述图形表示还包括在显示屏幕上的第二偏移位置处显示对象阴影，所述对象阴 影表示所述对象的阴影，且所述显示位置和所述第二偏移位置之间的第二偏移量是所述第 一距离或所述第二距离的函数。8. 如权利要求3所述的方法，还包括： 检测所述对象执行的点击或敲击动作，所述点击或敲击动作包括所述对象向所述接触 交互式表面的突然移动；并且 根据所述点击或敲击动作引发所述2D位置指示符。9. 如权利要求8所述的方法，还包括： 当检测到所述点击或敲击动作时保持所述2D位置指示符的位置。10. 如权利要求1所述的方法，其中执行的所述投影包括执行正交投影。11. 如权利要求1所述的方法，其中执行的所述投影包括执行非正交投影。12. 如权利要求11所述的方法，还包括： 检测用户头部的位置， 其中执行所述非正交投影包括确定交叉点，连接所述用户头部位置和所述三维点的直 线与所述接触交互式表面相交于所述交叉点，该交叉点是所述投影点。13. 如权利要求1所...

【专利技术属性】
技术研发人员：何安莉，费越，
申请(专利权)人：何安莉，费越，
类型：发明
国别省市：北京;11