使用深度传感相机来增强演示制造技术

本发明专利技术公开了一种使用深度传感相机来增强演示的系统和方法。使用深度相机和任选的视觉相机结合计算设备和投影仪来显示演示并自动纠正所投影的演示的几何结构。与该演示的交互(切换幻灯片、指示等)通过利用基于深度相机和(任选的)视觉相机的输出的姿势识别/人类跟踪来实现。另外，深度相机和/或视觉相机的输出可用于检测投影仪和屏幕(或其他目标区域)之间的遮挡物，以便调整演示使其不投影到遮挡物上，并且任选地重新组织该演示来避免遮挡。

【技术实现步骤摘要】

本专利技术涉及演示系统，尤其涉及使用深度传感相机的演示系统。
技术介绍
在商业、教育和其他情形中，人们经常使用一个或多个软件应用来进行演示。通常，该软件将在连接到投影仪的计算机上运行，并且一组幻灯片将被投影在屏幕上。然而， 在某些情况下，幻灯片的投影可能由于屏幕的几何结构或投影仪的位置而失真。通常，进行演示的人(称为演示者)希望站在屏幕前方。当这样做时，演示的一部分可被投影到演示者上，这使得难以看见该演示，并且由于射到其眼睛上的高强度光而使得演示者感到不舒服。另外，如果演示者在屏幕旁，则演示者控制该演示并指向该演示的部分来突出显示该演示的这些部分将是有困难的。
技术实现思路
提供了一种使用深度相机和(任选地)视觉相机结合计算机和投影仪(或其他显示设备)来自动调整所投影的演示的几何结构并允许基于姿势识别和/或人类跟踪技术来与演示交互的演示系统。一个实施例包括显示视觉演示，自动检测所显示的视觉演示在视觉上失真，并自动纠正所显示的视觉演示来修补所检测的失真。一个实施例包括处理器、与该处理器通信的显示设备、与该处理器通信的深度相机、以及与该处理器通信的存储器设备。存储器设备存储演示。处理器使得该演示由显示设备来显示。处理器从深度相机接收深度图像，并识别该深度相机的视野中的人所作出的一个或多个姿势。处理器基于所识别的一个或多个姿势执行一个或多个动作来调整演示。—个实施例包括接收深度图像，使用深度图像来自动检测投影仪和目标区域之间的遮挡物，响应于并基于检测到遮挡物来自动调整演示使得演示将不被投影到遮挡物上， 以及在目标区域上显示所调整的演示而不将该演示显示在遮挡物上。提供本
技术实现思路
以便以简化形式介绍将在以下的具体实施方式中进一步描述的一些概念。本
技术实现思路
并非旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。此外，所要求保护的主题不限于解决在本专利技术的任一部分中提及的任何或所有缺点的实现。附图说明图1是捕捉设备、投影系统和计算系统的一个实施例的框图。图2是计算系统和集成的捕捉设备和投影系统的一个实施例的框图。图3描绘了骨架的示例。图4示出可被用来跟踪运动并基于所跟踪的运动来更新应用的计算系统的示例实施例。图5示出可被用来跟踪运动并基于所跟踪的运动来更新应用的计算系统的另一示例实施例。图6是描述用于提供演示、与演示交互并调整演示的过程的一个实施例的流程图。图7A是描述用于自动调整演示来纠正失真的过程的一个实施例的流程图。图7B是描述用于自动调整演示来纠正失真的过程的一个实施例的流程图。图8A描绘了失真的演示。图8B描绘了被调整来纠正失真的演示。图9是描述用于在演示期间解决遮挡物的过程的一个实施例的流程图。图9A是描述用于响应于并基于检测到遮挡物来自动调整演示，使得演示将不被投影到遮挡物上的过程的一个实施例的流程图。图9B是描述用于响应于并基于检测到遮挡物来自动调整演示，使得演示将不被投影到遮挡物上的过程的一个实施例的流程图。图IOA描绘了被人遮挡的演示。图IOB描绘了响应于遮挡被调整的演示。图IOC描绘了响应于遮挡被调整的演示。图11是描述用于使用姿势来与演示交互的过程的一个实施例的流程图。图12是描述用于突出显示演示的一部分的过程的一个实施例的流程图。图13描绘了其一部分被突出显示的演示。具体实施例方式提供了使用深度相机以及(任选地)视觉相机结合计算机和投影仪(或其他显示设备)的演示系统。对深度相机和(任选的)视觉相机的使用允许该系统自动纠正所投影的演示的几何结构。与该演示的交互(切换幻灯片、指向等)通过利用基于深度相机和(任选的)视觉相机的输出的姿势识别/人类跟踪来实现。另外，深度相机和/或视觉相机的输出可用于检测投影仪和屏幕(或其他目标区域)之间的遮挡物(例如，演示者)，以便调整演示使其不投影到遮挡物上，并且任选地重新组织该演示来避免遮挡。图1是包括连接到捕捉设备20和投影仪60并与这两个设备进行通信的计算设备 12的演示系统的一个实施例的框图。在一实施例中，捕捉设备20可被配置成经由任何合适的技术，包括例如飞行时间、结构化光、立体图像等来捕捉包括深度图像的带有深度信息的视频，该深度图像可包括深度值。根据一实施例，捕捉设备20可将深度信息组织为“Z层”，即可与Z轴正交的从深度相机沿着其视线延伸的层。如图1所示，捕捉设备20可包括相机组件23。根据一示例实施例，相机组件23可以是可捕捉场景的深度图像的深度相机。深度图像可包括所捕捉的场景的二维O-D)像素区域，其中2-D像素区域中的每一像素可表示深度值，诸如例如以厘米、毫米等计的、所捕捉的场景中的物体距相机的距离。如图1所示，根据一示例实施例，图像相机组件23可包括可用于捕捉场景的深度图像以及视觉图像的红外(IR)光组件25、三维(3-D)相机沈、和RGB (视觉图像)相机观。例如，在飞行时间分析中，捕捉设备20的顶光组件25可将红外光发射到场景上，然后可使用传感器(未示出)，使用例如3-D相机沈和/或RGB相机观，来检测来自场景中的一个或多个目标和物体的表面的反向散射光。在某些实施例中，可以使用脉冲式红外光从而可以测量出射光脉冲和相应的入射光脉冲之间的时间差并将其用于确定从捕捉设备20到场景中的目标或对象上的特定位置的物理距离。另外，在其他示例实施例中，可将入射光波的相位与出射光波的相位进行比较来确定相移。然后可以使用相移来确定从捕捉设备到对象或目标上的特定位置的距离。根据另一示例实施例，可使用飞行时间分析，通过经由包括例如快门式光脉冲成像的各种技术来分析反射光束随时间的强度变化以间接地确定从捕捉设备20到目标或对象上的特定位置的物理距离。在另一示例实施例中，捕捉设备20可使用结构化光来捕捉深度信息。在这样的分析中，图案化光(即，被显示为诸如网格图案、条纹图案等已知图案或不同图案的光)可经由例如顶光组件25被投影到场景上。在撞击到场景中的一个或多个目标或对象的表面时， 作为响应，图案可变形。图案的这种变形可由例如3-D相机沈和/或RGB相机28 (和/或其他传感器)来捕捉，然后可被分析以确定从捕捉设备到目标或物体上的特定位置的物理距离。在一些实现中，顶光组件25与相机沈和观分开，使得可以使用三角测量来确定距相机沈和观的距离。在一些实现中，捕捉设备20将包括传感顶光的专用顶传感器或具有顶滤波器的传感器。根据另一实施例，捕捉设备20可包括两个或更多物理上分开的相机，这些相机可从不同角度查看场景来获得可被解析以生成深度信息的视觉立体数据。其他类型的深度图像传感器也可被用来创建深度图像。捕捉设备20还可包括话筒30。话筒30可包括可接收声音并将其转换成电信号的变换器或传感器。根据一个实施例，话筒30可用于减少目标识别、分析和跟踪系统10中的捕捉设备20与计算系统12之间的反馈。另外，话筒30可用于接收也可被提供给计算系统 12的音频信号。在一示例实施例中，捕捉设备20还可包括可与图像相机组件23进行通信的处理器32。处理器32可包括可执行指令的标准处理器、专用处理器、微处理器等，这些指令包括用于接收深度图像、生成适当的数据格式(例如，帧)并将数据传送到计算系统12的指令。捕捉设备20还可包括存储器组件34，存储器组件34可本文档来自技高网...

【技术保护点】
１．一种用于显示内容的方法，包括：显示视觉演示（３０４）；自动检测所显示的视觉演示在视觉上失真（３０６、４０２、４０４、４５２、４５４、４５６）；以及自动纠正所显示的视觉演示来修补所检测到的失真（３０６、４０８、４６０）。

【技术特征摘要】
2010.03.26 US 12/748,2311.一种用于显示内容的方法，包括 显示视觉演示(304)；自动检测所显示的视觉演示在视觉上失真(306、402、404、452、妨4、456)；以及自动纠正所显示的视觉演示来修补所检测到的失真(306、408、460)。2.如权利要求1所述的方法，其特征在于所述自动纠正所显示的视觉演示来修补所检测到的失真包括故意扭曲一个或多个所投影的图像来抵消所检测到的失真并显示经扭曲的一个或多个所投影的图像。3.如权利要求1或2所述的方法，其特征在于所述自动检测所显示的视觉演示在视觉上失真包括使用物理传感器来检测投影仪不是水平的。4.如权利要求1、2或3所述的方法，其特征在于所述自动检测所显示的视觉演示在视觉上失真包括传感所述视觉演示的视觉图像并标识所述视觉演示的边缘是否呈预期角度。5.如权利要求1、2或3所述的方法，其特征在于所述自动检测所显示的视觉演示在视觉上失真包括传感所述视觉演示的视觉图像并标识所述视觉演示是否是具有直角的矩形。6.如权利要求1-5中的任一项所述的方法，其特征在于所述显示视觉演示包括基于文件中的内容来创建一个或多个图像；以及所述自动检测所显示的视觉演示在视觉上失真包括传感所述视觉演示的视觉图像并确定所传感的视觉图像不匹配所述文件中的内容。7.如权利要求1所述的方法，其特征在于所述显示视觉演示包括基于文件中的内容来创建一个或多个图像； 所述自动检测所显示的视觉演示在视觉上失真包括传感所述视觉演示的视觉图像并确定所传感的视觉图像是否匹配所述文件中的内容；以及所述自动纠正所显示的视觉演示来修补所检测到的失真包括故意扭曲一个或多个所投影的图像来纠正所传感的视觉图像和所述文件中的内容之间的差异，所述自动纠正在视觉上显示的演示还包括显示经扭曲的一个或多个所投影的图像。8.如权利要求7所述的方法，其特征在于...

【专利技术属性】
技术研发人员：S·凯茨，A·阿德莱尔，
申请(专利权)人：微软公司，
类型：发明
国别省市：US