自然用户界面相机校准制造技术

提供了一种校准自然用户界面(NUI)相机相对于显示器的六自由度(6DoF)姿态的方法。从校准角度对环境进行成像的校准视频(该校准视频设置显示器和一个或多个特征)是从NUI相机或校准相机接收的。该环境的三维图(其定义显示器的6DoF姿态以及一个或多个特征中的每一者的三维位置)是根据该校准视频来建模的。从操作角度对该环境进行成像的主视频(该主视频设置该一个或多个特征)是从该NUI相机接收到的。NUI相机的6DoF姿态是基于该一个或多个特征的操作透视图在该环境的三维图内被寻找到的。

【技术实现步骤摘要】
【国外来华专利技术】自然用户界面相机校准背景自然用户界面允许用户向计算设备提供姿势输入。概述提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的一些概念。本概述并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。此外，所要求保护的主题不限于解决在本公开的任一部分中所提及的任何或所有缺点的实现。提供了一种校准自然用户界面(NUI)相机相对于显示器的六自由度(6DoF)姿态的方法。从校准角度对环境进行成像的校准视频(该校准视频设置(site)显示器和一个或多个特征)是从NUI相机或校准相机接收到的。该环境的三维图(该三维图定义显示器的6DoF姿态以及一个或多个特征中的每一者的三维位置)是根据该校准视频来建模的。从操作角度对该环境进行成像的主视频(该主视频设置一个或多个特征)是从该NUI相机接收到的。NUI相机的6DoF姿态是基于该一个或多个特征的操作透视图在该环境的三维图内找出的。附图简述图1示出包括自然用户界面相机的计算系统的示例环境。图2示出示例头戴式显示系统。图3示出用于校准自然用户界面相机相对于显示器的六自由度姿态的示例方法。图4示出示例计算系统的各方面。图5显示示例虚拟骨架的各方面。图6示出示例虚拟骨架的手部分的各方面。图7A示出用户经由视线指向来定向(target)显示器。图7B示出用户经由手臂瞄准指向来定向显示器。图8示出用户经由物理交互区来向计算系统提供输入。详细描述本公开涉及用于校准计算系统的自然用户界面(NUI)相机的方法。具体地，包括显示器和NUI相机的环境被成像，并且该环境的三维图被构造。在该三维图内，显示器和NUI相机相对于该环境及相对于彼此的位置和6自由度(6DoF)姿态被建立。图1示出在其中用户12站立在大尺寸、平面显示屏14前面的环境10。在一些实施例中，显示器14可以是立体3D显示器，或者在其它实施例中，可以是传统的2D显示器。计算系统16操作上耦合至该显示器以及其它组件，例如音频-视频(A/V)接收机18和扩音器20。在一个实施例中，计算系统可以是游戏控制台。在另一个实施例中，计算系统可以是多用途个人计算机或工作站。以下描述计算系统的附加方面。在一些实施例中，用户12可以通过传统的输入设备(例如键盘、触摸屏、鼠标、游戏系统控制器和/或无线遥控器)与计算系统16和相关联的组件进行交互。替换地或附加地，计算系统可对“自然用户输入”(NUI)作出响应，其中用户的语音、手势和/或眼睛移动被感测、解释并被用于控制计算系统。为此，在图1中的计算系统16操作上被耦合到机器视觉系统22。所示的机器视觉系统包括红外(IR)或近红外(NIR)照明源24、深度相机26以及平面图像相机28。机器视觉系统还可以包括用于从用户12接收语音或其它可听输入的话筒30(在图1中未示出)。深度相机26可被配置来获取用户12的时间分辨深度图序列和环境10的其它方面。如本文中所使用的，术语“深度图”指代与成像场景的对应区域(Xi,Yi)配准(register)的像素阵列，其中对于每一像素，深度值Zi指示对应区域的深度。“深度”被定义为与深度相机的光轴平行的坐标，该坐标随着距深度相机的距离的增加而增加。操作上，深度相机可被配置成获取2D图像数据，深度图是经由下游处理根据2D图像数据获得的。一般来说，深度相机26的性质在本公开的各实施例中可以是不同的。在一实施例中，来自深度相机中的两个立体地定向的成像阵列的亮度或颜色数据可被共同配准并用于构造深度图。在其它实施例中，照明源24可被配置成将包括众多离散特征(例如，线或点)的结构化照明图案投影到该主体上。该深度相机中的成像阵列可被配置成对从该主体反射回的结构化照明进行成像。基于所成像的主体的各个区域中的毗邻特征之间的间隔，可构造该主体的深度图。在又一其它实施例中，照明源可以将脉冲IR或NIR照明投向主体。深度相机中的一对成像阵列可被配置成检测从主体反射回的脉冲照明。这两个阵列均可包括与脉冲照明同步的电子快门，但这两个阵列的集成时间可不同，使得脉冲照明的从照明源到主体再接着到这两个阵列的像素解析的飞行时间可基于在两个阵列的相应元素中接收到的相对光的量来区别开来。通过合适的物镜系统，平面图像相机28在某一视野角范围内检测光，将这样的角度映射到矩形像素阵列中的对应像素。在一个实施例中，平面图像相机可检测多个波长通道—例如，红、绿、蓝等中的光，每个波长通道与该阵列中的像素的子集相关联。替换地，单色平面图像相机可被使用，其以灰度级对可见的、IR、NIR和/或紫外(UV)光进行成像。平面图像相机中曝光的所有像素的颜色或亮度值共同构成数字图像。在一些实施例中，深度相机26和平面图像相机28被布置成具有平行的、以相同方向定向的光轴。可使用深度相机26来在环境10内跟踪用户12，使得用户12的移动可被计算系统16解释为控制，而无需用户12持有任何特定的运动检测设备或佩戴任何特定的标记。在一个示例中，用户12可仅通过指向显示器14上出现的显示对象31来定向到该显示对象。为了允许用户通过直接指向显示对象来提供输入，显示器和机器视觉系统相对于彼此、相对于环境10以及相对于用户12的六自由度(6DoF＝X、Y、Z、俯仰、滚转、偏航)姿态必须是已知的。为了映射环境10内的显示器的6DoF姿态，可从不同的角度拍摄环境10的两个或更多个图像，只要这些图像中的至少一者包括显示器14即可。在一些示例中，这可通过以下来完成：在深度相机26以校准角度放置时对环境10进行成像，随后将深度相机26移动到操作角度(例如，图1中示出的角度)并对环境10重新进行成像。在其他示例中，单独的校准相机可被用于从校准角度对环境10进行成像。例如，辅助相机32可被通信地耦合到计算系统16。在另一示例中，用户12可使用设置在智能电话或平板计算设备内的相机对环境10进行成像。在又一示例中，环境10可由设置在增强现实设备(诸如由用户12穿戴的头戴式计算系统)内的相机来成像。图2描绘了示例头戴式显示系统40。头戴式显示系统40采用一对可佩戴的眼镜或护目镜的形式。头戴式显示系统40包括透视显示器42，透视显示器42可被配置成向透过透视显示器观看物理环境的用户可视地增强物理环境的景象。头戴式显示系统40可被配置成增强真实世界环境的现实。例如，真实世界背景的景象可通过可用透视显示器42呈现的图形内容来增强，使得图形内容表现为与真实世界背景混合。具体地，图像产生系统43可被配置成用透视显示器42显示虚拟物体的图像。在一些配置中，头戴式显示系统可以是加性显示系统，其中全息光可被显示在透视显示器上。例如，一个或多个部分透明的像素可向用户的眼睛发射光。用户可穿过和/或绕过像素来观看真实世界物体，但是所发射的光可看起来照亮了穿过和/或绕过像素观看到的背景物体。头戴式显示系统40包括可包括一个或多个光学传感器的光学传感器系统44。在一个示例中，光学传感器系统44包括面向内的光学传感器46和面向外的光学传感器48。面向内的光学传感器可被配置成对用户的眼睛执行注视检测或其他分析。面向外的光学传感器可被配置成从与用户穿过透视显示器42所观察到的类似的有利视点(vantagepoint)(例如，视线)检测真实世界背景。在一些本文档来自技高网...

【技术保护点】
一种校准自然用户界面(NUI)相机相对于显示器的六自由度(6DoF)姿态的方法：从校准相机接收从校准角度对环境进行成像的校准视频，所述校准视频设置所述显示器和一个或多个特征；根据所述校准视频三维地建模所述环境的三维图，所述环境的所述三维图定义所述显示器在所述环境内的6DoF姿态以及所述一个或多个特征中的每一者在所述环境内的三维位置；从所述NUI相机接收从操作角度对所述环境进行成像的主视频，所述主视频设置所述一个或多个特征；以及基于所述一个或多个特征的操作透视图，在所述环境的所述三维图内寻找所述NUI相机的6DoF姿态。

【技术特征摘要】
【国外来华专利技术】2014.12.10 US 14/566,4101.一种校准自然用户界面(NUI)相机相对于显示器的六自由度(6DoF)姿态的方法：从校准相机接收从校准角度对环境进行成像的校准视频，所述校准视频设置所述显示器和一个或多个特征；根据所述校准视频三维地建模所述环境的三维图，所述环境的所述三维图定义所述显示器在所述环境内的6DoF姿态以及所述一个或多个特征中的每一者在所述环境内的三维位置；从所述NUI相机接收从操作角度对所述环境进行成像的主视频，所述主视频设置所述一个或多个特征；以及基于所述一个或多个特征的操作透视图，在所述环境的所述三维图内寻找所述NUI相机的6DoF姿态。2.如权利要求1所述的方法，其特征在于，进一步包括：从所述NUI相机接收对所述环境中的用户进行成像的主视频；标识所述用户的第一身体部位和所述用户的第二身体部位相对于所述显示器的三维位置；以及在所述显示器上可视地指示所述显示器和从所述第一身体部位起延伸通过所述第二身体部位的线的交点。3.如权利要求1所述的方法，其特征在于，进一步包括：将用户的第二身体部位朝向所述显示器的移动解释为针对显示在所述显示器和从所述用户的第一身体部位起延伸通过所述第二身体部位的线的交点处的对象的输入命令。4.如权利要求3所述的方法，其特征在于，所述第二身体部位朝向所述显示器的移动是基于所述第二身体部位和所述用户的身体之间的距离来确定的。5.如权利要求3所述的方法，其特征在于，所述第二身体部位朝向所述显示器的移动是基于所述第二身体部位和所述第一身体部位之间的距离来确定的。6.如权利要求3所述的方法，其特征在于，进一步包括：在所述显示器上呈现显示对象；以及当所述交点与所述显示对象重合时，响应于所述第二身体部位朝向所述显示器的移动而选择所...

【专利技术属性】
技术研发人员：D·巴斯蒂安，K·A·肯尼迪，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国,US