用于开发和播放自然用户接口应用的方法和装置制造方法及图纸

一种用于开发并且执行NUI应用的装置方法和计算机程序产品。该用于开发NUI应用的装置包括开发平台，其包括设计管理器，用于指示NUI对象和图形对象，其中，图形对象被设计成在执行NUI应用时，基于NUI设备所捕捉的并且与至少一个NUI对象关联的对象的移动而跟踪NUI对象的移动；交互管理器，用于管理NUI对象和图形对象之间的交互动作；以及NUI管理器，用于定义NUI设备使得通过执行NUI应用的计算平台支持NUI设备，其中该应用被图形地开发。

【技术实现步骤摘要】
【国外来华专利技术】
本公开设及通常用于计算机化系统的自然用户界面（NUI)，并且尤其是设及用于 不用编程而开发NUI应用的平台W及用于播放该应用的播放器。
技术介绍
诸如触摸屏、深度照相机或者S维照相机的自然用户接口（NUI)设备由于他们的 高效率、有吸引力的特征W及持续下降的价格，变得越来越流行。NUI系统包括先进的传感器并且利用先进的算法用于识别用户、辨别语音和姿态， 并且提供反馈。该些能力为用户提供了使用自然姿态与计算机化系统通信或者操作计算机 化系统的选择，并且能够提供流畅的、自然的并且直观的交互。在一些具体实施例中，诸如 微软公司Kinect?中，NUI设备可能被使用在沉浸式（immersive)环境中，即用户觉得他是 该系统中发生的事件的一部分的一种环境，无论该个事件是用户的图像、语音、移动或者是 正在被使用的另一个输入。该种环境可W从将人增加到系统中而收益很多。 然而，开发使用NUI设备的应用是劳动密集型的，并且需要复杂的编程。例如，公 共关系（PR)代理人可能希望向作为太阳眼镜零售商的客户提供一种使有兴趣购买太阳眼 镜的客户能够从目录中选择一副太阳眼镜，并且使用捕捉客户面部的照相机来显示戴上选 定眼镜的顾客的面部，而不需要顾客真正地试戴太阳眼镜甚至不需要他们自身到场。该应 用还可动态的方式显示客户，例如在移动时从不同的角度等等。PR代理人可W额外地或者替选地希望向作为电影制作者的另一个客户提供在主 题环境中并且穿着定做的服装，将用户浸入电影场景中、与演员们交互、并且变成片尾演员 表中的一部分。 用现有技术JR代理人、出售商或者其他媒体创作者不得不开始漫长、复杂W及昂 贵的编程努力，用于生成该种应用，该可能需要许多编程资源，还需要专口内容的知识，并 且可能产生费用并且产生瓶颈，该增加了上市销售需要的时间。媒体创作者因此处于挫折 的位置，他们缺乏工具来充分利用最新可用的激动人屯、的技术。 现有的NUI技术包括深度照相机，诸如美国华盛顿的Redmond或者微软公司制 造的Kinecr%其使用户能够使用身体姿势而不需要外部物体来玩游戏。开发者可W使用 Kinect系统开发工具箱化inectSystemDevelopmentKit,SDK)用于开发基于Kinect的 应用。其他技术包括诸如美国加州旧金山市的LeapMotion"制造的照相机，其可W容易 联接于任何计算机并且识别手势；诸如W色列荷兹利亚的XTR建议的从2D照相机提取深 度信息的软件解决方案；台湾台北市北投区的ASUS制造的XTI0N，开发者可W用它来使用 化enNIN口ESDK用于开发基于XTI0N或者Kinect的应用；传感器和微控制器，诸如来自 意大利伊夫雷亚的Aixluino,开发者可W用它在开放源Aixluino环境等等下进行开发。 该种照相机正在被集成并且使用在诸如智能电话、膝上型电脑、智能TV或者任何 其他计算平台的平台上。 其他NUI设备可W包括NUI眼镜、手跟踪设备和触摸显示器，诸如微软公司的 Digits(数字）、W色列Ringbow(彩虹）制造的腕传感器、位于美国加利福巧亚Menlo Park的Google制造的谷歌眼镜、南韩首尔的S星制成的、使显示器能够识别放在屏幕上的 手指、手和物体的MicrosoftPixelSense、美国加利福巧亚制造的包含透明触摸屏 LCD、数字标牌帽的智能窗口等等。借助于NUI应用还可W显著地增强诸如平面投影、窗口 投影、3D投影等的投影解决方案。除硬件设备之外，还有先进的跟踪和识别算法执行特征， 诸如但是不限于；面部检测和识别；面部跟踪；眼睛跟踪；身体跟踪；手的姿态识别；面部 的或者身体姿势；声音识别等。 上述的设备和算法是适宜的并且可W被集成到NUI应用中，但是虽然如此，该种 应用的开发仍需要编程，因此应用开发不能够容易地并且很快地进行。
技术实现思路
本公开主题的一个示例性实施例是一种装置，其具有处理单元和存储设备，该装 置包括；自然用户界面（NUI)开发平台，用于开发NUI应用，该开发平台包括；设计管理器， 用于指示NUI对象和图形对象，使得在执行NUI应用时，图形对象被设计成能基于NUI设 备所捕捉的并且与NUI对象关联的对象的移动而跟踪NUI对象的移动；交互管理器，用于 管理NUI对象和图形对象之间的交互动作；W及NUI管理器，用于定义NUI设备，使得通过 执行NUI应用的计算平台支持NUI设备，其中W图形方式开发NUI应用。在该装置内部， 图形对象可W被设计成能在NUI对象上定义的跟踪点、或者包括S个或者更多跟踪点的跟 踪区域上跟踪NUI对象。在装置内部，设计管理器可W被提供用于在NUI对象上指示参考 点。在该装置内部，图形对象可W与与物理特性有关的钉住点相关联，该样使得当执行NUI 应用时，图形对象或者它的一部分根据物理特性而跟踪NUI对象。在该装置内部，可W从由 物理对象的=维表示、物理对象的二维表示、图像、视频信号、音频信号、绘画、图解W及记 录的对象组成的组中选出图形对象。在该装置内部，NUI设备可W是从由网页照相机、深度 照相机、Kinect?设备、WII?遥控器、黑替leap手机（leap)、触控戒指（；Ringbow)、EEG头 盎巧EG helmet)、PS3"设备、智能电话、平板电脑、XTI0N、微软公司的Digits(数字）、微软 公司PixelSense(像素感知）、智能窗口（Smart Window)、谷歌眼镜（Google glass)、摩托 罗拉肥l、PMD⑥（视觉）照相机、化及装备有触控传感器的计算平台组成的组 中选出。该装置可W进一步包括姿态管理器，用于定义NUI设备的系统中可用的姿态。该 装置可W进一步包括无源媒体管理器，用于处理无源的媒体，该无源媒体管理器包括媒体 编码器，用于将识别符与视频信号关联。在该装置内部，可W通过一个或者多个交互对象提 供交互动作。在该装置内部，当执行NUI应用时，交互对象可W与编程命令关联。在该装置 内部，NUI对象可W与预定的姿态关联，并且可W用类似流程图的可视编程、通过连接器将 NUI对象连接到至少一个交互对象。在该装置内部，交互管理器可W被提供为一个或者多个 连接器类型，每个连接器类型与条件语句关联。在该装置内部，开发平台可W为开发者提供 人体或者人体多个部分的视觉表示，并且提供工具来在视觉环境中编辑实时视频。在该装 置内部，开发平台可W被提供对象记录，如此使得对象一旦被NUI设备捕捉到就可W识别 出该对象。 本公开的另一个方面设及一种具有处理单元和存储设备的装置，该装置包括：用 于执行NUI应用的播放器，该播放器包括；用于从NUI设备接收输入的NUI控制器；解码 器，用于识别从NUI设备接收到的输入中的姿态；本地交互媒体存储器，用于存储图形对 象；W及交互媒体执行器，用于将图形对象与输入集成在一起，使得图形对象根据NUI对象 的姿态来跟踪输入中识别出的NUI对象。在该装置内部，播放器可W进一步包括物理引擎， 用于在对NUI对象起作用时，执行在图形对象上限定的物理特性和动作。在该装置内部， NUI设备可W是从由网页照相机、深度照相机、Kinect?设备、Wir遥控器、黑替leap手机 (本文档来自技高网...

【技术保护点】
一种具有处理单元和存储设备的装置，该装置包括：自然用户界面(NUI)开发平台，用于开发NUI应用，该开发平台包括：设计管理器，用于指示至少一个NUI对象和至少一个图形对象，使得至少一个图形对象被设计成在执行NUI应用时，基于NUI设备捕捉的并且与至少一个NUI对象关联的对象的移动，跟踪至少一个NUI对象的移动；交互管理器，用于管理至少一个NUI对象和至少一个图形对象之间的交互动作；和NUI管理器，用于定义NUI设备，使得通过执行NUI应用的计算平台支持NUI设备，其中NUI应用被图形方式地开发，并且其中，当执行NUI应用时，NUI应用使用NUI设备并且显示所捕捉的NUI对象。

【技术特征摘要】
【国外来华专利技术】...

【专利技术属性】
技术研发人员：多利·奥瓦迪亚·纳翁，克菲尔·马察，萨利尔·马察，
申请(专利权)人：俄尼索斯软件有限公司，
类型：发明
国别省市：以色列;IL