可以作为多个目标/端点（设备）和的整合点的以人为中心的“设备的超UI”体系结构的方法和设备，以及面向“模块化”通用控制器平台以及输入设备虚拟化的具有动态上下文意识的手势输入的相关方法/系统技术方案

本发明专利技术目的为提供一种设备物理交互虚拟化技术，允许单个(通用)可穿戴平台模拟用户与(多种)输入设备间的物理交互。本发明专利技术旨在提供独特的以人为中心的“超级UI(用户界面)”，作为人与多种设备的之间直观“高速/并行”输入/交互能力的集成点。本发明专利技术包括可被其他可穿戴设备用于手势相关输入/输出的目的方法和装置与其它移动/可穿戴设备(例如智能手表/智能手机)集成以提供自然/直观、上下文敏感的手势输入，单手操作和高速并行输入/交互(可为双方向具有触觉/压力图案和视觉/音频反馈)为了便于更通用使用和功能扩展，提议的可穿戴式设备(类手套式可穿戴)也可能是模块化设计，使平台(可插拔)易于清洁/维护或用新硬件扩展。

Can be used as a multiple target / endpoint (equipment) and the integration of the human centered \equipment and super UI architecture method and apparatus and system for modular universal controller platform and virtual input device with dynamic context aware gesture input / correlation method

The purpose of the invention is to provide a device physical interaction virtualization technology, allowing single (Universal) wearable platform to simulate physical interaction between users and multiple input devices. The purpose of the invention is to provide a unique human centered \super UI (user interface)\ as an integration point of intuitionistic \high-speed / parallel\ input / interaction ability between human and multiple devices. The present invention includes other wearable device method and apparatus for the purpose of gesture input / output associated with other mobile / wearable devices (such as smart watches / intelligent mobile phone) to provide integrated natural / intuitive, context sensitive gesture input, single hand operation and a high speed parallel input / interaction (for double direction with pressure / tactile patterns and visual / audio feedback) in order to facilitate more general use and function expansion, the proposed wearable devices (gloves wearable) may also be of modular design, the platform (pluggable) easy cleaning / maintenance or use the new hardware.

【技术实现步骤摘要】
【国外来华专利技术】可以作为多个目标/端点(设备)和的整合点的以人为中心的“设备的超UI”体系结构的方法和设备，以及面向“模块化”通用控制器平台以及输入设备虚拟化的具有动态上下文意识的手势输入的相关方法/系统相关申请的交叉引用本申请要求2015年4月25日提交的美国临时专利申请第62/152883号的优先权，其全部公开在此通过引用并入本文。
和
技术实现思路
随着移动、可穿戴计算平台的发展，VR(虚拟现实)/AR(增强现实)和物联网(IOT)，越来越多的设备被引入到人类、移动/可穿戴设备或家居中间，并且每种设备可能有“基于设备的”需要(来自用户的)不同方式进行交互的UI(诸如按钮，显示器屏幕，旋钮，开关，LED和声音等)。本专利技术涉及一种设备物理交互虚拟化技术，其允许用单个(通用)的可穿戴平台模拟用户与(多个)输入设备的物理交互，这有助于跨不同设备的输入/交互，(对于诸如VR/AR的情况)允许快速切换输入/交互(虚拟)设备/方法，允许高速(自然地)急性并行输入/交互。本专利技术还涉及一种独特的以人为中心的“超UI”，可以充当多个设备的集成点，在人与设备之间直观的“高速/并行”输入/交互功能。本专利技术还包括与其他装置(例如但不限于智能手表/智能手机)整合的移动式/可穿戴方法和装置(可以被其他可穿戴设备的用于手势相关的输入/输出的目)，用于提供自然/直观(例如与真实地模拟按键、转动旋钮、“原力”直接远程交互/操纵所相关的技术)，上下文感知手势输入，单手操作和高速并行输入/交互(可以是双方向带反馈的，例如触觉/压力模式以及视觉/音频反馈)为了更方便的使用和功能扩展，所提议的可穿戴设备(手套式穿戴设备)可能还具有使得该平台成为可插拔的模块化设计，并且可以轻松地进行清洁/维护或用新的硬件进行扩展。还包括使用这种技术的应用程序/软件(手套平台或伴随的智能可穿戴平台(例如智能手表)上的3方应用程序)的实施方案。引言概念和优选实施例一些定义/概念：“可感的”-可以由用户特别是皮肤直接感受到的一些物理效果，例如在一个表面上多个点上的机械压力(图案)，触觉/振动(也可能有图案)，温度变化，气流/风吹等等，一个(动态)压力模式由用户的静态压力图案“呈现”的时间序列组成(例如可以用于指示显示表面上的东西的方向或移动)IMU-这里是指惯性测量单元，这是目前通常的集成电路MEMS器件/传感器，可以提供多个自由度(DOF)惯性和导航信号，如加速度(x，y，z轴上的投影)，旋转(角度速度，围绕x，y，z轴)，3d磁罗盘(x，y，z轴上的投影)等按需显示器/屏幕：这可以是当用户使用可穿戴设备进行手势/运动输入进行交互时提供视觉反馈的那个屏幕/显示器，这(也)可以是可穿戴显示器，例如智能手表的显示器，作为用于手势输入的可穿戴装置(例如图1(a)中的101)的“智能手套”的手套手背面的显示器，或者也可以是用户正在佩戴的VR/AR显示器/眼镜，甚至是在“附近”的、当用户执行此类交互时，用户可以看到并连接到与手势控制相关的可穿戴设备的显示屏幕(例如笔记本电脑或平板电脑，台式计算机或智能电视机)。人机工学模拟姿势/手势或“设备模拟特征手势”：这是一种用户可以在使用所提议的输入设备/输入方法时可舒适地使用的(肢体及可能还包括手掌的)姿势/手势。在某些情况下该姿势可以被保持很长的时间(例如多于几分钟)而不会疲劳，并且这样的姿势类似于用户在操纵由所提议的输入装置/输入方法所模拟的工具/装置时将使用的姿势。例如：用于使用鼠标进行模拟的“人机工学模拟姿态”是“手掌面朝下”(并且可能与前臂被认为在某些公差范围内例如一定正负角度内保持“水平”)，并且此类公差范围可能是可调整/可配置的)，就像人们通常在平坦表面上使用鼠标的方式一样；使用游戏操纵杆或“操纵/转向杆”进行模拟的“人机工学模拟姿态”是手掌面朝向侧面，就像人们通常使用操纵杆/转向杆的方式一样。使用遥控器进行模拟的“人机工学模拟姿势”是手掌面朝向上，就像人们通常使用遥控器的方式一样，而模拟智能手机/平板电脑的滑动/触摸的“人机工学模拟姿势”，就像人们通常如何使用智能手机/平板电脑一样，例如手掌向前或向下或以某种角度(可能是可配置的)(并且可能有1或2根手指戳在表面上)，在另一个示例中，用于瞄准武器(如枪)的“人机工学模拟姿势”可能是与用户持有这种武器的方式一模一样的(例如对步枪来说是使用双手，如果用户是右撇的则右手掌朝向侧面，并且食指放在“扳机”上，或者使用一个持有武器类的姿态的“象征性”的姿势(例如手枪，只需要一只手)来代表所有的武器，也可以为了舒适的目的优化姿势，例如允许肘部被支撑(在桌子上或在椅子的手臂上等)，并且为了例如更换武器的弹夹等的相关的活动，“人机工学模拟姿势”可以是类似于或象征着活动的一些活动，例如把手掌从垂直方向(掌面朝向侧面)旋转到掌面朝上，使其与实际活动相同或接近，因此可以轻松地被理解或记忆，在大多数情况下几乎不需要学习。以上只是一些例子，一般来说，如果正在模拟的工具有一个把柄，那么默认的“人机工学模拟姿势”就是用户通常操纵这样的把柄所采取的姿态。“设备模拟特征手势”可以被作为“提示”或“特征”手势(例如但不限于前面提到的“设备模拟特征手势”中提到的)手段，用于进入或退出(切换)上下文/输入设备的操作模式，并且可以作为以下讨论中的“上下文感知手势”输入方式以及智能切换的一部分。(-上网感知手势和智能切换-)有关“有上下文意识的”手势(和智能切换)输入方式(以及一些可能的实施例)：一个计算机实现的用于“有上下文意识的”手势输入/识别/输入的方法通常包括：基于当前的“上下文”或操作/输入模式来确定用户当前手势/(改变的)位置或用户身体部位的移动(例如但不限于手指，手，手腕，手臂等)的含义；每个独特的命令可能相对应于在同样上下文中独特的一个或多个手势；当前的“上下文”或操作/输入模式(其在某些情况下可以动态地切换)可以基于用户的手势/手位置/移动来确定(例如，可以为控件定义一个区域，当(用户的手/手指)进入此区域时，上下文可以切换到用于这种控件的适当模式，并且当用户的手/手指移出区域时，如果“虚拟”控件不被设计为跟踪手的移动，则上下文可以切换到其他模式)，并且当前操作模式(如果有的话)/上下文可能基于当前控制或用户当前正在进行交互的被模拟的输入设备确定，并且也可能基于决定“上下文”的(基于上下文的或特定的)“命令”或对应于一个可以指示开始或结束一个“上下文”或操作模式的手势(例如但不限于手/手指手势，可以是相对的/本地的或“全局”的)的事件/消息，例如上下文切换可以在当用户的手/手指进入用于操作特定控制/输入设备“独占”的区域(3D空间)时被触发，例如当用户的手指在(模拟/虚拟)按钮/键/旋钮或所选择的特定输入/控件的表面上时(或虚拟地“触碰”时)可以确定唯一的(或最佳的)操作/输入模式，或者当没有其他可用的上下文/操作模式可供切换时(例如当前应用/设备是用户正在进行交互的唯一设备，并且只有一种可能的方式与其进行交互)。这样的当前上下文可以退出或通过以下方式改变到另一个上下文(操作模式)：离开“操作区域“，使用在当前上下文中没有定义的“提示”/“特征”/“象征”手势(例如但不限于在上面”设备模拟特征本文档来自技高网...

【技术保护点】
一种由一个或多个处理器执行的计算机实现的方法，用于向用户提供在实际或其他模拟情况下(如屏幕上或VR/AR/MR环境，视频游戏/模拟)与“远程”在手触(手可直接触及够到的)范围之外的对象/目标/端点的“类似原力的”的远程交互(类似于电影“星球大战”中描绘的“原力”交互)包括：确定交互何时开始；然后确定哪些远程对象/目标/端点用户打算选择/选择或交互。

【技术特征摘要】
【国外来华专利技术】1.一种由一个或多个处理器执行的计算机实现的方法，用于向用户提供在实际或其他模拟情况下(如屏幕上或VR/AR/MR环境，视频游戏/模拟)与“远程”在手触(手可直接触及够到的)范围之外的对象/目标/端点的“类似原力的”的远程交互(类似于电影“星球大战”中描绘的“原力”交互)包括：确定交互何时开始；然后确定哪些远程对象/目标/端点用户打算选择/选择或交互。2.根据权利要求1所述的方法，其特征在于，所述“确定何时开始交互”，包括多种方式，例如由软件事件触发(当进入某些模式，例如但不限于：在游戏例如“星球大战战斗前线”通过拾取进入“英雄”模式)，通过用户姿势变化触发的事件，例如检测到一个“类似原力的”准备姿势和/或同时检测肌肉肌电(例如通过EMG/MMG检测的手/手指肌肉激活)与所述这种“类似原力的”的准备姿势，该姿势/姿势变化非常类似于例如相关电影和游戏(例如“星球大战战斗前线”)中所描绘的用于开始使用原力的手势--例如通过检测用户的手的在大致垂直于手掌的平面的方向的方向的短距离(不超过3英尺)远离使用者的身体方向的运动，手掌的旋转很少或没有旋转，并且该手掌的手指保持在接近电影星球大战中描绘的“原力”使用姿态，当该运动被检测到(通过诸如但不限于检测用户的手掌的角度/姿态/手势和运动以及每个手指(或主指)曲率和/或通过使用惯性和/或光学传感器(可能位于手套式可穿戴式(IMU/曲率传感器的情况下))或外部(如光学))进行相对角度/姿态/手势检测；或者通过确定是否满足以下条件来检测“类原力选择”初始手势：1)手掌背离用户或者手的背面朝向用户，2)手势是一个相对开放的位置，如图3所示的位置1(实线)，其中手指和拇指没有显着弯曲/弯曲或紧密相邻(紧邻的装置并排，它们之间没有空间)；在检测到这种“类原力选择”的初始手势时，确定该手势的大体总的指点方向(可以使用诸如但不限于通过“平均”五个手指的矢量方向的算法来计算并获得一般的指向方向一种方法是使用向量加法来添加可能的手指的所有(归一化)方向向量，对于不同的手指可能具有可能的不同(可配置)“权重”，并且确定空间中的方向)，这样的平均算法可以具有诸如使用不同拇指的“权量”和所有其他手指可能会考虑到手掌的方向，手掌的“弯曲程度”应相对不弯曲太多，也可能是手指的“弯曲度”等。)；在还有用户头部朝向或查找方向可用数据的情况下，则可选地，控制系统可以进一步过滤掉手势的大体总的指点方向不在用户头部正在看的方向的情况的那些姿势(这可能是一个选项，如果相关情况未被滤除，将允许用户与他们不面向/看的远程对象交互)。3.根据权利要求1所述的方法，其特征在于，确定哪些远程对象/目标/端点是用户想要选择或交互的，包括使用诸如但不限于以下的方式：1)在游戏/模拟中，在(可能由游戏/模拟确定的)用户的“原力交互作用”的有效范围(根据其到用户的距离和相对于用户手掌面朝向的角度)内选择对象/目标，或者2)在用户大体总的指点方向的方向范围(例如在由大体总的指点方向定义的搜索“圆锥”的中心区域内，或者由手指的各个方向限定，并且确定物体是否在范围内(在该“圆锥”中))内搜索(并且可以提供反馈例如高亮，放大和/或触觉反馈)；用于检测/识别正在被指向的“远程”设备的方法可以类似于(但不限于)在上文“A.指点和选择”风格的远程设备选择/交互部分中讨论的那些方法(如果所搜索的设备是在现实世界中的)，或如果互动的设定为为在虚拟世界中(例如游戏，模拟，3D软件/操作系统等)/在GUI上，执行“虚拟对象”搜索，如光线跟踪或其他类型的对象查找方法(例如有那些的3D/游戏引擎提供的)，以找出用户指向的虚拟对象；如果用户保持手势，开始“扫描”(改变手/手腕/手臂方向)，系统将更新相关的方向指示区域，并确定远程对象是否在范围内，并且可以提供反馈，例如突出(视觉)或触觉/压力反馈(触觉)以指示对象/目标在范围内。4.根据权利要求1所述的方法，其特征在于，通过从诸如图3中的位置2(虚线)所示的方式检测从用户的“类原力选择”初始姿势到“类原力吸引姿势”的变化，通过例如但不限于：探测手(姿)势的“开放性”从“较宽的开放角度”到“较窄的开放角度”(限度是可以是可配置的或可定制的)来确定，例如以(但不限于)下列途径)：3)计算每个手指(新)指向方向(新)平均指向方向(向量)或手势的“大体总的指点方向”的相对角度(标量值)正如刚才提到的。如果所有5个(或可用的)值都在减小到尚未处于“完全关闭”水平的程度(例如在接近开放姿态和完全关闭位置的“中途”或“半抓取”)位置的范围内，并且期望的范围和/或检测机制可配置/可定制)(例如不是在一个或两个与平均值或比例显着不同的值或“变化”比例)的情况下，例如大于30％)，或者至少值不是以“矛盾的方式”移动-一些手指是“关闭”，而另外一些则是“打开”-这意味着手势或上下文的改变)，那么“吸引手势“可以确定/相关信息/事件可以触发；或4)通过测量5(或可用)手指的“弯曲/弯曲度”来确定，例如但不限于从手指的“弯曲/弯曲”传感器的数据，当“度”所有相关手指的“弯曲/弯曲”增加到尚未处于“完全关闭”水平的程度(例如开放姿势和完全关闭位置的“中途”或“半抓”位置，并且限制/范围可配置并且期望地，所有手指以类似的方式移动，例如但不限于弯曲/弯曲的所有变化的比率在彼此的25％(或可配置值)内或平均值之间，或至少不是值不是以“矛盾的方式”移动-一些手指“关闭”，而其他一些则是“打开”-这意味着手势或上下文的改变)，则可以确定“吸引手势”相关消息/事件可以触发；因此，当满足上述条件并且手指(在手上)的“平均”开放角度在极限下变为较小的值(与“力选择”中的手指的“平...

【专利技术属性】
技术研发人员：肖泉，
申请(专利权)人：肖泉，
类型：发明
国别省市：北京,11