用于远程控制环境中的设备的系统和方法技术方案

提供了用于生成环境的3D地图和/或用于利用3D地图使用户能够控制环境中的智能设备和/或与环境中的人交互的计算机化系统、方法、装置和计算机可读存储介质。用户可以穿戴多个神经肌肉传感器，以生成3D地图、执行控制和/或与人交互。传感器可以被布置在由用户穿戴的载体上，并且可以被配置成感测来自用户的神经肌肉信号。被配置成捕获关于环境的信息相机可以布置在由用户穿戴的载体上。传感器和相机向耦合到存储器的计算机处理器提供数据。到存储器的计算机处理器提供数据。到存储器的计算机处理器提供数据。

【技术实现步骤摘要】
【国外来华专利技术】用于远程控制环境中的设备的系统和方法
[0001]相关申请的交叉引用
[0002]本申请要求2019年11月25日提交的第62/940,121号美国临时专利申请的优先权和权益，该美国临时专利申请通过引用以其整体并入本文。
专利

[0003]本技术总体涉及能够与其中对象可以被远程控制的环境进行交互的系统和方法。环境可以是真实世界环境或扩展现实(XR)环境，诸如增强现实(AR)环境、虚拟现实(VR)环境和/或混合现实(MR)环境。更具体地，本技术涉及使得能够基于用户的神经肌肉活动生成环境的三维(3D)地图的系统和方法，以及利用这样的3D地图使得用户能够经由用户的神经肌肉活动在环境中执行控制操作以及经由用户的神经肌肉活动与环境中的对象和/或一个或更多个其他人执行交互的系统和方法。
[0004]背景
[0005]真实世界的环境可以经由所谓的“物联网”(IoT)技术来远程控制。通常，可控对象(本文称为“智能设备”)连接到网络(例如因特网或环境的专用局域网(LAN))，并通过经由网络(无线地或经由硬连线)传递到智能设备的信号来控制。在不物理触碰智能设备的情况下，用户可以经由输入到计算机、智能手机、平板电脑等的指令和/或经由例如(美国加利福尼亚州库比蒂诺的Apple公司)、(美国华盛顿州西雅图Amazon.com公司)等(本文统称为“Siri/Alexa”)的语音命令来控制智能设备。为了输入指令，可能需要执行多个步骤以访问特定的控制接口，从而可以为智能设备输入指令。如将理解的，对不同智能设备的控制可能需要访问不同的控制接口。还要理解的是，在背景噪声(例如，在喧闹的聚会上)需要大声喊出语音命令以便被Siri/Alexa接收的情况下，或者在期望安静的情况下(例如，在录制钢琴演奏时)，语音指令可能是不方便的。
[0006]XR环境系统为用户提供真实世界环境的补充有虚拟信息的交互体验，其中在真实世界环境的多个方面上叠加计算机生成的感知信息或虚拟信息。存在用于控制用于产生XR环境的XR系统的操作以及用于与XR环境交互的各种技术。用于控制XR系统的操作和/或与XR环境交互的当前技术具有许多缺陷，因此需要改进技术。
[0007]概述
[0008]根据本专利技术，提供了一种用于对设备进行远程控制的计算机化系统。该系统包括：多个神经肌肉传感器；至少一个相机；以及至少一个计算机处理器。多个神经肌肉传感器被配置成感测来自用户的神经肌肉信号，并被布置在至少一个可穿戴设备上，该至少一个可穿戴设备被构造成由用户穿戴以获得神经肌肉信号。至少一个相机被配置成捕获关于环境的信息。至少一个计算机处理器被编程为基于由至少一个相机捕获的关于所述环境的信息来访问环境的地图信息。地图信息包括用于控制环境中的至少一个可控对象的信息。至少一个计算机处理器还被编程为响应于从由多个神经肌肉传感器感测的神经肌肉信号中辨别的神经肌肉活动(可选地，预定的神经肌肉活动或目标神经肌肉活动)，控制至少一个可控对象从第一状态改变到第二状态。
[0009]可选地，将环境的地图信息存储在存储器中。可选地，至少一个计算机处理器基于从由至少一个相机捕获的关于环境的信息中辨别的信息从存储器中检索地图信息。
[0010]可选地，辨别的信息在环境中是可见的。可选地，辨别的信息包括以下至少一个：QR码；图形符号；字母数字文本串；具有特定形状的3D对象；和/或至少两个对象之间的物理关系。
[0011]可选地，辨别的信息包括环境的参考对象。
[0012]可选地，地图信息包括表示环境中两个或更多个可控对象之间的物理关系的地图数据。
[0013]可选地，地图数据是环境中的对象的3D全景数据，对象包括至少一个可控对象。可选地，3D全景数据包括环境的360
°
表示。可选地，3D全景数据包括相对于单个旋转轴的数据。可选地或附加地，3D全景数据可以包括环境的局部视图的表示。
[0014]可选地，环境是包括虚拟对象和真实世界对象的扩展现实(XR)环境。可选地，至少一个计算机处理器被编程为根据地图信息确定虚拟对象的位置信息和真实世界对象的位置信息，并可选地，根据由至少一个照相机捕获的关于环境的信息确定环境中的参考对象。可选地，地图信息包括至少一个可控对象相对于参考对象的位置信息。
[0015]可选地，从由多个神经肌肉传感器感测的神经肌肉信号中辨别的神经肌肉活动是当用户在环境中时由用户相对于至少一个可控对象激活特定运动单位(motor
‑
unit)引起的。
[0016]可选地，从由多个神经肌肉传感器感测的神经肌肉信号中辨别的神经肌肉活动是当用户在环境中时由用户相对于至少一个可控对象执行至少一个姿态(gesture)引起的。
[0017]可选地，至少一个姿态可以包括以下中的一个或更多个：用户相对于至少一个可控对象移动至少一个手指；用户相对于至少一个可控对象移动手腕；用户相对于至少一个可控对象移动手臂；用户施加力但相对于至少一个可控对象不移动；和/或用户激活运动单位但相对于至少一个可控对象不移动并且没有相对于至少一个可控对象的力。
[0018]可选地，至少一个姿态包括以下中的至少一个：用户使用两个或更多个手指执行相对于至少一个可控对象的捏合动作(pinching motion)；用户相对于至少一个可控对象向上或向下倾斜手腕；和/或用户相对于至少一个可控对象向上或向下移动至少一个手指。
[0019]可选地，至少一个可控对象包括多个可控对象。可选地，至少一个姿态包括相对于多个可控对象中的一个可控对象的姿态。可选地，至少一个计算机处理器被编程为响应于控制信号，控制多个可控对象中的每一个可控对象从第一状态改变到第二状态。
[0020]根据本专利技术，还提供了一种可穿戴电子设备，其包括：被配置成感测来自用户的神经肌肉信号的多个神经肌肉传感器，该多个神经肌肉传感器被布置在被构造成由用户穿戴以获得神经肌肉信号的至少一个可穿戴设备上；能够捕获关于环境的信息的至少一个相机；以及至少一个计算机处理器，该至少一个计算机处理器被编程为基于由至少一个相机捕获的关于环境的信息来访问环境的地图信息，该地图信息包括用于控制环境中的至少一个可控对象的信息，并且该至少一个计算机处理器被编程为响应于从由多个神经肌肉传感器感测的神经肌肉信号中辨别的神经肌肉活动，控制至少一个可控对象从第一状态改变到第二状态。
[0021]可选地，环境至少是以下中的至少一个：家中的房间；公司里的房间；多层建筑的
楼层；和/或室外区域。
[0022]可选地，至少一个可控对象包括以下中的至少一个：显示设备；电子游戏机(game)；窗帘；灯；音响系统；锁；和/或食品或饮料制备设备。
[0023]根据本专利技术，还提供了一种计算机实现的方法，该方法包括：激活被配置成感测来自用户的神经肌肉信号的多个神经肌肉传感器，该多个神经肌肉传感器被布置在被构造成由用户穿戴以获得所述神经肌肉信号的至少一个可穿戴设备上；激活能够捕获关于环境的信息的至少一个相机；基于本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于对设备进行远程控制的计算机化系统，所述系统包括：多个神经肌肉传感器，所述多个神经肌肉传感器被配置成感测来自用户的神经肌肉信号，所述多个神经肌肉传感器被布置在被构造成由所述用户穿戴的至少一个可穿戴设备上以获得所述神经肌肉信号；至少一个相机，所述至少一个相机能够捕获关于环境的信息；以及至少一个计算机处理器，所述至少一个计算机处理器被编程为：基于由所述至少一个相机捕获的关于所述环境的信息访问所述环境的地图信息，所述地图信息包括用于控制所述环境中的至少一个可控对象的信息，以及响应于从由所述多个神经肌肉传感器感测的所述神经肌肉信号中辨别出的神经肌肉活动，控制所述至少一个可控对象从第一状态改变到第二状态。2.根据权利要求1所述的系统，其中：所述环境的地图信息存储在存储器中，以及所述至少一个计算机处理器基于从由所述至少一个相机捕获的关于所述环境的信息中辨别出的信息从所述存储器中检索所述地图信息。3.根据权利要求2所述的系统，其中，所述辨别出的信息在所述环境中是可见的，并且包括以下中的至少一项：QR码，图形符号，字母数字文本串，具有特定形状的3D对象，或者至少两个对象之间的物理关系。4.根据权利要求3所述的系统，其中，所述辨别出的信息包括所述环境的参考对象。5.根据权利要求1所述的系统，其中，所述地图信息包括表示所述环境中两个或更多个可控对象之间的物理关系的地图数据。6.根据权利要求5所述的系统，其中，所述地图数据是所述环境中的对象的3D全景数据，所述对象包括所述至少一个可控对象；和/或其中，所述地图信息包括多个已建立的中心点，并且其中，所述环境中的两个或更多个可控对象之间的所述物理关系根据所述已建立的中心点确定。7.根据权利要求6所述的系统，其中，所述3D全景数据包括以下中的一项或更多项：所述环境的360
°
表示；相对于单个旋转轴的数据；和/或所述环境的局部视图的表示。8.根据权利要求5所述的系统，其中，所述环境是包括虚拟对象和真实世界对象的扩展现实(XR)环境，其中，所述至少一个计算机处理器被编程为：根据所述地图信息确定所述虚拟对象的位置信息和所述真实世界对象的位置信息，以及根据由所述至少一个相机捕获的关于所述环境的信息，确定所述环境中的参考对象，以及其中，所述地图信息包括所述至少一个可控对象相对于所述参考对象的位置信息。9.根据权利要求8所述的系统，其中，从由所述多个神经肌肉传感器感测的所述神经肌
肉信号中辨别出的神经肌肉活动由所述用户执行以下操作引起：当所述用户处于所述环境中时相对于所述至少可控对象激活特定运动单位；和/或当所述用户处于所述环境中时相对于所述至少可控对象执行至少一个姿态。10.根据权利要求9所述的系统，其中，所述...

【专利技术属性】
技术研发人员：丹，
申请(专利权)人：脸谱科技有限责任公司，
类型：发明
国别省市：