物联网设备控制方法、系统、存储介质及处理器技术方案

本发明专利技术实施例提供一种物联网设备控制方法、系统、存储介质及处理器，属于物联网技术领域。该物联网设备控制方法包括：获取当前环境中的实时情景信息，并将该实时情景信息呈现于AR界面中；从实时情景信息中识别出目标物联网设备当前可供操作的选项，并将识别到的可供操作的选项呈现于AR界面中，其中AR界面包括视觉刺激元素；获取用户响应于视觉刺激元素的脑电信号，其中脑电信号通过对于视觉刺激元素的视觉注意力获取；对脑电信号进行分析，并根据该分析结果，控制目标物联网设备响应脑电信号。本申请的物联网设备控制方法通过计算机视觉完成情境感知，能够有效辅助用户在复杂环境下进行决策与控制，实现多线程任务的同时执行。实现多线程任务的同时执行。实现多线程任务的同时执行。

【技术实现步骤摘要】
物联网设备控制方法、系统、存储介质及处理器


[0001]本专利技术涉及物联网
，具体地涉及一种物联网设备控制方法、系统、存储介质及处理器。

技术介绍

[0002]增强现实(Augmented Reality，AR)技术旨在增强人类能力，基于计算机实时计算和多传感器融合，将现实世界与虚拟信息结合起来，为人类提供各种辅助信息，成为沟通人类个体与信息世界的重要媒介，目前在医疗、交通、航天、通信、工业维修等领域发挥作用。
[0003]计算机视觉技术(Computer Vison，CV)是基于感知图像做出对客观对象和场景有用的决策，视觉识别是计算机视觉的关键组成部分，如图像分类、定位和检测。一些增强现实头显系统已通过CV技术对现实世界的视觉感知能力将增强现实推进到了混合现实体验(Mixed Reality，MR)。
[0004]然而现有技术中AR场景交互依赖于传统交互手段，例如手势、语音、、凝视、控制器等，常常会出现执行双手操作工作双手被占用的情况下需要触发AR界面交互而产生的困难，或因复杂环境而产生图像识别/语音识别困难的情况而无法完成AR界面交互；基于AR界面的视觉诱发电位VEP(Visual Evoked Potential)脑机交互，完成AR界面上的菜单选择交互，不能完成基于环境感知与分析能力的混合现实交互。
[0005]目前现有的物联网终端控制应用依赖传统的屏幕式终端设备，无法融入场景，即使结合已有的混合现实交互技术也难以达到自然流畅的操控效果。

技术实现思路

[0006]本专利技术实施例的目的是提供一种方法，该方法通过结合VEP与计算机视觉及增强现实的技术，实现更加自然高效的AR交互，从而控制物联网设备的工作状态。
[0007]为了实现上述目的，本专利技术实施例提供一种物联网设备控制方法，包括：
[0008]获取当前环境中的实时情景信息，并将该实时情景信息呈现于AR界面中；
[0009]从所述实时情景信息中识别出目标物联网设备当前可供操作的选项，并将识别到的所述可供操作的选项呈现于所述AR界面中，其中所述AR界面包括视觉刺激元素；
[0010]获取用户响应于所述视觉刺激元素的脑电信号，其中所述脑电信号通过对于所述视觉刺激元素的视觉注意力获取；以及
[0011]对所述脑电信号进行分析，并根据该分析结果，控制所述目标物联网设备响应所述脑电信号。
[0012]可选的，所述视觉刺激元素是基于视觉诱发电位VEP范式定义的。
[0013]可选的，所述视觉刺激元素能够通过视觉注意力被选择和触发。
[0014]可选的，所述目标物联网设备为以下设备之一：智能家电、工业机械、运动设施、手术器械、互动玩具、遥控车、无人机、轮椅、机械臂、智能车辆。
[0015]可选的，所述实时情景信息通过AR摄像头获取；和/或所述脑电信号通过枕区脑机
设备进行采集；和/或所述目标物联网设备通过AR摄像头识别并跟踪。
[0016]优选的，所述可供操作的选项通过识别并跟踪所述目标物联网设备的空间位置和运行状态来确定；及
[0017]根据识别到的所述目标物联网设备当前可供操作的选项，在所述AR界面的相应位置呈现所述目标物联网设备的信息及相应操作指令的视觉刺激模块。
[0018]可选的，所述脑电信号通过枕区脑机设备进行采集；以及
[0019]所述视觉刺激元素通过所述枕区脑机设备的佩戴者的视觉注意力进行主动选择或者触发。
[0020]另一方面，本专利技术提供一种物联网设备控制系统，包括：
[0021]第一获取模块，用于获取当前环境中的实时情景信息，以使得该实时情景信息呈现于AR界面中；
[0022]AR识别和界面呈现模块，用于从所述实时情景信息中识别出目标物联网设备当前可供操作的选项，并将识别到的所述可供操作的选项呈现于所述AR界面中，其中所述AR界面包括视觉刺激元素；
[0023]第二获取模块，用于获取响应于所述视觉刺激元素的脑电信号，其中所述脑电信号通过对于所述视觉刺激元素的视觉注意力获取；以及
[0024]分析处理模块，用于对所述脑电信号进行分析，并根据该分析结果，控制所述目标物联网设备响应所述脑电信号。
[0025]可选的，所述视觉刺激元素是基于视觉诱发电位VEP范式定义的。
[0026]可选的，所述视觉刺激元素能够通过视觉注意力被选择和触发。
[0027]可选的，所述目标物联网设备为以下设备之一：智能家电、工业机械、运动设施、手术器械、互动玩具、遥控车、无人机、轮椅、机械臂、智能车辆。
[0028]可选的，所述AR识别和界面呈现模块和/或所述分析处理模块位于脑机设备、本地服务器或云端服务器。
[0029]可选的，所述第一获取模块为AR摄像头，用于获取当前环境中的实时情景信息，以识别当前环境中的目标物联网设备。
[0030]优选的，所述第一获取模块或者所述AR识别和界面呈现模块还用于识别并跟踪所述目标物联网设备的空间位置和运行状态，以确定所述目标物联网设备当前所述可供操作的选项；以及
[0031]所述AR识别和界面呈现模块还用于根据识别到的所述目标物联网设备当前可供操作的选项，在所述AR界面的相应位置呈现所述目标物联网设备的信息及相应操作指令的视觉刺激模块。
[0032]可选的，所述第二获取模块为枕区脑机设备，用于采集其佩戴者的脑电信号，其中所述视觉刺激元素通过所述枕区脑机设备佩戴者的视觉注意力进行主动选择或者触发。
[0033]另一方面，本专利技术提供一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令用于使得机器执行本专利技术的物联网设备控制方法。
[0034]另一方面，本专利技术提供一种处理器，用于运行程序，其中，所述程序被运行时用于执行本专利技术的物联网设备控制方法。
[0035]通过上述技术方案，从当前环境中的实时情景信息中识别出目标物联网设备当前
可供操作的选项，将该实时情景信息和可供操作的选项呈现于AR界面中，获取佩戴有脑机设备的用户响应于AR界面中的视觉刺激元素的脑电信号，并根据对该脑电信号的分析结果控制目标物联网设备，从而提供一种受复杂环境影响很小的现实与虚拟信息的AR交互形式，这种交互形式应用于智能家电、工业机械、运动设施、手术器械、互动玩具、遥控车、无人机、轮椅、机械臂、智能车辆等类型的目标物联网设备的操纵场景中，能够实现基于环境感知与分析能力的混合现实交互，并据此实现对目标物联网设备的控制。
[0036]本专利技术实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
[0037]附图是用来提供对本专利技术实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本专利技术实施例，但并不构成对本专利技术实施例的限制。在附图中：
[0038]图1是本专利技术的物联网设备控制方法的一实施例的流程图；
[0039]图2是图1实施例的技术路线图；...

【技术保护点】

【技术特征摘要】
1.一种物联网设备控制方法，其特征在于，包括：获取当前环境中的实时情景信息，并将该实时情景信息呈现于AR界面中；从所述实时情景信息中识别出目标物联网设备当前可供操作的选项，并将识别到的所述可供操作的选项呈现于所述AR界面中，其中所述AR界面包括视觉刺激元素；获取用户响应于所述视觉刺激元素的脑电信号，其中所述脑电信号通过对于所述视觉刺激元素的视觉注意力获取；以及对所述脑电信号进行分析，并根据该分析结果，控制所述目标物联网设备响应所述脑电信号。2.根据权利要求1所述的物联网设备控制方法，其特征在于，所述视觉刺激元素是基于视觉诱发电位VEP范式定义的。3.根据权利要求1所述的物联网设备控制方法，其特征在于，所述视觉刺激元素能够通过视觉注意力被选择和触发。4.根据权利要求1所述的物联网设备控制方法，其特征在于，所述目标物联网设备为以下设备之一：智能家电、工业机械、运动设施、手术器械、互动玩具、遥控车、无人机、轮椅、机械臂、智能车辆。5.根据权利要求1所述的物联网设备控制方法，其特征在于，所述实时情景信息通过AR摄像头获取；和/或所述脑电信号通过枕区脑机设备进行采集；和/或所述目标物联网设备通过AR摄像头识别并跟踪。6.根据权利要求1所述的物联网设备控制方法，其特征在于，所述可供操作的选项通过识别并跟踪所述目标物联网设备的空间位置和运行状态来确定；及根据识别到的所述目标物联网设备当前可供操作的选项，在所述AR界面的相应位置呈现所述目标物联网设备的信息及相应操作指令的视觉刺激模块。7.根据权利要求1所述的物联网设备控制方法，其特征在于，所述脑电信号通过枕区脑机设备进行采集；以及所述视觉刺激元素通过所述枕区脑机设备的佩戴者的视觉注意力进行主动选择或者触发。8.一种物联网设备控制系统，其特征在于，包括：第一获取模块，用于获取当前环境中的实时情景信息，以使得该实时情景信息呈现于AR界面中；AR识别和界面呈现模块，用于从所述实时情景信息中识别出目标物联网设备当前可供操作的选项，并将识别到的所述可供操作的选项呈现于所述AR界面中，其中所述AR界面包括视觉刺激元素；第二获取模块，用于获取响应于所...

【专利技术属性】
技术研发人员：郭倩，朱方坤，王晓岸，
申请(专利权)人：脑陆重庆智能科技研究院有限公司，
类型：发明
国别省市：