一种基于制造技术

本发明专利技术涉及

【技术实现步骤摘要】
一种基于BCI与VR融合机器人工作环境的人机交互操作系统及方法


[0001]本专利技术涉及
BCI
技术及
VR
技术与机器人相结合的领域，尤其涉及一种基于
BCI
与
VR
融合机器人工作环境的人机交互操作系统及方法
。

技术介绍

[0002] 目前，一般的工业机器人大部分采用
PLC
系统和其机械传动的方式控制，基于
BCI
系统的领域逐渐成为近年来技术的研究热点，
Brain
‑
Computer Interface
，即脑机接口，可以实现大脑意念对于外部其他设备的控制，现阶段，在人们可以通过两种方式使用
BCI
技术：一种是在大脑中植入一种芯片，另一种是佩戴脑电图的头盔，后者会将扁平的金属片与人的头皮相接触来测量人体脑电波，头盔获取的脑电波会通过一个小型放大器被无线传输到电脑上，以此实现对机器人应用在液压行业的控制，
VR,
为 虚 拟 现实 技术
(
英文名称：
Virtual Reality
，缩写为
VR)
，又称 灵 境 技术，是
20
世纪发展起来的一项全新的实用技术，虚拟现实技术囊括计算机
、
电子信息
、
仿真 技术于一体，其基本实现方式是 计算机 模拟虚拟环境从而给人以环境沉浸感，
,
但在现阶段，虚拟现实技术大多数应用在娱乐游戏行业中，如能将此技术应用在工作环境中，作业人员能第一进行感受虚拟的现场工作环境和状态，在工作中如增添了游戏环节一样，以减少职场工作中的压力，使之工作像游戏环节一样轻松；而结合目前实际传统的液压行业中，液压机属于大型铸造锻压的重工设备，如果在生产过程或操作过程中，因作业人员的操作不当时，会造成一些安全事故，针对上述中出现的缺陷，如能通过
BCI
领域结合
VR
领域融合大型的机器人应用在液压行业中的基础上，在本专利技术中提出了一种基于
BCI
与
VR
融合机器人工作环境的人机交互操作系统及方法，通过
BIC
系统采集作业人员的运动想象意图，分析后发送给
VR
系统，
VR
系统执行机器人完成作业人员头脑中分发的任务指令，杜绝了在生产过程或操作过程中，因作业人员的操作不当时造成的安全事故，同时也达到了以减少职场工作中的压力，使之生产工作像游戏环节一样轻松的有益效果
。

技术实现思路

[0003]本专利技术的目的是为了解决现有技术中存在的问题，而提出的种基于
BCI
与
VR
融合液压机械臂工作环境的人机交互操作系统及方法
。
[0004]为了实现上述目的，本专利技术采用了如下技术方案：一种基于
BCI
与
VR
融合机器人工作环境的人机交互操作系统，包括有
BCI
控制系统
、
物理环境系统
、VR
协助系统
、
与
VR
协助系统交互连接的机器人设备系统
,BCI
控制系统用于源信号源的获取
、
信号的产生
、
信号的监测
、
信号的处理及
BCI
信号特征的提取；所述
BCI
控制系统分别通过通讯装置连接
VR
协助系统与物理环境系统而形成交互系统，所述
VR
协助系统和物理环境系统和分别通过通讯装置连接机器人设备系统而形成交互系统；机器人设备系统中包括有指令分析及判断模块
、
控制运动模块
、
机械结构模块；机
械结构模块中包括有行进装置和机械臂，在行进装置中包括有第一行进装置
、
与之对应的第二行进装置，在第一行进装置和第二行进装置中均设置有行进控制器和位移传感器，在机械臂中包括有第一自由度臂
、
第二自由度臂
、
夹持装置；所述控制运动模块中包括有行进控制器
、
第一控制器
、
第二控制器
、
第三控制器
、
位移传感器
、
角度传感器一
、
角度传感器二
、
角度传感器三；所述第一控制器和角度传感器一设置在第一自由度臂上；所述第二控制器和角度传感器二设置在第二自由度臂上；所述第三控制器和角度传感器三设置在夹持装置上；在夹持装置上还设置有定位装置；所述
VR
协助系统通过通讯装置与指令分析及判断模块建立信息交互连接；所述指令分析及判断模块中包括有多个正确指令信息输出端口和错误指令信息输出端口；多个正确指令信息输出端口分别与行进控制器
、
第一控制器
、
第二控制器与第三控制器之间建立信息交互连接
。
[0005]进一步地，物理环境系统中包括有执行作业人员
、
虚拟作业人员
、
现场液压设备
、
现场操作机器人和机器人执行的任务事项
。
[0006]进一步地，
BCI
控制系统包括有智能头盔，在智能头盔中设置有信号采集系统
、
信号处理系统
、
信号输出系统；信号采集系统采集作业人员的脑电信号和肌电信号的原始数据，并将原始数据发送给信号处理系统，信号处理系统中将原始数据进行预处理
、
特征提取
、
信息进行模式分类后传输给信号输出系统；所述脑电信号和肌电信号为脑电图中的神经生理信号，所述信号采集系统为非嵌入式采集，通过在智能头盔内设置电极传感器来采集作业人员的脑电信号和肌电信号
。
[0007]进一步地，信号输出系统输送指令信息给
VR
协助系统中的信息模块，信息模块归集所有信息后建立不同种类的目标指令，将不同类的目标指令合成虚拟作业人员在虚拟现场的操作动作演示指令，将对应的合成指令分别发给行进控制器
、
第一控制器
、
第二控制器
、
第三控制器控制其第一行进装置
、
第二行进装置
、
第一自由度臂
、
第二自由度臂
、
夹持装置完成任务动作指令
。
[0008]进一步地，在
VR
协助系统中还包括有智能穿戴设备
、
智能应用终端设备，在智能应用终端设备中包括有图像显示模块
。
[0009]进一步地，所述图像显示模块与信息模块建立信息交互连接后，所述智能穿戴设备位于图像显示模块和信息模块之间，通过作业人员佩戴智能本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于
BCI
与
VR
融合机器人工作环境的人机交互操作系统，包括有
BCI
控制系统（1）
、
物理环境系统（2）
、VR
协助系统（3）
、
与
VR
协助系统（3）交互连接的机器人设备系统（4）
、
其特征在于：
BCI
控制系统（1）用于源信号源的获取
、
信号的产生
、
信号的监测
、
信号的处理及
BCI
信号特征的提取；所述
BCI
控制系统（3）分别通过通讯装置（
22
）连接
VR
协助系统（1）与物理环境系统（2）而形成交互系统，所述
VR
协助系统（3）和物理环境系统和（2）分别通过通讯装置（
22
）连接机器人设备系统（4）而形成交互系统；机器人设备系统（4）中包括有指令分析及判断模块（5）
、
控制运动模块（6）
、
机械结构模块（7）；机械结构模块（7）中包括有行进装置（8）和机械臂，在行进装置中包括有第一行进装置
、
与之对应的第二行进装置，在第一行进装置和第二行进装置中均设置有行进控制器（9）和位移传感器（
10
），在机械臂中包括有第一自由度臂（
11
）
、
第二自由度臂（
12
）
、
夹持装置（
13
）；所述控制运动模块中包括有行进控制器（
14
）
、
第一控制器（
15
）
、
第二控制器（
16
）
、
第三控制器（
17
）
、
位移传感器（
18
）
、
角度传感器一（
19
）
、
角度传感器二（
20
）
、
角度传感器三（
21
）；所述第一控制器（
15
）和角度传感器一（
19
）设置在第一自由度臂（
11
）上；所述第二控制器（
16
）和角度传感器二（
20
）设置在第二自由度臂（
12
）上；所述第三控制器（
17
）和角度传感器三（
21
）设置在夹持装置（
13
）上；在夹持装置（
13
）上还设置有定位装置；所述
VR
协助系统（3）通过通讯装置（
22
）与指令分析及判断模块（5）建立信息交互连接；所述指令分析及判断模块（5）中包括有多个正确指令信息输出端口（
23
）和错误指令信息输出端口（
24
）；多个正确指令信息输出端口（
23
）分别与行进控制器（
14
）
、
第一控制器（
15
）
、
第二控制器（
16
）与第三控制器（
17
）之间建立信息交互连接
。2.
根据权利要求1所述的一种基于
BCI
与
VR
融合机器人工作环境的人机交互操作系统，其特征在于：物理环境系统（2）中包括有执行作业人员
、
虚拟作业人员
、
现场液压设备
、
现场操作机器人和机器人执行的任务事项
。3.
根据权利要求1所述的一种基于
BCI
与
VR
融合机器人工作环境的人机交互操作系统，其特征在于：
BCI
控制系统（1）包括有智能头盔，在智能头盔中设置有信号采集系统（
25
）
、
信号处理系统（
26
）
、
信号输出系统（
27
）；信号采集系统（
25
）采集作业人员的脑电信号和肌电信号的原始数据，并将原始数据发送给信号处理系统（
26
），信号处理系统（
26
）中将原始数据进行预处理
、
特征提取
、
信息进行模式分类后传输给信号输出系统（
27
）；所述脑电信号和肌电信号为脑电图中的神经生理信号，所述信号采集系统（
25
）为非嵌入式采集，通过在智能头盔内设置电极传感器来采集作业人员的脑电信号和肌电信号
。4.
根据权利要求3所述的一种基于
BCI
与
VR
融合机器人工作环境的人机交互操作系统，其特征在于：信号输出系统（
27
）输送指令信息给
VR
协助系统（3）中的信息模块（
28
），信息模块（
28
）归集所有信息后建立不同种类的目标指令，将不同类的目标指令合成虚拟作业人员在虚拟现场的操作动作演示指令，将对应的合成指令分别发给行进控制器（
14
）
、
第一控制器（
15
）
、
第二控制器（
16
）
、
第三控制器（
17
）控制其第一行进装置
、
第二行进装置
、
第一自由度臂（
11
）
、
第二自由度臂（
12
）
、
夹持装置（
13
）完成任务动作指令
。5.
根据权利要求4所述的一种基于
BCI
与
VR
融合机器人工作环境的人机交互操作系统，其特征在于：在
VR
协助系统（3）中还包括有智能穿戴设备
、
智能应用终端设备，在智能应用终端设备中包括有图像显示模块（
29
）
。
6.
根据权利要求5所述的一种基于
BCI
与
VR
融合机器人工作环境的人机交互操作系统，其特征在于：所述图像显示模块（
29
）与信息模块（
28
）建立信息交互连接后，所述智能穿戴设备位于图像显示模块（
29
）和信息模块（
28
）之间，通过作业人员佩戴智能穿戴设备给人以视觉临场感；在第一自由度臂（
11
）
、
第二自由自由度臂（
12...

【专利技术属性】
技术研发人员：曾治，樊俐杉，曾学文，左启伟，
申请(专利权)人：成都正西机器人有限公司，
类型：发明
国别省市：