一种基于生物电感知的虚拟远程实验系统及方法技术方案

本发明专利技术属于互联网技术领域，公开了一种基于生物电感知的虚拟远程实验系统及方法，环境传感模块捕捉实验室的实时视频并传输至虚拟显示模块，三维展示给使用者，使用者根据实时三维画面进行实验，肌电传感模块采集使用者动作时的手部姿态进行精准手部建模，经远程信息模块编码加密后无线传输至控制机器模块，其中的机器装置根据解密后的指令进行指定动作，将智能皮肤受到的触摸信息反传输至肌电传感模块给予使用者响应，同时，实验的效果信息实时反馈至虚拟显示模块，并经过远程信息模块的目标识别进行实验的评估。本发明专利技术通过提取肌电信号特征来识别手势，实现了提前预测，进一步提高了远程的效率。真正实现了“可见及可控”的远程操作。程操作。程操作。

【技术实现步骤摘要】
一种基于生物电感知的虚拟远程实验系统及方法


[0001]本专利技术属于互联网
，尤其涉及一种基于生物电感知的虚拟远程实验系统及方法。

技术介绍

[0002]实验课是学生必不可少的一项考察综合能力的课程，不仅需要学生的系统组织能力，还会考验动手操作能力。在全面考察学生的基础上，同时也对实验设备提出了更高的要求。传统的实验室都是建立在实体设备的基础上，学生预约使用、全程参与操作，并等待实验结果。这样的流程虽然真实且方便观察，但随之带来的耗时较长、需亲自到达实验室和实验资源无法有效利用等问题，都困扰着人们。
[0003]近年来，远程通信技术的迅速发展使得办公学习都可以在线上更方便的完成，引发了我们对远程实验的思考，学生通过一套完整的远程操作系统来控制实验室，何时何地都可以进行，并且能够获得与线下一样的真实感。实际上，目前已经出现了通过软件远程控制设备启停的功能，但还未做到真正的沉浸式操作。真实的体验感不仅有助于学生掌握实验，还可以提高资源空间利用效率。

技术实现思路

[0004]本专利技术目的在于提供一种基于生物电感知的虚拟远程实验方法，以解决上述的技术问题。
[0005]为解决上述技术问题，本专利技术的一种基于生物电感知的虚拟远程实验系统及方法的具体技术方案如下：
[0006]一种基于生物电感知的虚拟远程实验系统，包括肌电传感模块、虚拟显示模块、远程信息模块、控制机器模块、环境传感模块；
[0007]所述肌电传感模块用于采集使用者的手臂肌电信号，并进行处理和识别，实时输出精准的手部姿态建模结果；
[0008]所述虚拟显示模块用于将实验室的视频画面向使用者进行三维显示；
[0009]所述远程信息模块用于虚拟端和真实端的信息处理和通信，并进行实验评估；
[0010]所述控制机器模块用于跟随肌电识别的手势进行同样动作，并使用智能皮肤获取实验用品的触摸参数；
[0011]所述环境传感模块用于多方位感知实验室的环境参量并给出操作响应和效果反馈。
[0012]进一步的，所述肌电传感模块包括肌电信号采集装置、惯性测量单元、角度传感器、微处理器、触感发生器和无线通讯模块，所述电信号采集装置、惯性测量单元、角度传感器连接微处理器，所述微处理器连接触感发生器，所述无线通讯模块与微处理器通信连接；所述惯性测量单元安装在是实验者的手肘中心；所述角度传感器安装在手指上；所述触感发生器安装在实验者的双手指腹处；肌电信号采集装置用于采集肌肉电信号；惯性测量单
元用于测量运动关节的惯性；角度传感器用于测量手指的角度方向；微处理器用于处理各模块的信号；无线通讯模块用于传输信号。
[0013]进一步的，所述触感发生器包括微型发热器、振动片、微型湿度发生器。进一步的，所述肌电信号采集装置包括8通道表面电极、高通滤波电路、差分放大器、低通滤波电路、模数转换器，所述8通道表面电极连接高通滤波电路，高通滤波电路连接差分放大器，差分放大器连接低通滤波电路，低通滤波电路连接模数转换器，所述8通道的肌电信号经过小波变换提取初步特征，经过自编码器挖掘深层特征，通过长短时记忆模型获取时间域特征，最终实现连续的手势分类，结合手指角度传感器数据进行精准预测。进一步的，所述虚拟显示模块包含全息成像眼镜、耳机和无线通讯模块。进一步的，所述远程信息模块为加载了控制、加密和评估算法的处理器和无线通讯模块。
[0014]进一步的，所述控制机器模块为至少一套安装了智能皮肤的机械手系统装置，实时感知实验用具的材质、硬度、重量和压力的触摸参数。
[0015]进一步的，所述环境传感模块为至少一套包含了多方位双目立体相机、麦克风、测量温度、浓度、光强的参数的传感器和无线通讯模块的系统。
[0016]进一步的，所述系统工作过程如下所述，环境传感模块捕捉实验室的实时视频并通过无线传输至虚拟显示模块，三维展示给使用者，使用者根据实时三维画面进行实验，肌电传感模块采集使用者动作时的手部姿态进行精准手部建模，经远程信息模块编码加密后无线传输至控制机器模块，其中的机器装置根据解密后的指令进行指定动作，将智能皮肤受到的触摸信息反传输至肌电传感模块给予使用者响应，同时，实验的效果信息实时反馈至虚拟显示模块，并经过远程信息模块的目标识别进行实验的评估。本专利技术还公开了一种基于生物电感知的虚拟远程实验系统的控制方法，包括正向的信息传递过程和反向的感知反馈过程，具体步骤如下：
[0017]S1：全息成像：环境传感模块中的双目相机固定在机械手装置上方用于捕捉实验台的深度图，通过无线通讯实时传送至虚拟显示模块，采用全息成像技术对视频进行实时三维成像，通过全息眼镜展示给使用者，使用者根据观看到的全息影像进行虚拟实验操作；
[0018]S2：手部动作识别：离线时，肌电传感模块获取手臂肌肉的动作电信号并经电路滤波去噪、整流平滑后，利用小波变换提取多种特征，并搭建模式识别网络进行训练，在线操作时，输出预测的肌肉力度E和手势类别G
1i
、G
2i
(i＝1～40)，同时，手肘中心安装惯性测量单元记录运动方向D，并结合角度传感器获取手腕和十根手指的弯曲角度A
j
(j＝0～10)，通过模糊手势和精确角度对手部形态进行建模，从而精准预测手势运动；
[0019]S3：远程信息传输：虚拟端向真实端映射时，机械手肘部的位姿坐标B由方向D经坐标系转化而来，涉及公式(1)，在线操作时，虚拟端需向真实端传输的指令m形式是@_t_D_G
1i
_G
2i
_E_A
j
_#，其中@、#为起止符，t为时间，G
1i
、G
2i
分别表示左右手的手势类别，使用SCP协议远程传输，通过RSA算法对指令进行加密，如公式(2)；
[0020][0021]其中，为机械手肘部坐标B，为手肘IMU方向D，分别表示加速
度和角速度，R为旋转矩阵，T为平移矩阵；
[0022]c＝m
e mod N
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0023]其中，c为加密后的指令，m为加密前的明文指令，密钥对(e,N)为随机生成；
[0024]S4：真实端的被控操作：实验台前设置灵巧五指机械手进行跟随实验操作，机械手采用六轴垂直14关节结构，在接收到虚拟端远程传输的指令后，根据解密后的机械手肘部位姿B进行连续轨迹控制，根据手势类别G和手指弯曲角度A
j
进行手部模型的解码并对机械手进行姿态控制，并通过双目相机得到的深度图像获取实际位置C，根据当前位置C和目标位置B之间的误差使用PID控制器进行调节，如公式(3)；
[0025][0026]S5：实验反馈与评价：反馈包含操作反馈和效果反馈，其中操作反馈机制对机械手的十个末端采用智能皮肤覆盖，将温度T
S
、压力P、湿度H几个物理量远程传输至虚拟端的触感发生器，以实时给使用者触摸反馈，效果反馈机制是本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于生物电感知的虚拟远程实验系统，其特征在于，包括肌电传感模块、虚拟显示模块、远程信息模块、控制机器模块、环境传感模块；所述肌电传感模块用于采集使用者的手臂肌电信号，并进行处理和识别，实时输出精准的手部姿态建模结果；所述虚拟显示模块用于将实验室的视频画面向使用者进行三维显示；所述远程信息模块用于虚拟端和真实端的信息处理和通信，并进行实验评估；所述控制机器模块用于跟随肌电识别的手势进行同样动作，并使用智能皮肤获取实验用品的触摸参数；所述环境传感模块用于多方位感知实验室的环境参量并给出操作响应和效果反馈。2.根据权利要求1所述的基于生物电感知的虚拟远程实验系统，其特征在于，所述肌电传感模块包括肌电信号采集装置、惯性测量单元、角度传感器、微处理器、触感发生器和无线通讯模块，所述电信号采集装置、惯性测量单元、角度传感器连接微处理器，所述微处理器连接触感发生器，所述无线通讯模块与微处理器通信连接；所述惯性测量单元安装在是实验者的手肘中心；所述角度传感器安装在手指上；所述触感发生器安装在实验者的双手指腹处；肌电信号采集装置用于采集肌肉电信号；惯性测量单元用于测量运动关节的惯性；角度传感器用于测量手指的角度方向；微处理器用于处理各模块的信号；无线通讯模块用于传输信号。3.根据权利要求2所述的基于生物电感知的虚拟远程实验系统，其特征在于，所述触感发生器包括微型发热器、振动片、微型湿度发生器。4.根据权利要求2所述的基于生物电感知的虚拟远程实验系统，其特征在于，所述肌电信号采集装置包括8通道表面电极、高通滤波电路、差分放大器、低通滤波电路、模数转换器，所述8通道表面电极连接高通滤波电路，高通滤波电路连接差分放大器，差分放大器连接低通滤波电路，低通滤波电路连接模数转换器，所述8通道的肌电信号经过小波变换提取初步特征，经过自编码器挖掘深层特征，通过长短时记忆模型获取时间域特征，最终实现连续的手势分类，结合手指角度传感器数据进行精准预测。5.根据权利要求1所述的基于生物电感知的虚拟远程实验系统，其特征在于，所述虚拟显示模块包含全息成像眼镜、耳机和无线通讯模块。6.根据权利要求1所述的基于生物电感知的虚拟远程实验系统，其特征在于，所述远程信息模块为加载了控制、加密和评估算法的处理器和无线通讯模块。7.根据权利要求1所述的基于生物电感知的虚拟远程实验系统，其特征在于，所述控制机器模块为至少一套安装了智能皮肤的机械手系统装置，实时感知实验用具的材质、硬度、重量和压力的触摸参数。8.根据权利要求1所述的基于生物电感知的虚拟远程实验系统，其特征在于，所述环境传感模块为至少一套包含了多方位双目立体相机、麦克风、测量温度、浓度、光强的参数的传感器和无线通讯模块的系统。9.根据权利要求1所述的基于生物电感知的虚拟远程实验系统，其特征在于，所述系统工作过程如下所述，环境传感模块捕捉实验室的实时视频并通过无线传输至虚拟显示模块，三维展示给使用者，使用者根据实时三维画面进行实验，肌电传感模块采集使用者动作时的手部姿态进行精准手部建模，经远程信息模块编码加密后无线传输至控制机器模块，
其中的机器装置根据解密后的指令进行...

【专利技术属性】
技术研发人员：朱宇，孟濬，许力，陆国栋，郑俊辉，程仙平，
申请(专利权)人：余姚市机器人研究中心，
类型：发明
国别省市：