一种面向教学实验的虚实融合机器教师教学方法及系统技术方案

本发明专利技术公开了一种面向教学实验的虚实融合机器教师教学方法及系统，通过虚拟3D机器人在进行抓取、转身、移动等动作时，通过先前用Maya中制作好的行为动画，在Unity中获取该动作的位姿信息，形成数据流，用无线串口通讯的方法实时传输到真实教师的树莓派控制板中；机器人接收到上位机传来的位姿信息，则通过总线控制各个关节的舵机运动，实现虚拟与现实教师实时同步，并在真实场景中完成提示、协助、运动等功能；既能得到好的实验效果，又能给予学生真实的交互感和沉浸感，指导作用更加明显，降低了实验中的危险性，使得实验过程更简单，更安全。

【技术实现步骤摘要】
一种面向教学实验的虚实融合机器教师教学方法及系统
本专利技术涉及虚拟现实、虚实融合、教育型机器人与交互式机器人
，具体涉及一种面向教学实验的虚实融合机器教师教学方法及系统。
技术介绍
随着现今硬件条件的不断提升，虚拟现实行业将又处于一段新的前进浪潮。对于学校的实验教学环境中，以前许多具备危险性，并且实验器材和实验耗材紧缺的化学、物理、生物等实验，现在都可以通过虚拟现实的技术还原到虚拟场景中，但毕竟是“虚拟的”，是“摸不着的”，故存在交互性不强、沉浸感不足、老师指导困难等的问题。目前的虚实融合的场景一般把现实中较易获得的、危险性较低的、成本不高的实验材料，常见的物体可使用真实的物体。但具备一定危险性的、成本较高的材料都使用虚拟生成。类似的，还可以根据需求制作不同的实验场景，比如化学的高锰酸钾实验、物理的电磁感应实验、生物的原核细胞制作实验等等。至此虚实融合的场景就完成了，学生可根据需求在预设的场景中进行相应的实验。在现有技术中在，虚实融合的整体实验环境分为屏幕里的虚拟场景和桌面上的真实场景，两个场景实时同步。可以看到桌面上的本文档来自技高网...

【技术保护点】
1.一种面向教学实验的虚实融合机器教师教学方法，其特征在于，所述方法包括：/nS100，定位实验场景，读取行为动画；所述行为动画通过MAYA软件录制抓取、转身、移动的动作生成；所述行为动画包括抓取、转身、移动的动作动画；/nS200，获取行为动画中动作的位姿信息；位姿信息包括抓取、转身、移动动作的位姿信息；/nS300，控制虚拟教师进行抓取、转身、移动动作并与行为动画中动作的相应的位姿信息比较从而采集位姿信息；所述虚拟教师为通过Unity3D软件制作成的虚拟机器人；/nS400，将获取的位姿信息形成控制指令构成的数据流；控制指令包括抓取、转身、移动动作指令；/nS500，将位姿信息形成的数据流...

【技术特征摘要】
1.一种面向教学实验的虚实融合机器教师教学方法，其特征在于，所述方法包括：
S100，定位实验场景，读取行为动画；所述行为动画通过MAYA软件录制抓取、转身、移动的动作生成；所述行为动画包括抓取、转身、移动的动作动画；
S200，获取行为动画中动作的位姿信息；位姿信息包括抓取、转身、移动动作的位姿信息；
S300，控制虚拟教师进行抓取、转身、移动动作并与行为动画中动作的相应的位姿信息比较从而采集位姿信息；所述虚拟教师为通过Unity3D软件制作成的虚拟机器人；
S400，将获取的位姿信息形成控制指令构成的数据流；控制指令包括抓取、转身、移动动作指令；
S500，将位姿信息形成的数据流通过无线串口通讯传输到机器人的树莓派控制板中；
S600，通过总线控制机器人与位姿信息中控制指令对应的各个关节的舵机运动。


2.根据权利要求1所述的一种面向教学实验的虚实融合机器教师教学方法，其特征在于，在S100中，定位实验场景采用ZED2KStereoCamera深度相机，深度相机和基于TOF、结构光原理的深度相机不同，不对外主动投射光源，通过依靠拍摄的两张图片来计算深度，所述图片包括彩色RGB或者灰度图。


3.根据权利要求1所述的一种面向教学实验的虚实融合机器教师教学方法，其特征在于，在S100中，定位实验场景的方法为以下步骤：首先需要对双目相机进行标定，得到两个相机的内外参数、单应矩阵，根据标定结果对实验场景的原始图像校正，校正后的两个相机的两张图像位于同一平面且互相平行，对校正后的两张图像进行像素点匹配，根据匹配结果计算每个像素的深度，从而获得深度图，计算出真实物体在虚拟场景中的世界坐标，从而达到虚实融合，实验中需要用到的物品耗材以及需要实验的火焰爆炸效果等，通过相机识别烧杯、载玻片等物体的位置，将虚拟效果附加在上面完成实验。


4.根据权利要求1所述的一种面向教学实验的虚实融合机器教师教学方法，其特征在于，在S200中，通过MAYA软件录制抓取、转身、移动的动作生成的方法包括以下步骤：通过MAYA软件，在当前的时间戳下将MAYA中的人物的关节移动到相应的位置，并标记下一个关键K帧；再为人物加上逆向运动学IK参数，IK是使用计算父物体的位移和运动方向，从而将所得信息继承给其子物体的一种物理运动方式，设置IK参数后的关节，对手掌这个触点，做抓取的动作时，与其关联的整个手臂都会跟随手掌自然的摆动到指定位置，此时手掌是子物体，手臂是父物体；在MAYA软件做好包含IK的动画之后，导入到Unity中，针对不同的实验，通过脚本程序设计好不同的指导动作。


5.根据权利要求1所述的一种面向教学实验的虚实融合机器教师教学方法，其特征在于，在S500中，所述机器人至少包括：树莓派开发板、舵机、移动模块、机械爪、搅拌电机、摄像头、语音模块与显示屏；机械爪用于取放和夹持物体；移动模块用于控制机器人移动、转身；移动模块为AGV驱动模块，所述舵机为总线伺服舵机；摄像头为高清摄像头可进行物体、颜色和手势的识别。


6.根据权利...

【专利技术属性】
技术研发人员：谭德政，潘志庚，
申请(专利权)人：佛山科学技术学院，
类型：发明
国别省市：广东;44