基于unity3D和手部运动捕捉的VR化学实验室实施方法与系统技术方案

本发明专利技术公开了一种基于unity3D和手部运动捕捉的VR化学实验室实施方法与系统，方法包括：通过建模软件构建VR实验场景中的模组和化学实验室模型；通过unity3D引擎构建所述VR实验场景中实验所需的虚拟环境；识别用户的手部初始位置，输入用户手部的初始位置坐标与VR实验场景中的手部模型匹配，将手部动作实时映射到所述VR实验场景中的手部模型；根据用户的操作弹出相应的文字和语音提示，指导实验者操作。本发明专利技术通过使用VR设备、unity3D引擎构建了虚拟化学实验室，将学生置入原有课堂无法实现的场景中，促进学生对知识的深入理解，操作者可以在虚拟化学实验室里通过硬件交互的手段来对实验器材进行操作，提高训练效果，加深对实验的理解，同时减少成本，提高安全性。提高安全性。提高安全性。

Implementation method and system of VR chemistry laboratory based on unity3d and hand motion capture

【技术实现步骤摘要】
基于unity3D和手部运动捕捉的VR化学实验室实施方法与系统


[0001]本专利技术涉及计算机
，尤其涉及一种基于unity3D和手部运动捕捉的VR化学实验室实施方法与系统。

技术介绍

[0002]实际上，教育资源分布不均，而教育竞争却处处存在。有的学校没有相关的器材来提供相应的硬件支持来做实验。大量高中同学反应参加各大学科竞赛时由于缺乏实验的训练，导致没有达到预期的理想目标。同时，实验纳入了中高考的考试范围，但是在实际教学中很少让学生亲自动手操作，导致学科思维没法渗透到每个细节。其根本原因是经费有限。为了降低成本，本专利技术提出基于unity3D和手部运动捕捉的VR化学实验室实施方法与系统。
[0003]化学实验对于初高中同学掌握化学基础知识、培养化学实验基本能力有着至关重要的作用。然而，受到场地、仪器、安全等因素的影响，随时随地的开展化学实验是难以实现的。本专利技术立足实现一个基于虚拟现实技术的化学实验环境，即在虚拟现实（Virtual Reality，VR）设备上全真模拟出现实中的环境，营造一个虚拟空间来给用户提供高度仿真的实验体验，以便用户学习实验课程。通过感知用户手部动作，并形成视觉反馈，从而实现与真实实验高度匹配的临场体验。
[0004]因此，现有技术还有待于改进和发展。

技术实现思路

[0005]鉴于上述现有技术的不足，本专利技术的目的在于提供一种基于unity3D和手部运动捕捉的VR化学实验室实施方法与系统，旨在解决现有化学实验成本较高导致用户缺少实验训练无法对化学知识深入理解的问题。
[0006]为了解决上述技术问题，本专利技术为解决上述技术问题所采用的技术方案如下：一种基于unity3D和手部运动捕捉的VR化学实验室实施方法，其中，包括：通过建模软件构建VR实验场景中的模组和化学实验室模型；通过unity3D引擎构建所述VR实验场景中实验所需的虚拟环境；识别用户的手部初始位置，输入用户手部的初始位置坐标与VR实验场景中的手部模型匹配，将手部动作实时映射到所述VR实验场景中的手部模型；根据用户的操作弹出相应的文字和语音提示，指导用户操作。
[0007]所述的基于unity3D和手部运动捕捉的VR化学实验室实施方法，其中，所述VR实验场景中的模组包括物体三维的位置数据信息和材质信息。
[0008]所述的基于unity3D和手部运动捕捉的VR化学实验室实施方法，其中，所述VR实验场景中的化学实验室模型包括生活区和实验区，其中，所述生活区包括用户的工位以及文档柜，所述实验区包括试验台、加热器以及实验仪器。
[0009]所述的基于unity3D和手部运动捕捉的VR化学实验室实施方法，其中，所述通过
unity3D引擎构建所述VR实验场景中实验所需的虚拟环境的步骤包括：通过unity3D引擎提供物理计算系统，在所述物理计算系统中定义实验仪器的属性，所述实验仪器的属性包括质量、体积、材质、密度、表面粗糙度以及弹性中的一种或多种；利用unity3D的碰撞体功能，将碰撞检测模块附着在实验仪器和试剂上，在两个或多个试剂的位置参数发生部分重叠时，根据实验的不同现象以及不同化学试剂的不同化学物理性质，在化学试剂上赋予不同的触发脚本，演绎自主设计的动画以及特效效果。
[0010]所述的基于unity3D和手部运动捕捉的VR化学实验室实施方法，其中，所述识别用户的手部初始位置，输入用户手部的初始位置坐标与VR实验场景中的手部模型匹配，将手部动作实时映射到所述VR实验场景中的手部模型的步骤包括：检测到用户的手部放于设备之上悬空，待设备初始化成功后识别用户的手部初始位置；输入用户手部的初始位置坐标与VR实验场景中的手部模型匹配；建立物理空间和信息空间映射关系，将手部动作实时映射到所述VR实验场景中的手部模型。
[0011]所述的基于unity3D和手部运动捕捉的VR化学实验室实施方法，其中，所述根据用户的操作弹出相应的文字和语音提示，指导用户操作的步骤包括：将正确的操作序列导出为拓扑操作排序，根据用户的操作弹出相应的文字和语音提示，指导用户操作；若用户的实验操作符合规范并且符合正确的操作顺序，则不会报错；若用户的实验操作顺序错误，或不符合规范，则触发报错系统，弹出语音和文字的提醒操作。
[0012]所述的基于unity3D和手部运动捕捉的VR化学实验室实施方法，其中，还包括：检测用户登录的账号以及选择的模式，所述模式包括教师模式和学生模式。
[0013]所述的基于unity3D和手部运动捕捉的VR化学实验室实施方法，其中，当检测到用户选择教师模式时，赋予用户创建房间并分享当前画面的权限；当检测到用户选择学生模式时，赋予用户搜索权限，使用户通过房间号搜索找到目标房间观看教学。
[0014]所述的基于unity3D和手部运动捕捉的VR化学实验室实施方法，其中，选择教师模式的用户与选择学生模式的用户通过视频、音频以及聊天框进行交流。
[0015]一种基于unity3D和手部运动捕捉的VR化学实验室系统，其中，包括：VR场景构建模块，用于通过建模软件构建VR实验场景中的模组和化学实验室模型；硬件交互模块，用于通过unity3D引擎构建所述VR实验场景中实验所需的虚拟环境；手部识别模块，用于识别用户的手部初始位置，输入用户手部的初始位置坐标与VR实验场景中的手部模型匹配，将手部动作实时映射到所述VR实验场景中的手部模型；文字和语音提示模块，用于根据用户的操作弹出相应的文字和语音提示，指导用
户操作。
[0016]有益效果：本专利技术公开了一种基于unity3D和手部运动捕捉的VR化学实验室实施方法与系统，方法包括：通过建模软件构建VR实验场景中的模组和化学实验室模型；通过unity3D引擎构建所述VR实验场景中实验所需的虚拟环境；识别用户的手部初始位置，输入用户手部的初始位置坐标与VR实验场景中的手部模型匹配，将手部动作实时映射到所述VR实验场景中的手部模型；根据用户的操作弹出相应的文字和语音提示，指导实验者操作。本专利技术通过使用VR设备、unity3D引擎构建了虚拟化学实验室，将学生置入原有课堂无法实现的、更加贴近教学内容的场景中，加深学生对特定情境和特殊内容的真实感知，促进学生对知识的深入理解，操作者可以在虚拟化学实验室里通过硬件交互的手段来对实验器材进行操作，进行反复的训练，逐步提高操作熟练度，从而提高训练效果，加深对实验的理解，同时减少成本，提高安全性。
附图说明
[0017]图1为本专利技术实施例提供的基于unity3D和手部运动捕捉的VR化学实验室实施方法的具体实施方式的流程图。
[0018]图2为本专利技术实施例提供的基于unity3D和手部运动捕捉的VR化学实验室系统的功能模块示意图。
[0019]图3为本专利技术优选实施例1的步骤流程图。
[0020]图4为本专利技术优选实施例2的步骤流程图。
[0021]图5为本专利技术优选实施例3的步骤流程图。
具体实施方式
[0022]为使本专利技术的目的、本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于unity3D和手部运动捕捉的VR化学实验室实施方法，其特征在于，包括：通过建模软件构建VR实验场景中的模组和化学实验室模型；通过unity3D引擎构建所述VR实验场景中实验所需的虚拟环境；识别用户的手部初始位置，输入用户手部的初始位置坐标与VR实验场景中的手部模型匹配，将手部动作实时映射到所述VR实验场景中的手部模型；根据用户的操作弹出相应的文字和语音提示，指导用户操作。2.根据权利要求1所述的基于unity3D和手部运动捕捉的VR化学实验室实施方法，其特征在于，所述VR实验场景中的模组包括物体三维的位置数据信息和材质信息。3.根据权利要求1所述的基于unity3D和手部运动捕捉的VR化学实验室实施方法，其特征在于，所述VR实验场景中的化学实验室模型包括生活区和实验区，其中，所述生活区包括用户的工位以及文档柜，所述实验区包括试验台、加热器以及实验仪器。4.根据权利要求1所述的基于unity3D和手部运动捕捉的VR化学实验室实施方法，其特征在于，所述通过unity3D引擎构建所述VR实验场景中实验所需的虚拟环境的步骤包括：通过unity3D引擎提供物理计算系统，在所述物理计算系统中定义实验仪器的属性，所述实验仪器的属性包括质量、体积、材质、密度、表面粗糙度以及弹性中的一种或多种；利用unity3D的碰撞体功能，将碰撞检测模块附着在实验仪器和试剂上，在两个或多个试剂的位置参数发生部分重叠时，根据实验的不同现象以及不同化学试剂的不同化学物理性质，在化学试剂上赋予不同的触发脚本，演绎自主设计的动画以及特效效果。5.根据权利要求1所述的基于unity3D和手部运动捕捉的VR化学实验室实施方法，其特征在于，所述识别用户的手部初始位置，输入用户手部的初始位置坐标与VR实验场景中的手部模型匹配，将手部动作实时映射到所述VR实验场景中的手部模型的步骤包括：检测到用户的手部放于设备之上悬空，待设备初始化成功后识...

【专利技术属性】
技术研发人员：漆舒汉，卢登震，李恒毅，刘思媛，仇傅宇，李林浩，
申请(专利权)人：哈尔滨工业大学深圳哈尔滨工业大学深圳科技创新研究院，
类型：发明
国别省市：