一种基于虚拟漫游技术的教学培训方法技术

本发明专利技术公开一种基于虚拟漫游技术的教学培训方法，包括：利用3DSMAX构建模型，并将构建的模型导入Unity环境中搭建三维环境，所述摄像机用于展现教学或培训区域的场景画面，所述碰撞检测模块用于人物模型与其他模型的碰撞检测；利用插值样条线性曲线在三维环境中构建人物模型漫游路径；利用卷积神经网络在三维环境中构建智能对话系统，用于对用户输入的语音信息进行分析处理得到语音回复信息；通过用户端输入指令信息，控制人物模型移动到指定位置，基于漫游路径控制人物模型移动到指定位置，通过智能对话系统，对用户输入的语音信息进行回复，以完成设定的关卡任务，实现虚拟现实教学或培训。该方法具有较好的真实感和交互体验感。体验感。体验感。

【技术实现步骤摘要】
一种基于虚拟漫游技术的教学培训方法


[0001]本专利技术属于虚拟现实应用和教育教学领域，具体涉及一种基于虚拟漫游技术的教学培训方法。

技术介绍

[0002]虚拟现实技术具有创设生动情境、营造沉浸式学习环境、将抽象知识可视化、创新教育方式和评价方法等优点，虚拟现实技术的三大特点为沉浸性、交互性、想象性，在虚拟现实环境中，创设虚拟情境，让学生或员工有身临其境的感觉，可以提升学生或员工在学习中的体验感。
[0003]近年来，随着人们教育理念的升级，各式各样的教育类游戏层出不穷，结合虚拟现实技术，打造的教育游戏更加出色，文献Berns A,Gonzalez
‑
Pardo A,Camacho D.Game
‑
like Language Learning in 3
‑
D Virtual Environments[J].Computers&Education,2013,60(1):210
‑
220.公开的基于开源平台Open Simulator，设计开发了VirtUAM三维虚拟德语学习游戏平台，该平台创建虚拟情境，帮助学生或员工在虚拟环境中学习。
[0004]文献Gabriel Culbertson,Erik Andersen,Walker White,Daniel Zhang,and Malte Jung.Crystallize:an Immersive,Collaborative Game for Second Language Learning.In CSCW 2016.Crystallize公开的是一款3D英语学习游戏，采用头戴式显示器Oculus Rift进行交互，通过任务系统将语言学习游戏化。
[0005]文献面向SELL
‑
Corpus和VR环境的英语口语学习与评估研究[D].华东师范大学,2019.公开的一款可以支持连接HTC Vive、Gear VR、PC和手机等设备的虚拟英语学习环境，用于面试、演讲等特定场景的英语训练，并支持多设备同步，为不同设备需求的学习者提供一个可互动交流的平台。
[0006]在虚拟现实游戏开发过程中，设计第三人生的游戏主角，通过主角在场景中，漫游，可以增加学生或员工的游戏体验，感受到在真实世界中相似的学习经历，文献Enscape for SketchUp虚拟漫游技术在展厅设计中的应用分析公开了通过自动漫游和手动漫游两种方式，实现场景中的自由移动，并且构造一种通过鼠标和键盘控制学生或员工移动的方式，完成具有较强沉浸感和交互性的教育漫游系统，增加游戏体验，提升学习效果。
[0007]目前出现众多虚拟现实沉浸式游戏，帮助学生或员工在虚拟现实环境中进行学习，但是目前虚拟现实教育中的体验和交互感受有待提升，因此亟需设计一款在虚拟现实环境中帮助学生或员工学习数学的应用和企业培训的应用，设计符合学生或员工学习习惯和企业培训的教育关卡和良好的交互方式，通过技术，更好地进行教育或培训设计。

技术实现思路

[0008]本专利技术提供一种具有较高真实感和交互体验感的虚拟现实的教学培训方法。
[0009]一种基于虚拟漫游技术的教学培训方法，包括：
[0010]S1：利用3DSMAX构建人物模型，局部模型和教学或培训区域整体模型，并将构建的
人物模型，局部模型和教学或培训区域整体模型导入Unity环境中搭建教学或培训区域的三维环境，并对三维环境中的各个场景进行描绘，并在三维环境中接入摄像机和碰撞检测模块，所述摄像机用于展现教学或培训区域的场景画面，所述碰撞检测模块用于人物模型与其他模型的碰撞检测；
[0011]S2：利用插值样条线性曲线在三维环境中构建人物模型漫游路径，设定插值样条线性曲线的控制点，通过控制点间的线段确定控制点间的多个插值点，通过多个插值点，建立线条圆滑的漫游路径；
[0012]S3：利用卷积神经网络在三维环境中构建智能对话系统，用于对用户输入的语音信息进行分析处理得到语音回复信息；
[0013]S4：应用时，通过用户端输入的指令信息，手动控制人物模型移动到第一指定位置或者切换视角，以及基于漫游路径自动控制人物模型移动到第二指定位置，通过智能对话系统，对用户输入的语音信息进行回复，以在三维环境中完成设定的关卡任务，从而实现虚拟现实教学或培训。
[0014]本专利技术通过设计自动漫游和手动漫游使得用户能够有选择性的控制人物模型，并且通过摄像机和碰撞检测模块的设置，以防止碰撞或穿越物体，造成不真实感以增加用户体验，通过手动控制人物模型的移动增加良好的交互体验，增加真实感和体验感。
[0015]所述的利用卷积神经网络在三维环境中构建智能对话系统的具体步骤为：
[0016]利用卷积神经网络构建智能对话系统，所述智能对话系统包括输入层，卷积层，池化层和分类层，输入层用于对输入多个词向量进行拼接，输出词拼接向量，卷积层用于利用滤波器对输入拼接词向量提取特征，并通过池化层对滤波器提取的特征进行聚合，输出词卷积特征向量，分类层包括全连接层和softmax函数，全连接层对输入词卷积特征向量进行融合，然后将融合后的特征向量输入softmax函数进行分类，基于分类结果得到语音回复信息。
[0017]通过卷积操作能够提取语句中存在的局部特征，并且最后的池化操作能够保证产生的特征向量对应的长度固定，避免因不同的滤波器而产生不同长度的向量。智能对话系统需要注意语义表征(自然语言的歧义、口语化和多样性)、语句逻辑性、前后内容一致性和沟通交流的交互性等。目前提供更好的用户产品体验，更加标准化的对话系统组件，更合理的系统评价方式和更加自主的学习更新能力，是智能对话系统的关键。
[0018]将用户输入的语音信息通过分词工具划分为多个单词，通过词向量模型将多个单词转换为多个词向量，将所述多个词向量输入至输入层。
[0019]所述的通过控制点间的直线确定控制点间的插值的具体步骤为：
[0020]在控制点间插入等间隔的线段，通过依次计算控制点与线段之间的差值S，直到预先设定的阈值S时(S需要根据场景中物体的坐标以及实际距离来确定阈值的大小，本场景中设置为d＝5)，得到控制点间的多个插值点。其中，设视点为V(即虚拟人物头部的位置)，取视线上沿运动方向距离为d的点M，连接V和M形成线段，通过运行判断同一段距离中，线段数量越多，说明曲线越光滑(点到点之间线段最短，但是两点之间的线段数量越多，也会判断为曲线光滑程度越高)。
[0021]所述的使得摄像机跟随人物模型移动的具体步骤为：
[0022]将摄新机设置为人物模型的子物体，调整摄像机和人物模型的观察角度，以保持
观察角度一致以及相对位置固定。
[0023]通过在场景中设置主角物体Capsule，把相机物体MainCamera拖拽为主角物体Capsule的子物体，调整Capsule和MainCamera的观察角度。摄像机的移动原理：在场景中摄像本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于虚拟漫游技术的教学培训方法，其特征在于，包括：S1：利用3DSMAX构建人物模型，局部模型和教学或培训区域整体模型，并将构建的人物模型，局部模型和教学或培训区域整体模型导入Unity环境中搭建教学或培训区域的三维环境，并对三维环境中的各个场景进行描绘，并在三维环境中接入摄像机和碰撞检测模块，所述摄像机用于展现教学或培训区域的场景画面，所述碰撞检测模块用于人物模型与其他模型的碰撞检测；S2：利用插值样条线性曲线在三维环境中构建人物模型漫游路径，设定插值样条线性曲线的控制点，通过控制点间的线段确定控制点间的多个插值点，通过多个插值点，建立线条圆滑的漫游路径；S3：利用卷积神经网络在三维环境中构建智能对话系统，用于对用户输入的语音信息进行分析处理得到语音回复信息；S4：应用时，通过用户端输入的指令信息，手动控制人物模型移动到第一指定位置或者切换视角，以及基于漫游路径自动控制人物模型移动到第二指定位置，通过智能对话系统，对用户输入的语音信息进行回复，以在三维环境中完成设定的关卡任务，从而实现虚拟现实教学或培训。2.根据权利要求1所述的基于虚拟漫游技术的教学培训方法，其特征在于，所述的利用卷积神经网络在三维环境中构建智能对话系统的具体步骤为：利用卷积神经网络构建智能对话系统，所述智能对话系统包括输入层，卷积层，池化层和分类层，输入层用于对输入多个词向量进行拼接，输出词拼接向量，卷积层用于利用滤波器对输入拼接词向量提取特征，并通过池化层对滤波器提取的特征进行聚合，输出词卷积特征向量，分类层包括全连接层和softmax函数，全连接层对输入词卷积特征向量进行融合，然后将融合后的特征向量输入softmax函数进行分类，基于分类结果得到语音回复信息。3.根据权利要求2所述的基于虚拟漫游技术的教学培训方法，其特征在于，基于输入的语音信息构建词向量，将用户输入的语音信息通过分词工具划分为多个单词，通过词向量模型将多个单词转换为...

【专利技术属性】
技术研发人员：姜振军，孙亚文，黄盈，申雨泽，许胡宇，姜梦洁，
申请(专利权)人：浙江江山变压器股份有限公司，
类型：发明
国别省市：