一种基于虚拟现实与增强现实的采矿操作多交互实现方法技术

本发明专利技术公开了一种基于虚拟现实与增强现实的采矿操作多交互实现方法，属于虚拟现实、增强现实技术领域，包括虚拟现实与增强现实两种模式，虚拟现实场景下，可以实现虚拟场景中的模型、材质的选择、更换，场景漫游，任意移动摆放模型，视频嵌入，生成二维码，触发器实现自然交互，语音交互等；增强现实场景下，可以选择模型、播放语音、演示模型运行动态以及控制模型旋转停止、截图和功能扩展；在两种模式下，实现了语音控制、手势控制以及键盘鼠标控制的多种交互方式。本发明专利技术应用于采矿操作的虚拟仿真应用场景，可用于培训矿区开采工人以及采矿工程专业的学生，减少了培训资本，提高了工人的技能，对指导生产施工和科学技术研究提供了先进、快捷的手段。

A multi interactive implementation method of mining operation based on virtual reality and augmented reality

The invention discloses a multi interactive augmented reality mining operations a realization method of virtual reality based on virtual reality, augmented reality, which belongs to the technical field of virtual reality and augmented reality, including two modes, virtual reality, virtual scene can be realized in the model, material selection, replacement, scene roaming, arbitrary mobile display model of video embedded, to generate two-dimensional code, trigger to realize natural interaction, interactive voice; augmented reality scene, can choose to play voice, dynamic model, operation demonstration model and control model of the rotary stop, screenshots and function expansion; in the two mode, to achieve a voice control, gesture control keyboard and mouse control a variety of interactive mode. The application of the virtual simulation of the invention is applied to the mining operation, can be used for training of mining workers and mining engineering students, reduce training capital, improve the skills of workers, provides an advanced and efficient means to guide the production and construction of scientific and technological research.

【技术实现步骤摘要】
一种基于虚拟现实与增强现实的采矿操作多交互实现方法
本专利技术属于虚拟现实、增强现实
，具体涉及一种基于虚拟现实与增强现实的采矿操作多交互实现方法。
技术介绍
2016年被业界称为“虚拟现实元年”，可能会有人误以为这项技术是近几年发展起来的新技术。其实不然，虚拟现实(VirtualReality，简称VR)技术兴起于20世纪90年代，2000年以后，虚拟现实技术在整合发展中引入了XML、JAVA等先进技术，应用强大的3D计算能力和交互式技术，提高渲染质量和传输速度，进入了崭新的发展时代。虚拟现实技术是经济和社会生产力发展的产物，有着广阔的应用前景。我国虚拟现实技术的研究起步于20世纪90年代初。随着计算机图形学、计算机系统工程等的高速发展，虚拟现实技术得到相当的重视。国家广告研究院等多家机构联合发布的《2016上半年中国VR用户行为研究报告》显示，2016年上半年国内虚拟现实潜在用户达4.5亿，浅度用户约为2700万，重度用户约237万，预计国内虚拟现实市场将迎来爆发式增长。而增强现实(AugmentedReality，简称AR)技术是在虚拟现实的基础上发展起来的一种新兴技术。其应用领域也非常广泛，其在工业、医疗、军事、市政、电视、游戏、展览等领域都表现出了良好的应用前景。目前，VR与AR技术不断发展，应用范围也越来越广泛，但是这两种技术更多的应用于军事、娱乐等领域，对于教育、工业、工程等领域的应用，由于领域本身涉及多种物理、地理等多学科因素，还需要更多的研究与发展。对于矿山开采工业领域，我国矿山的地质条件较为复杂，且多为井下开采，在矿山开采过程中，由于开采环境位于地下，工艺工序又颇为复杂，瓦斯、水害等灾害事故时有发生。与此同时，矿山开采又是一个工期长、投资大、安全隐患高的行业，很容易发生安全事故，所以采矿员工的安全培训一直是采矿工作的重中之重。但是，目前存在的传统培训教学系统，基本是理论介绍加以模具展示或者二维图像展示，以课堂讲解为主，辅以简单的动画和音、视频的介绍，实践不足、缺乏真实场景。即便是观看模具也不能很好的掌握工具的实际操作流程。随着技术的不断发展，各种应用于煤矿开采的训练系统也相应开发，但是也存在系统场景真实性差、沉浸性效果不好以及交互性功能少，只能简单的演示等问题。
技术实现思路
针对现有技术中存在的上述技术问题，本专利技术提出了一种基于虚拟现实与增强现实的采矿操作多交互实现方法，设计合理，克服了现有技术的不足，具有良好的效果。为了实现上述目的，本专利技术采用如下技术方案：一种基于虚拟现实与增强现实的采矿操作多交互实现方法，采用井下采矿操作多交互仿真系统，该系统包含虚拟现实模式和增强现实模式两种模式；虚拟现实模式包含特定场景的建模、漫游、模型及其材质的更换、视频嵌入虚拟场景、模型移动、应用场景意向交互、二维码生成以及语音交互；增强现实模式包含模型选择、模型讲解、动态模型演示、手势控制模型交互、截图生成图标、360度旋转以及停止、功能模式切换以及功能扩展；系统有设计两种隐藏菜单，即虚拟现实模式下的更换工具、材质的选择菜单以及增强现实模式下的模型选择类菜单；第一种用户进入特定区域菜单才会显示，离开即会隐藏；第二种点击便可在某处显示二级菜单，再次点击菜单隐藏；所述的采矿操作多交互实现方法，具体包括如下步骤：步骤1：矿山开采操作的整个环境场景的搭建根据井下采矿操作的真实环境，利用建模工具3DMax进行1：1等比建模，实现整个井下采矿操作的环境模拟；利用UE4引擎对模型进行包括创建、编辑贴图以及材质在内的编辑，添加物理碰撞，对整体环境进行灯光、效果光照以及特效添加，并进行烘焙、渲染；步骤2：虚拟现实应用场景的漫游在UE4引擎中，设置键盘上、下、左、右键，绑定Up、Down、Right、Left方向控制函数，为鼠标绑定Turnaround控制函数，实现整个井下采矿操作的虚拟现实场景的漫游；步骤3：更换井下采矿操作的工具模型以及矿山地质的模拟材质在虚拟井下矿山开采场景中添加隐藏菜单，当漫游至矿山开采处，会自动出现模型或者材质选择菜单，用户可以根据需求从菜单中选择模型或者材质进行更换；步骤4：将视频素材嵌入三维应用场景并控制播放、停止将视频素材嵌入虚拟现实场景，在三维空间中播放，模拟矿山开采环境的监控显示设备，设置键盘X键，绑定UE4平台的MediaPlayer媒体类，通过OpenSource和Close函数控制视频的播放和停止；步骤5：选择模型并移动到任意位置通过鼠标选中模型并将模型移动到任意需要进行模拟操作的位置，达到真实场景中的机械移动模拟；步骤6：实现应用场景的意向交互当用户在虚拟现实应用场景中漫游至某一特定位置，系统检测到用户有意向进入，就自动开启环境灯，实现虚拟场景中的自然交互；步骤7：二维码生成绑定键盘的F键，添加二维码生成函数，设置键盘按键控制生成二维码功能，用户按键盘F键，系统生成含设置好采样点的虚拟场景全景图的二维码；步骤8：实现语音交互用户通过包括正转、反转、升臂、降臂、停止在内的关键词控制虚拟现实场景中的采煤机，模拟其运作效果；步骤9：AR动态演示功能模式切换用户点击系统右上角的AR模式按键切换到AR演示模式。优选地，在步骤3中，将模型实例化为具体的Actor，添加SetMesh函数以及SetMaterial函数来更换模型和模型材质，设置WidgetBlueprint用户界面以及Boxcollision碰撞检测，实现三维空间的隐藏菜单功能。优选地，在步骤5中，为要操作的模型添加鼠标事件，通过GetHitResult函数将模型选中，然后根据鼠标在三维空间的坐标，改变模型的SetActorLocation函数的坐标值，当鼠标再次点击，将此时鼠标x、y、z三个方向的坐标值赋给模型，此时GetHitResult函数将模型设置为取消选中模式。优选地，在步骤6中，设置TriggerBox触发器，当第一人称角色触发TriggerBox，系统检测到用户有意向进入某区域，便会自动启用此区域的某个设备。优选地，在步骤7中，用户按键盘F键，系统生成含设置好采样点的虚拟场景全景图二维码，用户用手机扫描二维码，跳转到手机端的虚拟应用场景展示页面，在手机端，用户可以启用陀螺仪，切换到VR分屏模式，设置好手机参数，便可用VR眼镜体验虚拟井下采矿操作环境场景，实现720度的视角展示，还能够实现手机端的多场景、多角度的漫游体验。优选地，在步骤8中，语音识别基于Pocket-sphinx库实现，通过改进中文关键字字典，经过预处理、特征提取、声学模型训练、语言模型训练以及语音解码和搜索实现识别功能，最后经过UE4引擎的编写功能控制函数实现三维空间里语音对模型的控制；语音识别的具体实现步骤如下：步骤8.1：预处理对输入的原始语音信号进行处理，滤除掉其中的不重要的信息以及背景噪声，并对语音信号的端点检测、语音分帧和预加重进行处理；通过一阶FIR高通数字滤波器来实现预加重，一阶FIR高通数字滤波器的传递函数为：H(z)＝1-az-1；其中，a为预加重滤波器的系数，取值范围为0.9～1.0，若设n时刻的语音采样值为x(n)，则预加重后的信号为y(n)＝x(n)-a*x(n-1)；步骤8.2：特征提取通过梅尔频率倒谱系数本文档来自技高网...

【技术保护点】
一种基于虚拟现实与增强现实的采矿操作多交互实现方法，其特征在于：采用井下采矿操作多交互仿真系统，该系统包含虚拟现实模式和增强现实模式两种模式；虚拟现实模式包含特定场景的建模、漫游、模型及其材质的更换、视频嵌入虚拟场景、模型移动、应用场景意向交互、二维码生成以及语音交互；增强现实模式包含模型选择、模型讲解、动态模型演示、手势控制模型交互、截图生成图标、360度旋转以及停止、功能模式切换以及功能扩展；系统设计了两种隐藏菜单，即虚拟现实模式下的更换工具、材质的选择菜单以及增强现实模式下的模型选择类菜单；第一种用户进入特定区域菜单才会显示，离开即会隐藏；第二种点击便可在某处显示二级菜单，再次点击菜单隐藏；所述的采矿操作多交互实现方法，具体包括如下步骤：步骤1：矿山开采操作的整个环境场景的搭建根据井下采矿操作的真实环境，利用建模工具3DMax进行1：1等比建模，实现整个井下采矿操作的环境模拟；利用UE4引擎对模型进行包括创建、编辑贴图以及材质在内的编辑，添加物理碰撞，对整体环境进行灯光、效果光照以及特效添加，并进行烘焙、渲染；步骤2：虚拟现实应用场景的漫游在UE4引擎中，设置键盘上、下、左、右键，绑定Up、Down、Right、Left方向控制函数，为鼠标绑定Turnaround控制函数，实现整个井下采矿操作的虚拟现实场景的漫游；步骤3：更换井下采矿操作的工具模型以及矿山地质的模拟材质在虚拟井下矿山开采场景中添加隐藏菜单，当漫游至矿石开采处，会自动出现模型或者材质选择菜单，用户可以根据需求从菜单中选择模型或者材质进行更换；步骤4：将视频素材嵌入三维应用场景并控制播放、停止将视频素材嵌入虚拟现实场景，在三维空间中播放，模拟矿山开采环境的监控显示设备，设置键盘X键，绑定UE4平台的MediaPlayer媒体类，通过OpenSource和Close函数控制视频的播放和停止；步骤5：选择模型并移动到任意位置通过鼠标选中模型并将模型移动到任意需要进行模拟操作的位置，达到真实场景中的机械移动模拟；步骤6：实现应用场景的意向交互当用户在虚拟现实应用场景中漫游至某一特定位置，系统检测到用户有意向进入，就自动开启环境灯，实现虚拟场景中的自然交互；步骤7：二维码生成绑定键盘的F键，添加二维码生成函数，设置键盘按键控制生成二维码功能，用户按键盘F键，系统生成含设置好采样点的虚拟场景全景图的二维码；步骤8：实现语音交互用户通过包括正转、反转、升臂、降臂、停止在内的关键词控制虚拟现实场景中的采煤机，模拟其运作效果；步骤9：AR动态演示功能模式切换用户点击系统右上角的AR模式按键切换到AR演示模式。...

【技术特征摘要】
1.一种基于虚拟现实与增强现实的采矿操作多交互实现方法，其特征在于：采用井下采矿操作多交互仿真系统，该系统包含虚拟现实模式和增强现实模式两种模式；虚拟现实模式包含特定场景的建模、漫游、模型及其材质的更换、视频嵌入虚拟场景、模型移动、应用场景意向交互、二维码生成以及语音交互；增强现实模式包含模型选择、模型讲解、动态模型演示、手势控制模型交互、截图生成图标、360度旋转以及停止、功能模式切换以及功能扩展；系统设计了两种隐藏菜单，即虚拟现实模式下的更换工具、材质的选择菜单以及增强现实模式下的模型选择类菜单；第一种用户进入特定区域菜单才会显示，离开即会隐藏；第二种点击便可在某处显示二级菜单，再次点击菜单隐藏；所述的采矿操作多交互实现方法，具体包括如下步骤：步骤1：矿山开采操作的整个环境场景的搭建根据井下采矿操作的真实环境，利用建模工具3DMax进行1：1等比建模，实现整个井下采矿操作的环境模拟；利用UE4引擎对模型进行包括创建、编辑贴图以及材质在内的编辑，添加物理碰撞，对整体环境进行灯光、效果光照以及特效添加，并进行烘焙、渲染；步骤2：虚拟现实应用场景的漫游在UE4引擎中，设置键盘上、下、左、右键，绑定Up、Down、Right、Left方向控制函数，为鼠标绑定Turnaround控制函数，实现整个井下采矿操作的虚拟现实场景的漫游；步骤3：更换井下采矿操作的工具模型以及矿山地质的模拟材质在虚拟井下矿山开采场景中添加隐藏菜单，当漫游至矿石开采处，会自动出现模型或者材质选择菜单，用户可以根据需求从菜单中选择模型或者材质进行更换；步骤4：将视频素材嵌入三维应用场景并控制播放、停止将视频素材嵌入虚拟现实场景，在三维空间中播放，模拟矿山开采环境的监控显示设备，设置键盘X键，绑定UE4平台的MediaPlayer媒体类，通过OpenSource和Close函数控制视频的播放和停止；步骤5：选择模型并移动到任意位置通过鼠标选中模型并将模型移动到任意需要进行模拟操作的位置，达到真实场景中的机械移动模拟；步骤6：实现应用场景的意向交互当用户在虚拟现实应用场景中漫游至某一特定位置，系统检测到用户有意向进入，就自动开启环境灯，实现虚拟场景中的自然交互；步骤7：二维码生成绑定键盘的F键，添加二维码生成函数，设置键盘按键控制生成二维码功能，用户按键盘F键，系统生成含设置好采样点的虚拟场景全景图的二维码；步骤8：实现语音交互用户通过包括正转、反转、升臂、降臂、停止在内的关键词控制虚拟现实场景中的采煤机，模拟其运作效果；步骤9：AR动态演示功能模式切换用户点击系统右上角的AR模式按键切换到AR演示模式。2.根据权利要求1所述的基于虚拟现实与增强现实的采矿操作多交互实现方法，其特征在于：在步骤3中，将模型实例化为具体的Actor，添加SetMesh函数以及SetMaterial函数来更换模型和模型材质，设置WidgetBlueprint用户界面以及Boxcollision碰撞检测，实现三维空间的隐藏菜单功能。3.根据权利要求1所述的基于虚拟现实与增强现实的采矿操作多交互实现方法，其特征在于：在步骤5中，为要操作的模型添加鼠标事件，通过GetHitResult函数将模型选中，然后根据鼠标在三维空间的坐标，改变模型的SetActorLocation函数的坐标值，当鼠标再次点击，将此时鼠标x、y、z三个方向的坐标值赋给模型，此时GetHitResult函数将模型设置为取消选中模式。4.根据权利要求1所述的基于虚拟现实与增强现实的采矿操作多交互实现方法，其特征在于：在步骤6中，设置TriggerBox触发器，当第一人称角色触发TriggerBox，系统检测到用户有意向进入某区域，便会自动启用此区域的某个设备。5.根据权利要求1所述的基于虚拟现实与增强现实的采矿操作多交互实现方法，其特征在于：在步骤7中，用户按键盘F键，系统生成含设置好采样点的虚拟场景全景图二维码，用户用手机扫描二维码，跳转到手机端的虚拟应用场景展示页面，在手机端，用户可以启用陀螺仪，切换到VR分屏模式，设置好手机参数，便可用VR眼镜体验虚拟井下采矿操作环境场景，实现720度的视角展示，还能够实现手机端的多场景、多角度的漫游体验。6.根据权利要求1所述的基于虚拟现实与增强现实的采矿操作多交互实现方法，其特征在于：在步骤8中，语音识别基于Pocket-sphinx库实现，通过改进中文关键字字典，经过预处理、特征提取、声学模型训练、语言模型训练以及语音解码和搜索实现识别功能，最后经过UE4引擎的编写功能控制函数实现三维空间里语音对模型的控制；语音识别的具体实现步骤如下：步骤8.1：预处理对输入的原始语音信号进行处理，滤除掉其中的不重要的信息以及背景噪声，并对语音信号的端点检测、语音分帧和预加重进行处理；通过一阶FIR高通数字滤波器来实现预加重，一阶FIR高通数字滤波器的传递函数为：H(z)＝1-az-1；其中，a为预加重滤波器的系数，取值范围为0.9～1.0，若设n时刻的语音采样值为x(n)，则预加重后的信号为y(n)＝x(n)-a*x(n-1)；步骤8.2：特征提取通过梅尔频率倒谱系数(MFCC)的方法来进行特征提取；具体按照如下步骤进行：步骤8.2.1：利用人听觉的临界带效应，采用MEL倒谱分析技术对语音信号处理得到MEL倒谱系数矢量序列；步骤8.2.2：用MEL倒谱系数矢量序列表示输入语音的频谱，在语音频谱范围内设置若干个具有三角形或正弦形滤波特性的带通滤波器；步骤8.2.3：通过带通滤波器组，求各个带通滤波器的输出数据；步骤8.2.4：对各个带通滤波器的输出数据取对数，并做离散余弦变换(DCT)；步骤8.2.5：得到MFCC系数；求解公式如下：其中，Ci为特征参数，k为三角滤波器的个数，F(k)为各个滤波器的输出数据，P为滤波器阶数，i为数据长度；步骤8.3：声学模型训练根据训练语音库的特征参数训练出声学模型参数；在识别时可以将待识别的语音的特征参数同声学模型进行匹配，得到识别结果；本文采用混合高斯模型-隐马尔科夫模型(GMM-HMM)作为声学模型，具体包括如下步骤：步骤8.3.1：求出混合高斯模型的联合概率密度函数的形式如下：其中，M表示混合高斯模型中高斯的个数，Cm表示权重，um表示均值，∑m表示协方差矩阵，D为观测矢量维数；利用最大期望值算法(EM)对混合高斯模型参数变量Θ＝{Cm，um，∑m}进行估计，利用如下公式求解：其中，j是当前迭代轮数，N表示训练数据集中元素的个数，x(t)为t时刻的特征向量，hm(t)表示t时刻Cm的后验概率；GMM参数通过EM算法进行估计，可以使其在训练数据上生成语音观察特征的概率最大化；步骤8.3.2：求解HMM的三个组成部分设状态序列为q1,q2,…,qN，令转移概率矩阵A＝[aij]i,j∈[1,N]，则求出的马尔科夫链状态间的跳转概率为：aij＝P(qt＝j|qt-1＝i)；马尔科夫链的初始概率π＝[πi]i∈[1,N],其中，πi＝P(q1＝i)；令每个状态的观察概率分布...

【专利技术属性】
技术研发人员：彭延军，王美玲，王元红，卢新明，
申请(专利权)人：山东科技大学，
类型：发明
国别省市：山东,37