一种面向野外实践教学的虚拟学习环境多通道融合展示方法技术

本发明专利技术属于虚拟现实技术的教学应用领域，提供一种面向野外实践教学的虚拟学习环境多通道融合展示方法，包括内容生成、视听通道融合和多通道交互设计三个步骤。本发明专利技术根据VR学习环境中教学内容的特点，建立了一套从数据采集、知识组织和场景切换的生成方法；通过空间渲染方式，实现视听通道的同步更新；评估各交互通道的输入和输出优先级的评估，完成VR学习环境中学习者多感官协同交互。本发明专利技术通过增加听觉线索，增加多通道的用户交互判别方式，实现VR学习环境的融合展示，可提升学习环境的真实感，提高参与者的沉浸体验。

A multi-channel fusion display method of virtual learning environment for field practice teaching

【技术实现步骤摘要】
一种面向野外实践教学的虚拟学习环境多通道融合展示方法
本专利技术属于虚拟现实(VirtualReality，VR)技术的教学应用领域，更具体地，涉及一种面向野外实践教学的虚拟学习环境多通道融合展示方法。
技术介绍
野外实践是地理、地质、生物等学科专业人才培养的重要实践环节，是培养学生理论联系实际并熟练掌握本学科基础知识和基本技能，提高综合素质和实践创新能力的重要教育活动。但目前野外实践存在诸多问题，如分类学基础扎实、野外实践经验丰富的教师缺乏；实践学生多，时间短，教师难以实现“一对一”的指导；实践内容和模式单一，基本停留在物种的辨认、标本的采集和制作的层面上，实践成果共享性和互动性差；采集标本与环境保护相冲突；因季节、天气、生境的变化，导致在野外实践中很多应该完成的内容难以完成；野外实践存在山洪、塌方、泥石流等自然灾害以及虫蛇叮咬、摔伤、夏天中暑等诸多安全风险，导致学生野外实践的效果受到影响。应用VR技术构建野外实践环境，能突破时间和空间的限制，学生足不出户，就能身临其境地开展野外实践，而且可无限重复学习，直至达到理想效果，将成为野外实践教学的本文档来自技高网...

【技术保护点】
1.一种面向野外实践教学的虚拟学习环境多通道融合展示方法，其特征在于该方法包括以下步骤：/n(1)内容生成：采用航拍和地面采集相结合的方式完成实践区域的VR全景内容采集，构建VR学习环境中不同层级、区域知识要素的组织方式，完成场景之间跳转效果的优化；/n(2)视听通道融合：采用线性体积-距离衰减法表示VR学习环境中学习对象与背景声源的衰减，实现VR场景中不同对象声音的空间渲染方式；结合头部追踪技术，实现学习者头部移动时全景视频与声音的同步更新；/n(3)多通道交互设计，针对VR学习环境中学习者多感官协同交互的要求，按照交互任务—交互行为—交互体验的顺序，根据交互对象的相应参数，筛选、判断、决策...

【技术特征摘要】
1.一种面向野外实践教学的虚拟学习环境多通道融合展示方法，其特征在于该方法包括以下步骤：
(1)内容生成：采用航拍和地面采集相结合的方式完成实践区域的VR全景内容采集，构建VR学习环境中不同层级、区域知识要素的组织方式，完成场景之间跳转效果的优化；
(2)视听通道融合：采用线性体积-距离衰减法表示VR学习环境中学习对象与背景声源的衰减，实现VR场景中不同对象声音的空间渲染方式；结合头部追踪技术，实现学习者头部移动时全景视频与声音的同步更新；
(3)多通道交互设计，针对VR学习环境中学习者多感官协同交互的要求，按照交互任务—交互行为—交互体验的顺序，根据交互对象的相应参数，筛选、判断、决策与融合多感官交互行为。


2.根据权利要求1所述的面向野外实践教学的虚拟学习环境多通道融合展示方法，其特征在于步骤(1)所述的内容生成具体包括如下步骤：
(1-1)数据采集，为真实还原野外实践教学过程，从地面观察点和航拍区两个层面，采集野外实践区的教学信息，以VR全景视频的方式完成数字化；
(1-1-1)地面观察点信息采集，针对地面观察实践内容，使用高清运动摄像机组，捕捉全角度动态影像，实现高密度、多角度、实地实景信息采集，全面获得野外实践场景的素材信息；
(1-1-2)无人机航拍信息采集，针对宏观大尺度的野外实践区生境鸟瞰和垂直分布情况的观察，通过无人机在不同生态区拍摄航拍区生境，以获取全视野的素材信息；
(1-1-3)两者映射，无人机航拍采集点需与地面观察点内容相对应，即一个区域采集一次全景航拍内容，相应地需要采集多个地面观察点的信息数据；
(1-2)数据组织，依据教学内容的递进关系和关联度，构建不同层级、不同区域知识要素之间的聚合模式；按照野外实践的流程动线，将学科知识内容与实践路线融合；
(1-2-1)采集点标注，采用电子地图作为基础地理数据平台，用不同的符号表示地面观察和无人机航拍的VR全景采集点，并按照空间位置将它们标注到电子地图上；
(1-2-2)纵向关联，利用金字塔层次结构模型构建VR学习环境中航拍场景到地面采集点的关联关系，实现宏观场景到微观对象的快速切换；
(1-2-3)横向关联，在实践区域的地形地貌沙盘模型上，按照野外实践的移动路线，组合生态区航拍点、地面观测点、学科知识点，形成不同的考察路线；
(1-3)场景过渡，针对实习场地和内容之间的相互关系，设计场景之间跳转及转换效果的优化方案；
(1-3-1)引导元素提示，VR学习环境的交互界面由二维平面变成三维球体；通过设计文字、符号、语音媒体导航信息引导学习者更广阔的视野；
(1-3-2)场景转换，根据两个场景在地理上的相对位置，在前一个场景中添加目标转换点的指示图标，作为后一个场景的跳转入口；
(1-3-3)过渡优化，针对场景切换时，存在的画面色彩、明暗度、内容差别较大的情况，采取相似、渐变融合和突出显示的方式，解决视觉特变现象。


3.根据权利要求1所述的面向野外实践教学的虚拟学习环境多通道融合展示方法，其特征在于步骤(2)所述的视听通道融合具体包括如下步骤：
(2-1)视听结合的空间渲染，基于多普勒效应模型，结合双耳定位音频技术，采用线性体积-...

【专利技术属性】
技术研发人员：杨宗凯，钟正，吴砥，吴珂，
申请(专利权)人：华中师范大学，
类型：发明
国别省市：湖北;42