一种混合增强教学场景中多移动机制融合方法技术

本发明专利技术属于信息技术的教学应用领域，提供一种混合增强教学场景中多移动机制融合方法，包括：(1)归一化处理；(2)移动感知；(3)移动融合；本发明专利技术根据增强教学场景中交互需要，建立一套教学环境虚实空间中移动信息采集、移动位置和范围的转换，实现移动的归一化处理；设计一种移动响应策略、增强提示的感知方法，通过传送点、传送场景之间的过渡和多种反馈设置，实现多移动机制的融合处理，解决混合增强教学环境中用户移动过程中方向感易迷失的难题，有助于满足混合增强教学场景中多机制融合效果的需要。的需要。的需要。

【技术实现步骤摘要】
一种混合增强教学场景中多移动机制融合方法


[0001]本专利技术属于信息技术的教学应用领域，更具体地，涉及一种混合增强教学场景中多移动机制融合方法。

技术介绍

[0002]混合增强教学场景不仅能够实现虚实场景及用户的同步和融合，还能通过实时交互，构建一个用户和虚拟场景之间交互反馈的信息回路。在混合增强教学场景中融合多种移动机制，采集教师的移动信息，实现虚实空间的归一化处理，构建移动响应策略、移动感知和融合机制，可解决现有真实教学空间的有限性与虚拟空间无限性之间的矛盾，提高教学过程中移动的流畅性、舒适度和真实感体验，从而激发学习者的兴趣，有效提升教学体验效果。随着5G商业化的推进与VR/AR/MR产业的不断发展，实现混合增强教学场景中多移动机制的有效融合，有利于增进信息技术与教学课程融合。在新一代立体教学环境中将会发挥积极作用，拥有广阔的应用前景。
[0003]但目前混合增强教学场景中多移动机制融合方面还存在诸多问题：(1)现有混合增强教学环境的真实与虚拟空间尺度相同，难以实现不同尺度之间的移动增益，无法解决真实空间有限性和虚拟空间无限性之间的矛盾，影响交互的真实感体验效果；(2)混合增强教学环境中用户长时间、频繁移动，易产生晕动症和方向感迷失，大多数现有移动机制都以与现实背离的方式来分散用户的注意力，无法提高用户的舒适度及其注意力的集中度；(3)现有混合增强教学场景的交互真实性不足，移动引导和感官反馈未能充分考虑用户的感受，影响其视觉感受及交互体验。

技术实现思路

[0004]针对现有技术的以上缺陷或改进需求，本专利技术提供了一种混合增强教学场景中多移动机制融合方法，为混合增强教学场景中教师的交互、感知和融合提供一种新的、完整的途径和形式。
[0005]本专利技术的目的是通过以下技术措施实现的。
[0006]本专利技术提供一种混合增强教学场景中多移动机制融合方法，包括以下步骤：
[0007](1)归一化处理；采用Spatial Mapping技术将虚拟教学空间划分成不同区域，依据虚实空间的增益缩放因子，计算虚拟模型、真实教师的移动位置和区域范围的尺度转换。
[0008](2)移动感知：构建一系列移动响应策略规则，采用碰撞检测、A*等算法，实现虚拟模型的移动，使用方向箭头、第三人称视角、导航地图等提示方式增强教师的移动感知。
[0009](3)移动融合：通过传送点设置，运用纹理、色调等透明渐变方式，实现不同传送场景之间的过渡；结合场景预览、自动寻径和回溯机制，支持教师重难点内容的选择讲解；采用碰撞反馈、触觉反馈和视觉反馈强化教师移动过程的融合表示。
[0010]本专利技术的有益效果在于：通过采集真实教学空间的3D表面模型，将其划分成不同的网格区域，依据虚实空间的增益缩放因子，计算真实教师、虚拟模型的移动位置和区域范
围的尺度转换；使用追踪识别算法，构建移动策略响应规则，标注虚拟对象的移动触发信息，采用碰撞检测算法，实现虚拟模型的移动或自主移动，使用方向箭头、第三人称视角、导航地图提示方式增强教师的移动感知；通过传送点设置，运用纹理、色调等透明渐变方式，实现不同传送场景之间的过渡，结合场景预览、自动寻径和回溯机制，支持教师选择讲解重难点内容，采用碰撞反馈、触觉反馈和视觉反馈强化教师移动过程的融合表示。随着混合增强教学的需求越来越高，对提高教学过程中移动的流畅性、舒适度和真实感体验的要求也越来越高，本专利技术有助于满足混合增强教学场景中多机制融合效果的需要。
附图说明
[0011]图1是本专利技术混合增强教学场景中多移动机制融合方法流程图。
[0012]图2是本专利技术实施例中虚拟教学空间中世界空间坐标系统示意图。
[0013]图3是本专利技术实施例中真实空间与虚拟场景中教师、模型和环境之间的尺度转换示意图。
[0014]图4是本专利技术实施例中教师手势关键点示意图。
[0015]图5是本专利技术实施例中激发移动增益的教师手势动作示意图。
[0016]图6是本专利技术实施例中以教师为中心的3D矩形框示意图。
[0017]图7是本专利技术实施例中教学环境的俯视导航地图示意图。
[0018]图8是本专利技术实施例中预设虚拟空间的传送点示意图。
[0019]图9是本专利技术实施例中虚拟空间的重定向提示示意图。
[0020]图10是本专利技术实施例中回溯机制效果示意图，其中1处为地球模型当前状态，2处为地球模型基于时间轴顺序的上一个回溯点。
[0021]图11是本专利技术实施例中教师越过阈值触发与山体碰撞反馈示意图，其中A是山体模型，B是山体模型的碰撞包围盒，C为碰撞的视听反馈效果。
[0022]图12是本专利技术实施例中虚拟地球的9
‑
DOF形式运动轨迹示意图。
具体实施方式
[0023]为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施案例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施案例仅仅用以解释本专利技术，并不用于限定本专利技术。此外，下面所描述的本专利技术各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
[0024]如图1所示，本实施例提供一种混合增强教学场景中多移动机制融合方法，包括如下步骤：
[0025](1)归一化处理。使用Spatial Mapping技术将虚拟教学空间划分成不同区域，依据虚实空间的增益缩放因子，计算虚拟模型、真实教师的移动位置和区域范围的尺度转换。
[0026]所述归一化处理具体包括如下步骤：
[0027](1
‑
1)确定移动范围。通过深度摄像头采集真实教学空间的3D表面模型；使用Spatial Mapping技术将虚拟教学空间划分成不同的网格区域；提取虚边界平面，并为它们增加碰撞体，界定教师与模型的移动范围。
[0028](1
‑1‑
1)获取真实教学空间的表面模型。采用深度摄像头，采集真实教学空间的三
维位置、深度值等点云数据，应用三维重建技术生成虚拟表面模型网格，根据表面模型的空间特征，将它们剖分为墙壁、地板、桌椅等对象。
[0029](1
‑1‑
2)虚拟教学空间的网格划分。如图2所示，建立以米为单位的世界空间坐标系统，以真实教学空间的中心为坐标原点，采用右手坐标系描述混合增强教学环境，使用Spatial Mapping技术分割虚拟教学空间，基于k
‑
d树结构组织教学空间中的天花板、地面、墙壁、黑板、讲台、课桌等模型对象，将其划分成不同区域，并映射到世界坐标系中。
[0030](1
‑1‑
3)确定教师与虚拟对象的移动范围。通过移动最小二乘法，遍历获取虚拟教学空间的横向、纵向、竖直方向边界平面，计算边界平面的协方差矩阵C
ij
，结合轴的极值确认BVH(层次包围)盒中心点、方向和边长，设边界平面中有n个三角形(p
k
、q
k
、r
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种混合增强教学场景中多移动机制融合方法，其特征在于该融合方法包括以下步骤：(1)归一化处理；采用Spatial Mapping技术将虚拟教学空间划分成不同区域，依据虚实空间的增益缩放因子，计算虚拟模型、真实教师的移动位置和区域范围的尺度转换；(2)移动感知；构建一系列移动响应策略规则，采用碰撞检测、A*算法，实现虚拟模型的移动，使用方向箭头、第三人称视角、导航地图提示方式增强教师的移动感知；(3)移动融合；通过传送点设置，运用纹理、色调透明渐变方式，实现不同传送场景之间的过渡；结合场景预览、自动寻径和回溯机制，支持教师重难点内容的选择讲解；采用碰撞反馈、触觉反馈和视觉反馈强化教师移动过程的融合表示。2.根据权利要求1所述的混合增强教学场景中多移动机制融合方法，其特征在于步骤(1)所述的归一化处理具体为：(1
‑
1)确定移动范围，通过深度摄像头采集真实教学空间的3D表面模型；使用Spatial Mapping技术将虚拟教学空间划分成不同的网格区域；提取边界平面，并为它们增加碰撞体，界定教师与模型的移动范围；(1
‑1‑
1)获取真实教学空间的表面模型，采用深度摄像头，采集真实教学空间的点云数据，应用三维重建技术生成虚拟表面模型网格，根据表面模型的空间特征，将它们剖分为墙壁、地板、桌椅模型对象；(1
‑1‑
2)虚拟教学空间的网格划分，建立以米为单位的世界空间坐标系统，以真实教学空间的中心为坐标原点，采用右手坐标系描述混合增强教学环境，使用Spatial Mapping技术将虚拟教学空间划分成不同的网格区域；(1
‑1‑
3)确定教师与虚拟对象的移动范围，遍历获取虚拟教学空间的横向、纵向、竖直方向边界平面，创设对应的虚拟表面，采用层次包围盒方法创建碰撞体，从而界定教师、虚拟对象在混合增强教学环境中的移动范围；(1
‑
2)对象定位，根据宏观、微观虚拟场景的空间范围，计算虚实场景的尺度转换；采用并行测距与成像技术获取虚拟模型在真实教学空间中的位置与朝向；运用惯性导航技术确定教师在真实教学空间中的位置和朝向，实现其在虚实空间的位置转换；(1
‑2‑
1)实现虚实空间的尺度转换，根据宏观、微观虚拟场景的空间范围，计算其与真实教学空间的尺度转换，通过齐次坐标W的设置，W>1表示缩小，W<1表示放大，实现虚实空间中教师、模型与环境之间的位置和范围的转换；(1
‑2‑
2)获取虚拟模型的位置和朝向，通过并行测距与成像技术定位虚拟模型在真实教学空间的位置坐标(x,y,z)和朝向姿态(tx,ty,tz)，虚拟模型的位置和朝向发生变化，实时计算、更新其在真实空间的信息；(1
‑2‑
3)获取教师的位置和朝向，借助加速计、陀螺仪传感器，采用惯性导航技术推算教师在真实空间的位置坐标(x
’
,y
’
,z
’
)和朝向姿态(tx
’
,ty
’
,tz
’
)，使用航位推算法计算、定位教师相对于周围环境的位置和朝向变化；(1
‑
3)教师的移动增益，运用Eye
‑
Level Scaling方法，结合采集到教师移动的距离、速度、时间数据，加权计算增益缩放因子；应用Seven
‑
League Boots技术计算教师在虚拟空间的移动增益，实现虚实空间移动的归一化处理；(1
‑3‑
1)加权计算增益缩放因子，依据虚实空间的尺度映射，运用Eye
‑
Level Scaling
方法，结合采集到教师移动的距离、速度、时间数据，加权计算增益缩放因子，精确计算教师在虚实空间中的移动位置和方位变化；(1
‑3‑
2)虚实空间坐标的归一化处理，教师以巨人或者矮人视角观看虚拟场景中对象，根据虚实空间的尺度变换参数，采用坐标转换公式计算虚拟模型移动过程中的坐标，实现虚实空间中相关对象的归一化处理；(1
‑3‑
3)移动增益获取，追踪、捕捉教学活动中教师的动作、位置数据，跟随其在真实教学环境中的视场变化，采用Seven
‑
League Boots技术计算虚拟空间中教师累积的位置和姿态，获取移动增益的变化。3.根据权利要求1所述的混合增强教学场景中多移动机制融合方法，其特征在于步骤(2)所述的移动感知具体为：(2
‑
1)移动响应策略的构建，使用识别追踪算法，捕获教师的躯干、手势与头部和视线的移动；构建一系列移动响应策略规则，实现虚实空间移动效果的统一；采用线段标注教师的移动过程，高亮显示虚拟模型的选中状态；(2
‑1‑
1)追踪教师的移动，采用BlazePose算法追踪教学过程中教师的躯干姿态和动作；使用BlazePlam算法定位、识别教师手势及其移动；基于头部姿态估计和视线追踪技术，确定教师的视场范围和视线关注的对象；(2
‑1‑
2)构建移动策略响应规则，针对采集到教师的移动动作，包括行走、摆臂、抓握、抬头，构建一系列混合增强教学环境中移动响应策略规则，实现虚实空间的移动增益统一，应用瞬间传送策略实现虚拟场景的快速切换；(2
‑1‑
3)标注移动触发信息，追踪真实空间中教师的动作，并在虚拟场景中绘制线段，实时动态地表示其移动路径，当教师的视线、手势移动到虚拟模型碰撞体时，高亮显示该虚拟模型，触发选中状...

【专利技术属性】
技术研发人员：杨宗凯，钟正，吴砥，吴珂，
申请(专利权)人：华中师范大学，
类型：发明
国别省市：