一种面向虚实融合的闯关交互式实验方法和系统技术方案

本发明专利技术提出了一种面向虚实融合的闯关交互式实验方法和系统，该方法首先获取与实验操作相关的用户意图集合，根据用户意图集合的不同模态表达方式确定在一段时间内用户意图；根据用户操作意图出现的时间确定在某时刻的用户意图。通过在某时刻的用户意图对智能化虚实融合实验仪器的操作进行实验，在实验中设计与实验内容相应的关卡，并根据用户对关卡的不同选择进行不同实验步骤或者呈现不同实验效果。基于该实验方法，还提出了闯关交互式实验系统。本发明专利技术基于多通道信息互补的意图理解算法根据上下文交互情境，根据视觉数据、传感数据和语音数据，推测用户下一步的基本操作，通过闯关的方式有利于增加在实验过程中的乐趣，巩固和实验相关的知识。

【技术实现步骤摘要】
一种面向虚实融合的闯关交互式实验方法和系统
本专利技术属于化学实验教学
，特别涉及一种面向虚实融合的闯关交互式实验方法和系统。
技术介绍
化学是一门以实验为基础的自然科学，它主要研究物质的组成、结构、性质和变化规律。化学实验是获取化学知识的重要方式，能够帮助学生快速地记忆和理解化学知识。调研并分析现有的中学化学实验的展开形式，我们发现化学教学实验中存在以下几点问题。对于传统化学实验教学(即真实展开的化学实验教学)，首先在实验进行过程中，容易生成污染性、有毒物质，同时化学实验中还存在一些实验的试验周期过长、数据不易获得、实验器材损耗严重和实验材料昂贵等问题，这些因素会影响学生实验活动的正常展开。其次，对于我国教育资源分布不均衡的现象，教师为了完成教学安排，或者在实验材料不充分的制约下，在短时间内向学生灌输大量的知识点而不进行实验操作演示，学生很难有机会动手实践，只能从教师的讲解和书本呈现的知识凭空想象实验反应现象。随着教育信息化的发展，其它形式的化学实验也被引入的中学实验之中，但是也无可避免的带来其它存一些问题，如以虚拟仿真技术为基础的电脑仿真化学实验，虽然很好的降低了实验的风险，节省了实验材料和资源，但也使学生无法真实体会到实验操作的过程，同时不利于培养学生的动手操作能力。以VR技术为支持的化学实验，可以带来很好的用户体验和视觉感受，但实验设备要求和操作过程往往带来不便。同时，AR技术也逐渐在中学实验教学展开，但是目前来说，主要的相关研究比较少，成型的化学实验教学尚未出现。因此，我们想在有限的条件资源下，充分挖掘学生教师这些用户的特点，设计虚拟与实际相融合的实验操作方式，，一方面更加真实，客观的反映实验现象，使用户获得更真实的实验操作和体验感；另一方面，整合用户的多通道有效信息，弥补传统实验，虚拟仿真实验等实验的不足，探究新型实验的有效性和可行性。目的是，即达到新型中学教学实验的要求，又能激发学生的学习乐趣和提升自主实验探究的能力。实验教学在化学教育中处于重要环节，是培养学生创新思维能力的重要手段。但由于高中化学实验教学条件的限制，导致在实际教学中教学效果与教学目标存在一定差距。在国内中学课堂的化学实验教学中，教师多以播放教学视频，或通过演示教学实验来完成教学大纲要求，学生较难直接参与到实验中去，同时由于班级学生人数众多，而学校在实验室硬件设施中投入的经费有限，仅支持学生完成部分教学实验。尤其是课本上一些实验步骤比较繁琐，会产生有毒有害气体等实验，教师往往采用在黑板上画实验，用PPT讲实验的措施来教学，显然这样无法达到让学生理解实验，探究学习的目的，更无法激发学生的实践动手的热情。随着信息时代的到来，传统的教学实验方式有了很大的突破，教学方式转变成更加多元化的混合教学模式，即采用面对面教学与线上教学相结合的方式，完成教学内容，在实验教学当中，主要体现为虚拟实验与真实实验相结合的方式，对于一些不方便进行的化学实验，或者较为危险的昂贵的实验用虚拟实验来替代。事实上，虚拟实验技术是在虚拟现实技术基础上，随着远程教育而兴起的一门实验技术，主要借助于网络通信技术、多媒体计算机、虚拟交互技术、虚拟仿真等技术手段来实现教育教学功能。与传统实验相比，虚拟实验在教育教学中的主要优势是使知识从微观变宏观，弥补传统教学实验的不足。周宝成等人建立虚拟化学实验室，认为通过虚拟实验的教学方式可以改革化学实验教学模式，达到更好的教学效果。M.T.通过考察化学教师对VR技术的接受和有意使用，以及他们对VR教学对学生化学概念的心理影响的看法，表明VR技术应用于化学教学可以有效促进学生理解，简化学习思维。但是，在用户实际体验中，存在着实验体验不真实，实验操作感差等问题。秦景良通过对中学物理实验教学现状的分析研究，提出以虚拟实验和真实实验结合的形式；田满文研究了地方高校的虚拟实验和真实实验整合教学模式，认为采用这种方式开展实验教学活动可以实现课堂实验教学、拓展实验空间；在构建虚拟实验方面：汪诗林等通过研究虚拟实验系统，认为构建虚拟实验要注重实验的交互性，是一种基于网络的异地多媒体教学模式的构建；J.MichaelPilgrim&JodiPilgrim认为探索性和趣味性是学生在虚拟现实中的学习体验的重要组成部分，虚拟现实可以通过提供一个启发式的，高度交互的模拟虚拟环境来提高学生的学习体验，建议教育者创造受激励的虚拟实验学习环境；魏芸通过虚拟实验进行分析研究，提出构建虚拟实验的核心是虚拟仪器对实验者操作的响应以及需要根据实验内容选择来合适的构建技术。对于学生和教学实验这一应用场景，虚拟化学实验往往不去关注用户的意图需求，而去追求用户信息输入的精度和准确度，通过单一模态的信息输入，获得学生较为准确的操作，进而完成实验学习，Nobook公司面向小学，中学提供了一款比较强大的虚拟实验软件，允许学生在以触屏和鼠标的拖动的方式，操纵相关仪器设备，进行实验。虽然操作简单易执行，但是也用户反馈却反身临其境的体验感。这是单一通道交互方式无法避免的弊端，因为单通道交互在实验教学中，无法充分反映用户的操作意图，无法给用户更多自由的空间，也无法，用户也很难从单通道中获得真实体验感和操作感在交互过程中，一直追求更加自然和谐的交互方式,然而要达到这种交互效果，就必须充分理解用户的操作意图。而对用户意图的较为全面的理解，常需要通过多模态的信息感知、多模态信息融合，结合上下文场景信息来理解或推理用户的意图。多模态交互方式(multi-modalhuman-computerinteraction,MMHCI)被认为是更为自然的人机交互方式.相对于传统的单一模态的交互方式,多模态交互方式在移动交互和自然交互存在着更为广泛的应用潜力,如智能家居、人机对话、体感交互、智能化教育等.近年来，许多学者提出了一些多模态信息处理方法，主要是多模态融合合策略或模型来构建一个自然化的人机交互环境。一般来说，多模态融合按发生的时间顺序可分为前期融合和后融合；也有文献根据多模态信息的相关性将它们分门别类，利用多模态信息间中的互补信息、互斥信息和冗余信息。结合应用场景和信息间的特征，分别进行融合。在上诉融合方法中，广泛应用的信息融合计算模型是基于统计和机器学习的。例如Bayes决策模型，由于它能在不完全信息的部分观测条件下推断出最优决策，在多通道信息集成分析和决策中往往显示出一定的优势。同时，基于卷积神经网络的大规模深层神经网络模型也尝试从数据层、模型层和决策层进行信息的融合，实现多任务学习，跨模态学习。同时，许多学者也将一些模型方法应用到实际工程中，如基于动态Bayes模型的文本模拟、基于Markov决策过程的手势理解、基于支持向量机的身份鉴别等。可以看到，无论对用户的操作行为进行智能指引或导航，还是实现高效的人机协同互动，用户意图捕获与理解是最具挑战性问题之一。另外，目前国内的实验教学中普遍存在，虚拟化学实验缺乏交互体验感和混合教学模式缺乏自主探究性等问题，多数学生反映虚拟的化学实验和混合实验执行过程单一，缺乏新鲜感。
技术实现思路
本专利技术提出了一种面向虚实融合的闯关交互式实验方本文档来自技高网...

【技术保护点】
1.一种面向虚实融合的闯关交互式实验方法，其特征在于，包括以下步骤：/n获取与实验操作相关的用户意图集合，根据所述用户意图集合的不同模态表达方式确定在一段时间内用户意图；根据所述用户操作意图出现的时间确定在某时刻的用户意图；/n通过在某时刻的用户意图对智能化虚实融合实验仪器的操作进行实验，在实验中设计与实验内容相应的关卡，并根据用户对关卡的不同选择进行不同实验步骤或者呈现不同实验效果。/n

【技术特征摘要】
1.一种面向虚实融合的闯关交互式实验方法，其特征在于，包括以下步骤：
获取与实验操作相关的用户意图集合，根据所述用户意图集合的不同模态表达方式确定在一段时间内用户意图；根据所述用户操作意图出现的时间确定在某时刻的用户意图；
通过在某时刻的用户意图对智能化虚实融合实验仪器的操作进行实验，在实验中设计与实验内容相应的关卡，并根据用户对关卡的不同选择进行不同实验步骤或者呈现不同实验效果。


2.根据权利要求1所述的一种面向虚实融合的闯关交互式实验方法，其特征在于，所述与实验操作相关的用户意图集合包括基于视觉的手势动作意图集合、基于听觉的语音意图集合、基于触觉的传感器信息集合和场景集合；
所述手势动作意图集合Hk＝{H1,H2,...,Hn}；所述语音意图集合Sk＝{S1,S2,...,Sn}；所述传感器信息集合Tk＝{T1,T2,...,Tn}；所述场景集合Ek＝{Et1,Et2,...,Etn}；
其中ti为不同时刻的场景信息；所述k为约束参数,k＝a或b，a为语音意图的权重，b为传感器意图的权重。


3.根据权利要求2所述的一种面向虚实融合的闯关交互式实验方法，其特征在于，所述根据所述用户意图集合的不同模态表达方式确定在一段时间内用户意图的表达式为：



其中，为一段时间内用户意图；SA为a或b并集计算为a时的语音集合；TB为a或b并集计算为b时的传感器集合；Hi∈Hk；Ei∈Ek。


4.根据权利要求3所述一种面向虚实融合的闯关交互式实验方法，其特征在于，所述根据所述用户操作意图出现的时间确定在某时刻的用户意图的方法为：
根据实验步骤和时间节点设置意图时间序列集合V＝{Vt1,Vt2,...Vtn}；其中Vt1至Vtn是根据实验步骤和意图出现的时机设置的意图时序序列，Vti为一个m维的向量，表示当前出现的用户意图；
根据V＝{Vt1,Vt2,...Vtn}，结合可得到在某时刻的用户意图为


5.根据权利要求1所述的一种面向虚实融合的闯关交互式实验方法，其特征在于，所述智能化虚实融合实验仪器包括烧杯、分液漏斗、搅拌棒、胶头滴管和称量台；
所述烧杯的底部中心点设置加速度传感器，或者在杯体的外壁设置若干触觉传感器；所述加速度传感器用来获取烧杯的倾倒角度；所述烧杯的三维角度表示为A1＝(x,y,z)；所述触觉传感器用于...

【专利技术属性】
技术研发人员：冯志全，王康，
申请(专利权)人：济南大学，
类型：发明
国别省市：山东;37