一种动态调整用户认知负荷的智能空间增强现实方法技术

一种动态调整用户认知负荷的智能空间增强现实方法，先建立空间增强现实阶段；然后建立实时用户认知负荷测量阶段，最后建立智能空间增强现实阶段，本发明专利技术把用户认知负荷测量方法集成到空间增强现实系统中，实时测量用户在空间增强现实系统中的认知负荷水平，空间增强现实系统根据实时的认知负荷水平自适应地对增强信息进行调整，使用户的认知负荷和空间增强现实系统的增强信息处于一个动态平衡的水平，该方法根据用户当前认知负荷水平对任务相关的要素进行自适应调整以更好适合用户实际工作能力，从而提高用户工作效率。

【技术实现步骤摘要】

本专利技术涉及空间增强现实技术，特别涉及一种动态调整用户认知负荷的智能空间增强现实方法。
技术介绍
增强现实(Augmented Reality,AR)是一种把计算机生成的虚拟物体与物理世界的用户视场进行匹配从而把虚拟物体集成进物理世界的一种技术,该技术通过为用户提供额外的信息对物理世界进行增强。空间增强现实(Spatial Augmented Reality,SAR)利用数字投影技术把计算机生成的虚拟物体叠加到物理空间的一种增强现实技术。基于投影系统的空间增强现实系统使用前向投影直接投影数字信息到物体物理表面上，而不是显示在观察者视域范围内的某一图像平面上。这些相对于用户的空间增强信息能够帮助用户提高对物理世界现场的理解，从而提高用户的工作效率。空间增强现实是近年来国内外众多知名大学和研究机构的研究热点之一，他在不同领域有广泛的应用。例如在机械制造领域，设计者可以利用空间增强现实技术可视地修改放在桌面上的物理模型。空间增强现实技术也用于产品维修和培训：用户可以把产品放在空间增强现实环境中，空间增强现实把增强信息和操作手册信息直接投影到物体表面上。Marner和Thomas建立了一个基于空间增强现实的用于工业设计的物理-虚拟工具，系统同时对物理和虚拟世界进行造型，然后用空间增强现实技术把设计信息投影到物体表面上，这样系统可以把数字设计信息复制到物理模型以指导设计。Olwal等把空间增强现实技术用于CNC机床以给操作者同时提供机床工具和工件的可视图像到操作空间以辅助操作过程。Schwerdtfeger使用头盔式增强现实技术导向工人在库房中快速定位所要找的物品。在汽车工业领域，空间增强现实可用于质量控制、材料存取、维修、培训以及其他应用。汽车零件点焊的质量控制是空间增强现实在汽车工业的典型应用之一。Schwerdtfeger等建立了基于激光投影系统的增强现实系统。该系统用于点焊的质量控制，并使用混合信息表示方法：使用另外的显示器给用户显示复杂的操作手册信息，并把操作位置信息直接投影显示在物体表面上。该方法仍然要求用户在集中于焊点操作的同时需要阅读计算机屏幕显示的信息，从而影响了工作效率。Bimber等使用在适当位置校准的标准投影系统产生增强显示，通过对虚拟物体进行预变形和颜色校正方法，并使用透视投影方法把视频和图形显示在场景的物理物体表面上。此外，空间增强现实也用于其他领域，如设计、娱乐、博物馆展示等领域。空间增强现实也可用于远程指导。由于空间增强现实技术是由用户使用以发挥其功能，因此，空间增强现实的用户状态如认知状态是决定空间增强现实技术成功的关键要素之一。但是现有的空间增强现实技术无法反映用户的认知状态信息，用户的认知状态信息也无法影响空间增强现实的增强信息。一个理想的空间增强现实应用应该能够自适应修改增强信息以动态调整用户的认知状态到最佳状态从而提高工作效率。
技术实现思路
为了克服上述现有技术的缺陷，本专利技术的目的在于提供一种动态调整用户认知负荷的智能空间增强现实方法，把认知负荷测量技术集成进空间增强现实系统，提出动态调整用户认知负荷水平的智能空间增强现实系统；智能增强现实系统根据用户当前认知负荷水平对任务相关的要素进行自适应调整以更好适合用户实际工作能力，从而提高用户工作效率。一种动态调整用户认知负荷的智能空间增强现实方法，包括以下步骤：步骤一、建立空间增强现实阶段：(1)获取被增强物体的三维模型，方法包括三维造型软件、实时三维激光扫描等方法；(2)定义和生成增强信息，增强信息的类型包括文字、图形、图像、动画等以及增强信息在三维场景中的位置和可视化属性，可视化属性包括颜色；(3)校正数字投影仪，使用计算机图形学理论建立数字投影仪和现实场景中三维物体之间的位置对应关系；(4)投影和交互增强信息，把计算机生成的增强信息通过数字投影仪投影到现实场景中三维物体表面上，实现用户与增强信息的交互；步骤二、建立实时用户认知负荷测量阶段：(1)获取用户与空间增强现实系统交互时的信号，包括用户生理信号和用户行为信号，典型的用户生理信号包括皮肤电反应、眼动信号、心跳、呼吸、脑电反应；典型的用户行为信号包括身体运动信号；(2)分析用户的不同信号并获取与用户认知负荷相关的信号特征，根据用户的信号特征建立用户的认知负荷模型；(3)根据用户实时信号特征和认知负荷模型获取用户当前认知负荷水平；(4)建立用户认知负荷动态调整模型，根据用户当前认知负荷水平动态调整用户任务相关要素以使用户认知负荷处于适当水平；步骤三、建立智能空间增强现实阶段：(1)空间增强现实系统与认知负荷测量通过用户在与空间增强现实系统交互时的信号连接起来；(2)用户首先与空间增强现实系统进行交互以完成某项任务，用户在与系统交互时的各种信号同时传送到用户认知负荷测量阶段；(3)在用户认知负荷测量阶段，把用户信号输入用户认知负荷模型以获取用户当前认知负荷水平；(4)认知负荷动态调整模型根据用户当前认知负荷水平动态调整用户任务相关要素以使用户认知负荷处于适当水平；(5)空间增强现实系统根据调整后的任务相关要素建立新的增强信息，并把新的增强信息系统投影到三维物体表面以让用户根据新的增强信息进行新的任务流程。本专利技术把用户认知负荷测量方法集成到空间增强现实系统中，实时测量用户在空间增强现实系统中的认知负荷水平，空间增强现实系统根据实时的认知负荷水平自适应地对增强信息进行调整，使用户的认知负荷和空间增强现实系统的增强信息处于一个动态平衡的水平。并根据用户当前认知负荷水平对任务相关的要素进行自适应调整以更好适合用户实际工作能力，从而提高用户工作效率。附图说明图1是本专利技术的所包括的三个主要阶段流程图。图2是建立空间增强现实阶段所包含的步骤流程图。图3是建立实时认知负荷测量阶段所包含的步骤流程图。图4是建立智能空间增强现实阶段所包含的步骤流程图。图5是智能空间增强现实系统示意图。具体实施方式下面结合附图对本专利技术做详细叙述。一种动态调整用户认知负荷的智能空间增强现实方法，用于提高用户进行大量复杂工作的效率。本文以大型机械零件如汽车零件上的大量焊点的质量控制为例说明本专利技术的具体实施方式。在机械制造特别是汽车制造领域，点焊常用于连接不同的汽车板材零件，一辆汽车有成千上万个焊点，需要对零件的焊点进行检查以保证质量。在实际检查工作中，通常不对所有焊点进行检查，而是对不同零件上的焊点的子集按照一定的顺序进行检查。检查方法通常包括：外观检查、超声检查、凿试以及破坏性检查。传统的人工检查过程通常包括以下步骤：首先，操作者在零件图纸上找到要检查的焊点位置；然后操作者根据图纸信息在零件上定位要检查的焊点位置；第三步是选择该焊点的检查方法；最后对焊点进行实际的检查。由此步骤可以看出，焊点的人工检查过程存在以下潜在的问题：操作者很容易找到错误的焊点位置以及错误的焊点数量；同时操作者需要频繁花时间理解零件图纸以及从零件上找到相对应的焊点，大大降低了效率；对于一个大型零件，操作者很难记住焊点检查的起始位置和结束位置。因此从大型机械零件上找到需要检查的焊点并实现准确、高效的质量控制十分重要。参照图1，使用本专利技术实现焊点质量控制的过程包括以下步骤：步骤一、建立空间增强现实阶段：参照图2，(1)获取被增强本文档来自技高网...

【技术保护点】
一种动态调整用户认知负荷的智能空间增强现实方法，其特征在于，包括以下步骤：步骤一、建立空间增强现实阶段：(1)获取被增强物体的三维模型，方法包括三维造型软件、实时三维激光扫描等方法；(2)定义和生成增强信息，增强信息的类型包括文字、图形、图像、动画等以及增强信息在三维场景中的位置和可视化属性，可视化属性包括颜色；(3)校正数字投影仪，使用计算机图形学理论建立数字投影仪和现实场景中三维物体之间的位置对应关系；(4)投影和交互增强信息，把计算机生成的增强信息通过数字投影仪投影到现实场景中三维物体表面上，实现用户与增强信息的交互；步骤二、建立实时用户认知负荷测量阶段：(1)获取用户与空间增强现实系统交互时的信号，包括用户生理信号和用户行为信号，典型的用户生理信号包括皮肤电反应、眼动信号、心跳、呼吸、脑电反应；典型的用户行为信号包括身体运动信号；(2)分析用户的不同信号并获取与用户认知负荷相关的信号特征，根据用户的信号特征建立用户的认知负荷模型；(3)根据用户实时信号特征和认知负荷模型获取用户当前认知负荷水平；(4)建立用户认知负荷动态调整模型，根据用户当前认知负荷水平动态调整用户任务相关要素以使用户认知负荷处于适当水平；步骤三、建立智能空间增强现实阶段：(1)空间增强现实系统与认知负荷测量通过用户在与空间增强现实系统交互时的信号连接起来；(2)用户首先与空间增强现实系统进行交互以完成某项任务，用户在与系统交互时的各种信号同时传送到用户认知负荷测量阶段；(3)在用户认知负荷测量阶段，把用户信号输入用户认知负荷模型以获取用户当前认知负荷水平；(4)认知负荷动态调整模型根据用户当前认知负荷水平动态调整用户任务相关要素以使用户认知负荷处于适当水平；(5)空间增强现实系统根据调整后的任务相关要素建立新的增强信息，并把新的增强信息系统投影到三维物体表面以让用户根据新的增强信息进行新的任务流程。...

【技术特征摘要】
1.一种动态调整用户认知负荷的智能空间增强现实方法，其特征在于，包括以下步骤：步骤一、建立空间增强现实阶段：(1)获取被增强物体的三维模型，方法包括三维造型软件、实时三维激光扫描等方法；(2)定义和生成增强信息，增强信息的类型包括文字、图形、图像、动画等以及增强信息在三维场景中的位置和可视化属性，可视化属性包括颜色；(3)校正数字投影仪，使用计算机图形学理论建立数字投影仪和现实场景中三维物体之间的位置对应关系；(4)投影和交互增强信息，把计算机生成的增强信息通过数字投影仪投影到现实场景中三维物体表面上，实现用户与增强信息的交互；步骤二、建立实时用户认知负荷测量阶段：(1)获取用户与空间增强现实系统交互时的信号，包括用户生理信号和用户行为信号，典型的用户生理信号包括皮肤电反应、眼动信号、心跳、呼吸、脑电反应；典型的用户行为信号包括身体运动信号；(2)分析用户的不同信号并获取与用户认知负荷相关的...

【专利技术属性】
技术研发人员：周建龙，缪相林，何绯娟，缪亚林，肖春，
申请(专利权)人：西安交通大学城市学院，
类型：发明
国别省市：陕西;61