具有用户交互和输入功能的增强现实系统技术方案

本实用新型专利技术公开了一种具有用户交互和输入功能的增强现实系统，应用红外视频跟踪装置，采用了位置标记，例如小圆盘，通过预设定标记的位置，能够使增强现实系统识别该标记，并且能够将该标记所在位置设置成虚拟的按钮。这些增强现实标记能够被用户操作，从而达到增强现实系统与用户之间的交互。这种交互包括用户把自己的手放置在前述按钮上时，增强现实系统知道用户在与系统进行交互，然后通过红外视频跟踪系统，增强现实系统能够识别出用户当前的姿势，从而确定用户希望传递给增强现实系统的内容。增强现实系统还能够通过在用户的视图上进行增强使用户得到反馈信息。（*该技术在2021年保护过期，可自由使用*）

【技术实现步骤摘要】

本技术属于增强现实
，具体涉及一种增强现实系统，更加确切地说是一种用于在增强现实技术上实现用户交互和输入功能的增强现实系统，通过该系统能够达到对于现实世界的增强，以及在增强的虚拟现实系统中实现用户与虚拟系统的交互。
技术介绍
增强现实(Augmented Reality，简称AR)，也称之为混合现实。它通过电脑技术，将虚拟的信息应用到真实世界，真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。从用户的角度来说，真实世界被事先准备好的计算机模型(虚拟模型)所增强，这种增强可以包括标签、三维渲染模型，或者是影子和照明变化等。在得到现实世界施加的某种触发信号的基础上，增强现实能够使用户可以实现虚拟世界和现实世界的交互沟通。增强现实的应用领域包括计算机辅助诊断、计算机辅助维修或者维护、计算机产品升级或者内部结构设计等。在一个典型的增强现实系统中，真实世界的场景通过事先准备的计算机辅助生成的图形被增强，在这个过程中需要保证真实世界和虚拟世界的视觉效果的同步，或者说真实世界和虚拟世界的坐标系统的一致性。计算机虚拟图形在增强现实视图中的位置要根据真实世界的地理模型来决定。为了使这个图形能够更好的和真实世界的图形具有适当的一致性，用户所处的姿势和真实世界中的光线和虚拟的摄像设备必须首先是一致的。这种一致性需要通过对于真实世界中识别物体的持续跟踪并且实时地用跟踪信息和识别到物体的具体位置来更新虚拟模型在增强现实场景中的具体位置。一旦这两个能力被结合在一起，真实世界物体和计算机辅助生成图形可以被完美地结合在增强现实场景中，就能够实现用存储和事先处理的信息来增强真实世界场景的目的。由于在跟踪速度和准确性上的进步，实时地增强现实能够得到实现，用户交互变得更加可视化。为了能够更加充分的发掘增强现实技术的潜力，用户需要像传统系统那样与增强现实系统实现交互，就像使用键盘和鼠标一样。但如果把这种设备引入到增强现实系统中将使得系统看起来非常笨重。而一些更加先进的交互方法因为他们固有的问题，也非常难于与增强现实系统进行整合，如“示教”增强现实系统。目前大部分的正在应用或者正在开发的增强现实系统，普遍缺乏易用的、直观的、有效的与用户交互的方法。
技术实现思路
针对现有的增强现实系统在用户交互和输入应用上的缺陷与不足，申请人经过研究改进，提供一种具有可靠的、高速的用户交互和输入功能的增强现实系统，以提高用户在使用增强现实系统过程中的易用性和参与感，该系统需求最小的附加硬件和最小的附加处理能源。本技术的技术方案如下—种具有用户交互和输入功能的增强现实系统，该系统包括一个显示设备，用于将增强现实的结果显示给用户；一个视频图像跟踪装置，用于确定物体在真实世界中的位置；一个处理器，用于计算位置变换；一个或多个标记，用于触发用户输入功能。其进一步的技术方案为所述视频图像跟踪装置是基于红外图像处理的视频图像跟踪装置，其包括一个红外摄像头；一个红外滤波镜头；一个或多个排列在红外摄像头周围的红外LED灯。其进一步的技术方案为所述标记通过处理器的处理被增强为按钮显示在用户视图之中。其进一步的技术方案为所述标记通过处理器的处理被增强为菜单显示在用户视图之中。本技术的有益技术效果是一、本技术通过增强现实系统对真实世界和虚拟物体进行结合，为用户提供一个对现实进行增强的途径。二、本技术能够在没有附加设备的情况下实现传统意义上的用户与增强现实系统的交互，并且该交互是可靠的、高速的。三、本技术利用视频跟踪技术，只需要最小的硬件和最小的增强现实系统的处理资源就能够被应用。附图说明图1是本技术的构成示意图。图2是一个基于红外LED照明的红外跟踪摄像头。图3是一个基于用户角度的本技术与增强现实系统交互流程图。具体实施方式以下结合附图对本技术的具体实施方式做进一步说明。图1示出了本技术的增强现实系统。如图1所示，该增强现实系统包括一个显示真实世界和对现实世界进行增强的显示设备1，一个确定真实物体在真实世界中位置的视频图像跟踪装置2，以及一个处理器3，通过计算决定用户的视图并且把虚拟三维物体投射到真实世界中，并展现在用户的视图里面。在本实例中显示设备1为头戴式可视设备 (HMD)，但在实际应用中不限于头戴式可视设备。在本实例中处理器3为桌面电脑，但在实际应用中不限于桌面电脑。为了更有利于说明，本增强现实系统将被限定于一个指定的工作空间4，在这个工作空间4中包括了标识物板5和至少一个触发输入程序的标记6。视频图像跟踪装置2和标识物板5 —起决定使用者的头部的位置和朝向，并根据这些信息决定用户所看到的景象。如图2所示，视频图像跟踪装置2包括一个红外摄像头7和一个红外滤波镜头8 以及若干照明用红外LED灯9，这些照明用红外LED灯9被安装在红外摄像头7周围。如图1所示，视频图像跟踪装置2与处理器3进行连接；视频将从视频图像跟踪装置2捕捉，然后通过图像采集系统传送给处理器3进行操作，来识别图像中的标识物板5上的反光标识。因为捕捉的视频是经由过滤的，唯一可见的是反光标识所返回的红外光。由于视频图像跟踪装置2被限定在一个事先设计的工作空间4中，标识物板5上的反光标识的位置是已知的，处理器3能够非常清楚地决定用户的姿势和位置。如图1所示，在增强现实系统中，标识物板5是用于决定用户的姿势的。标识物板5上的反光标识是多个小的反光圆片10，这些反光圆片10环绕着四个细的反光板11。实际应用中反光板11的位置信息被存储在处理器3中，所以当红外摄像头7拍摄到反光板11的时候，用户的姿势就能够被决定，该对于用户姿势的估计会被返回到增强现实系统。如果一个标识物板5在视频中被识别出来，触发输入程序的标记6的位置也就能够在视频序列中估计出来。这个触发输入程序的标记6是基于它在现实世界中的真实位置。通过跟踪系统和姿势估计的结果来决定处理器所在的位置，以及真实世界中的任何物体在用户视图中的位置。这也就是说触发输入程序的标记6在用户视图中的投影或者说位置能够被计算出来。一旦触发输入程序的标记6变得可见，触发输入程序的标记6对应的输入功能可以被装入到增强现实系统中，系统就会进入输入模式并且等待用户的行动。增强现实系统将判断用户是否正在与增强现实系统进行交互。如果识别物没有出现在用户视图之中，即使用户触碰了触发输入标记，系统也不会对用户的行为进行反应；相反则视为用户在与增强现实系统进行交互。需要指出的是，在本技术中触发输入程序的标记6的类型和功能是由处理器3基于一致的标识物的位置来工作的。然而，一旦标识物板5的位置被估计，通过放置标记在一致的位置，任意数量的输入设备就都能够被实现。一个4*3的标识物矩阵可以放置在一个特定的位置。来仿真一个数字键盘输入设备，就像是电话机上的数字输入键盘一样。这样做也会使增强现实系统更加具有可伸缩性。本技术中应用了基于红外和视频序列的图像跟踪算法，但不限于红外和视频序列的图像跟踪算法。采用了位置标记，这种标记的一个实例如一个小的盘子。在处理设备中将对于图像进行处理，例如对于这个圆盘子对于用户的视觉景象中奖被处理成为一个圆形的按钮。但是不限于此。用户可以通过将他们的手放在这些按钮上或者圆盘子上来触发某种交互功能。本文档来自技高网...

【技术保护点】
１．一种具有用户交互和输入功能的增强现实系统，其特征在于，该系统包括：一个显示设备，用于将增强现实的结果显示给用户；一个视频图像跟踪装置，用于确定物体在真实世界中的位置；一个处理器，用于计算位置变换；一个或多个标记，用于触发用户输入功能。

【技术特征摘要】

【专利技术属性】
技术研发人员：李钢，
申请(专利权)人：李钢，
类型：实用新型
国别省市：31