一种支持定制化多通道交互的增强现实系统技术方案

本公开实施例公开了一种支持定制化多通道交互的增强现实系统。该增强现实系统的一具体实施方式包括：头戴式传感器组合、计算装置及显示模块；头戴式传感器组合，用于捕捉用户的多通道交互输入信息，并将交互输入信息传至计算装置；计算装置，用于根据交互输入信息生成或者修改增强现实的显示内容；显示模块，用于将背景内容和增强现实的显示内容叠加显示。上述增强现实系统通过将显示模块设置到头戴式传感器组合的远端，可以简化头戴式传感器组合的结构，减轻该头戴式传感器组合的重量。为安装其他传感器提供了方便。同时，该系统可以加入多种交互方式，进而丰富了该系统与用户的交互，提高了用户体验。

【技术实现步骤摘要】
一种支持定制化多通道交互的增强现实系统
本公开实施例涉及增强现实领域，具体涉及一种支持定制化多通道交互的增强现实系统。
技术介绍
AR(AugmentedReality，增强现实)技术是一种新颖的人机交互技术，它能够将虚拟信息添加到真实世界里，从而实现将虚拟信息与真实世界巧妙融合，即对真实世界的“增强”。现有的AR显示技术设备主要包括AR头戴式设备。上述AR头戴式设备将显示装置集成到了头戴式设备中，采用近眼显示技术。上述设备虽然实现了部件的集成，但是却增加了头戴式设备的重量。因此，用户在体验上述设备时，往往会因为上述设备太重，降低用户的使用体验。此外，采用近眼显示技术，通常会使镜头视角受到限制。同样会降低用户的使用体验。相应地，本领域需要一种新的增强现实系统来解决上述问题。
技术实现思路
本公开的内容部分用于以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。为了解决上述问题，本公开的一些实施例提出了一种支持定制化多通道交互的增强现实系统，包括：头戴式传感器组合、计算装置及显示模块；头戴式传感器组合，用于捕捉用户的多通道交互输入信息，并将上述交互输入信息传至上述计算装置；计算装置，用于根据上述交互输入信息生成或者修改增强现实的显示内容；显示模块，用于将背景内容和上述增强现实的显示内容叠加显示，其中，所述显示模块设置到相对于所述头戴式传感器组合的远端。在一些实施例中，所述系统还包括展示到所述显示模块的增强现实视窗，所述增强现实视窗用于显示所述增强现实的显示内容，所述增强现实视窗的位置是通过用户头部相对于所述显示模块的姿态确定的，从而模拟增强现实的显示内容的真实效果；所述增强现实视窗的形状和尺寸是通过对虚拟视窗形状的设定而确定的，其中，所述虚拟视窗是所述增强现实视窗反投影而形成的近眼视窗。在一些实施例中，根据以下步骤确定所述增强现实视窗显示到所述显示模块上的位置：根据所述显示模块的显示范围建立坐标系；根据以下公式确定虚拟视窗投影到显示模块的边界线上的点的点坐标：PAi＝λiPPi；其中，P表示双眼的中心点坐标；Pi表示虚拟视窗边缘上的第i点的坐标；Ai表示以P点为原点出发，经过Pi点形成的直线与所述显示模块相交的点的点坐标；PAi表示P点到Ai的距离；PPi表示P点到Pi的距离；λi表示PAi与PPi之商，所述λi是通过P、Ai和Pi三点的Z轴坐标确定的。在一些实施例中，计算装置通过如下公式确定眼球所关注的所述显示内容中的对象：λ1*λ2*λ3＞0；其中，λ1是通过如下公式确定的：其中，(x,y,z)为显示内容中的对象的坐标；(xr,yr,zr)为左右眼视线方向的三维聚焦点坐标；r表示注意力半径；其中，所述注意力半径所形成的球形范围表征所述聚焦点的预设范围；响应于λ1＝1，表征所述对象处于所述聚焦点的预设范围；响应于λ1＝0，表征所述对象处于所述聚焦点的预设范围之外；其中，λ2是通过如下公式确定的：其中，表示聚焦点在预设时间段内连续选中该对象的时间，td为时间的预设阈值；响应于λ2＝1，表示所述对象被关注的时间超过预设阈值；响应于λ2＝0，表示所述对象被关注的时间小于预设阈值；其中，λ3具体公式如下：其中，(xmin,xmax)表示增强现实显示视窗在x轴方向的最小值和最大值，(ymin,ymax)表示增强现实显示视窗在y轴方向的最小值和最大值；λ3＝1，表示所述对象处于所述增强现实显示视窗内；λ3＝0，表示所述对象处于所述增强现实显示视窗之外。在一些实施例中，计算装置响应于所述眼球所关注的所述显示内容中的对象为多个时，通过以下步骤确定多个所述对象被展示的顺序：对所确定的眼球所关注的所述对象，通过以下公式确定每个所述对象被展示的概率：其中，Pi表示第i个对象被展示的概率；di表示第i个对象与视线落点间的距离；r表示球形区域的半径；根据每个所述对象被展示的概率，确定优先展示的所述对象。在一些实施例中，响应于所述显示模块显示多个增强现实视窗，以及所述显示内容的对象处于所述多个增强现实视窗的范围中或者所述对象被多个交互操作选中，所述计算装置将每个所述交互操作所修改的所述对象进行逐个展示。在一些实施例中，所述背景内容包括获取的图像或者视频，生成的虚拟动态或静态场景。在一些实施例中，所述增强现实显示内容包括图像或者视频、生成的虚拟动态或静态场景或物体以及交互操作的可视化效果，所述增强现实显示内容可由交互操作进行实时修改，并且只显示其在所述增强现实视窗范围内的部分。在一些实施例中，所述头戴式传感器组合包括以下至少一项：摄像头，麦克风，手势传感器、眼动追踪传感器，所述交互输入信息表征的交互操作包括以下至少一项：手势交互操作，语音交互操作和眼动交互操作。在一些实施例中，所述显示模块的展示方式包括二维平面展示和三维空间展示，当所述显示模块进行二维平面展示时，所述显示模块包括以下至少一项：电脑显示器，平板电脑，幕布投影；当所述显示模块进行三维空间展示时，所述显示模块包括以下至少一项：3D投影仪，3D显示器。本公开的上述各个实施例中的一个实施例具有如下有益效果：通过将显示模块设置到头戴式传感器组合的远端，可以简化头戴式传感器组合的结构，减轻该头戴式传感器组合的重量。为安装其他传感器提供了方便。进而，通过设置不同的传感器，丰富了该系统与用户的交互，提高了用户体验。此外，将显示模块相比于近眼显示，能够减小镜头视角受到的限制，提升用户的使用体验。附图说明结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。图1是根据本公开的一种支持定制化多通道交互的增强现实系统的一些结构示意图；图2是根据本公开的一种支持定制化多通道交互的增强现实系统的又一些结构示意图；图3是根据本公开的一种支持定制化多通道交互的增强现实系统的一多人使用的应用场景图。具体实施方式下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例。相反，提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。在本专利技术的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理本文档来自技高网...

【技术保护点】
1.一种支持定制化多通道交互的增强现实系统，其特征在于，所述增强现实系统包括头戴式传感器组合、计算装置及显示模块；/n头戴式传感器组合，用于捕捉用户的多通道交互输入信息，并将所述交互输入信息传至所述计算装置；/n计算装置，用于根据所述交互输入信息生成或者修改增强现实的显示内容；/n显示模块，用于将背景内容和所述增强现实的显示内容叠加显示，其中，所述显示模块设置到相对于所述头戴式传感器组合的远端。/n

【技术特征摘要】
1.一种支持定制化多通道交互的增强现实系统，其特征在于，所述增强现实系统包括头戴式传感器组合、计算装置及显示模块；
头戴式传感器组合，用于捕捉用户的多通道交互输入信息，并将所述交互输入信息传至所述计算装置；
计算装置，用于根据所述交互输入信息生成或者修改增强现实的显示内容；
显示模块，用于将背景内容和所述增强现实的显示内容叠加显示，其中，所述显示模块设置到相对于所述头戴式传感器组合的远端。


2.根据权利要求1所述的增强现实系统，其特征在于，所述系统还包括展示到所述显示模块的增强现实视窗，所述增强现实视窗用于显示所述增强现实的显示内容，所述增强现实视窗的位置是通过用户头部相对于所述显示模块的姿态确定的，从而模拟增强现实的显示内容的真实效果；所述增强现实视窗的形状和尺寸是通过对虚拟视窗形状的设定而确定的，其中，所述虚拟视窗是所述增强现实视窗反投影而形成的近眼视窗。


3.根据权利要求2所述的增强现实系统，其特征在于，根据以下步骤确定所述增强现实视窗显示到所述显示模块上的位置：
根据所述显示模块的显示范围建立坐标系；
根据以下公式确定虚拟视窗投影到显示模块的边界线上的点的点坐标：
PAi＝λiPPi；
其中，P表示双眼的中心点坐标；
Pi表示虚拟视窗边缘上的第i点的坐标；
Ai表示以P点为原点出发，经过Pi点形成的直线与所述显示模块相交的点的点坐标：
PAi表示P点到Ai的距离；
PPi表示P点到Pi的距离；
λi表示PAi与PPi之商，所述λi是通过P、Ai和Pi三点的Z轴坐标确定的。


4.根据权利要求1所述的增强现实系统，其特征在于，计算装置通过如下公式确定眼球所关注的所述显示内容中的对象：
λ1*λ2*λ3＞0；
其中，λ1是通过如下公式确定的：



其中，(x，y，z)为显示内容中的对象的坐标；
(xr，yr，zr)为左右眼视线方向的三维聚焦点坐标；
r表示注意力半径；其中，所述注意力半径所形成的球形范围表征所述聚焦点的预设范围；
响应于λ1＝1，表征所述对象处于所述聚焦点的预设范围；
响应于λ1＝0，表征所述对象处于所述聚焦点的预设范围之外；
其中，λ2是通过如下公式确定的：



其中，t表示聚焦点在预设时间段内连续选中该对象的时间，td为时间的预设阈值；
响...

【专利技术属性】
技术研发人员：陆峰，王智敏，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京;11