一种视线深度引导的视觉增强方法技术

本公开的实施例公开了视线深度引导的视觉增强方法。该方法的一具体实施方式包括：利用视频采集装置，得到多个隐藏场景的图像或视频；对视频采集装置的位姿信息进行标定，得到位姿信息集合；基于多个隐藏场景的图像或视频，生成场景图像集合；获取眼睛图像；对眼睛图像进行图像处理，得到当前视线点信息、视线深度信息和视线方向信息；基于当前视线点信息、位姿信息集合和多个隐藏场景，确定目标隐藏场景；基于场景图像集合，确定优选图像；基于优选图像、当前视线点信息、视线深度信息和视线方向信息，生成目标图像；将目标图像发送至用户佩戴的增强现实头盔上显示，以增强用户视觉。该实施方式可以实现人眼自然地控制进行视觉增强。增强。增强。

【技术实现步骤摘要】
一种视线深度引导的视觉增强方法


[0001]本公开的实施例涉及增强现实
，具体涉及一种视线深度引导的视觉增强方法。

技术介绍

[0002]AR(Augmented Reality，增强现实)技术可以增强用户的视觉，使用户“看透”墙体，具有透视能力，即在用户佩戴的AR眼镜上，显示被遮挡的场景或对象。目前的视觉增强方法通常未考虑用户目前是否需要视觉增强，一直呈现增强内容，从而对用户的视觉产生干扰，降低用户体验。此外，目前的视觉增强方法虽然可以通过点击按钮、语音命令、手势操控的方式，来控制视觉增强是否显示，但是未考虑到用视线深度作为引导，通过人眼的视线深度自然地控制视觉增强。而且，当有多个被遮挡的场景时，多个被遮挡的场景的增强内容同时显示，难以使用户根据视线方向和视线深度来选择显示想要观看的隐藏场景，降低了用户的体验。
[0003]相应地，本领域需要一种视线深度引导的视觉增强方法来解决上述问题。

技术实现思路

[0004]本公开的内容部分用于以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。
[0005]本公开的一些实施例提出了视线深度引导的视觉增强方法，来解决以上
技术介绍
部分提到的技术问题中的一项或多项。
[0006]利用搭建在多个隐藏场景中的视频采集装置，得到多个隐藏场景的图像或视频，其中，上述多个隐藏场景中的每个隐藏场景中搭建至少一个视频采集装置；对上述多个隐藏场景中的视频采集装置中的每个视频采集装置的位姿信息进行标定，得到位姿信息集合，其中，上述位姿信息集合中的位姿信息是在世界坐标系下的信息；基于上述多个隐藏场景的图像或视频，生成场景图像集合；利用用户佩戴的增强现实头盔上的眼动追踪传感器组合获取眼睛图像，其中，上述眼睛图像中包括左眼区域和右眼区域；对上述眼睛图像进行图像处理，得到上述用户的当前视线点信息、视线深度信息和视线方向信息；基于上述当前视线点信息、上述位姿信息集合和上述多个隐藏场景，确定目标隐藏场景；将上述场景图像集合中与上述目标隐藏场景对应的场景图像，确定为优选图像；基于上述优选图像、上述当前视线点信息、上述视线深度信息和上述视线方向信息，生成上述目标隐藏场景中的目标图像；将上述目标图像发送至上述用户佩戴的增强现实头盔上显示，以增强用户视觉。
[0007]当人眼从注视墙体平面，到要“看透”墙体时，人眼的视线注视深度，即视线汇聚角，在物理上发生了变化：当眼睛注视墙体时，视线汇聚角大，视线深度小；当眼睛“看透”墙体时，视线汇聚角变小，视线深度增大。因此，本公开提出的视线深度引导的视觉增强方法，能够由人眼自然地控制进行视觉增强。而且，当有多个被遮挡的场景时，也可以通过视线方
向和视线深度来选择显示想要观看的隐藏场景，从而增加用户体验。
附图说明
[0008]结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，元件和元素不一定按照比例绘制。
[0009]图1是根据本公开的一些实施例的视线深度引导的视觉增强方法的一个应用场景的示意图；
[0010]图2是根据本公开的一些实施例的视线深度引导的视觉增强方法的一个结果示意图；
[0011]图3是根据本公开的视线深度引导的视觉增强方法的一些实施例的流程图；
[0012]图4是视线深度控制的示意图；
[0013]图5是确定目标用户视图的示意图。
具体实施方式
[0014]下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例。相反，提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
[0015]另外还需要说明的是，为了便于描述，附图中仅示出了与有关专利技术相关的部分。在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。
[0016]需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
[0017]需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
[0018]本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
[0019]下面将参考附图并结合实施例来详细说明本公开。
[0020]图1是根据本公开的一些实施例的视线深度引导的视觉增强方法的一个应用场景的示意图。
[0021]在图1的应用场景中，视线点1和视线点2分别表示视线汇聚在近处的墙体1和远处的墙体2。在近处的墙体1上，贴附一张真实的图像，图像上绘制有三角形。在远处的墙体2上，也贴附一张真实的图片，图像上绘制有正方形。当视线汇聚在近处的墙体1时，计算设备判断当前视线点位于可见区域中，在增强现实头盔上不显示增强内容。当视线汇聚在远处的墙体2时，计算设备判断视线点位于隐藏场景中，计算设备根据该场景下的视频采集装置采集的图像或视频，以及用户的视线深度信息和视线方向信息，生成该场景下最优的用户视图作为目标图像。并将上述目标图像传至用户佩戴的增强现实头盔上显示，从而增强用户视觉。
[0022]图2是根据本公开的一些实施例的视线深度引导的视觉增强方法的一个结果示意
的向量。P表示上述标定板的关键点的三维坐标。P
m
表示上述标定板的关键点在标定板坐标系下的坐标。P
h
表示上述标定板的关键点在上述前置相机的相机坐标系下的坐标。w表示世界坐标系。P
w
表示上述标定板的关键点在世界坐标系下的坐标。R
hw
表示从上述世界坐标系到上述前置相机的相机坐标系的旋转矩阵。T
hw
表示从上述世界坐标系到上述前置相机的相机坐标系的平移矩阵。
[0034]上述公式中，R
mh
|T
mh
是未知的，可以使用PNP(Perspective
‑
n
‑
Point，n点透视)算法或者EPNP(Efficient Perspective
‑
n
‑
Point，高效n点透视)算法进行求解，得到R
mh
|T
mh
。可以将R
mh
|T
mh
，代入公式中，求解P
h
。R
hw
|T
hw...

【技术保护点】

【技术特征摘要】
1.一种视线深度引导的视觉增强方法，包括：利用搭建在多个隐藏场景中的视频采集装置，得到多个隐藏场景的图像或视频，其中，所述多个隐藏场景中的每个隐藏场景中搭建至少一个视频采集装置；对所述多个隐藏场景中的视频采集装置中的每个视频采集装置的位姿信息进行标定，得到位姿信息集合，其中，所述位姿信息集合中的位姿信息是在世界坐标系下的信息；基于所述多个隐藏场景的图像或视频，生成场景图像集合；利用用户佩戴的增强现实头盔上的眼动追踪传感器组合获取眼睛图像，其中，所述眼睛图像中包括左眼区域和右眼区域；对所述眼睛图像进行图像处理，得到所述用户的当前视线点信息、视线深度信息和视线方向信息；基于所述当前视线点信息、所述位姿信息集合和所述多个隐藏场景，确定目标隐藏场景；将所述场景图像集合中与所述目标隐藏场景对应的场景图像，确定为优选图像；基于所述优选图像、所述当前视线点信息、所述视线深度信息和所述视线方向信息，生成所述目标隐藏场景中的目标图像；将所述目标图像发送至所述用户佩戴的增强现实头盔上显示，以增强用户视觉。2.根据权利要求1所述的方法，其中，所述对所述眼睛图像进行图像处理，得到所述用户的当前视线点信息、视线深度信息和视线方向信息，包括：对所述眼睛图像进行特征提取，得到人眼特征信息，其中，所述人眼特征信息包括以下至少一项：瞳孔信息和虹膜信息；根据所述人眼特征信息，重构人眼的三维模型；在距离所述用户不同深度的位置依次显示刺激物，以对所述用户的视线进行校准；基于所述三维模型，确定视线深度信息、视线方向信息和当前视线点信息，其中，所述当前视线点信息是视线点的三维坐标信息。3.根据权利要求2所述的方法，其中，所述基于所述优选图像、所述当前视线点信息、所述视线深度信息和所述视线方向信息，生成所述目标隐藏场景中的目标图像，包括：当所述目标隐藏场景中搭建一个视频采集装置时，将所述视频采集装置所采集的图像或视频确定为优选图像，对所述优选图像进行透视变换，将变换后的优选图像投影到用户感兴趣区域，生成目标图像，其中，所述用户感兴趣区域是根据所述当前视线点信息、所述视线深度信息和所述视线方向信息确定的；当所述目标隐藏场景中搭建多个视频采集装置时，将所述多个视频采集装置所采集的多个图像或视频确定为优选图像，对包括多个图像或视频的优选图像进行透视变换，将变换后的优选图像投影到用户感兴趣区域，得到多个用户视图，基于所述视线深度信息、所述视线方向信息、所述位姿信息集合和所述多个用户视图，确定目标用户视图，作为目标图像，其中，所述用户感兴趣区域是根据所述当前视线点信息、所述视线深度信息和所述视线方向信息确定的。4.根据权利要求3所述的方法，其中，所述搭建在多个隐藏场景中的视频采集装置，到用户所处物理空间的距离在第一预设范围内，隐藏场景包括以下至少一项：用户所处物理空间的相邻空间场景，或与用户所处物理空间没有关联的空间场景；视频采集装置的放置
方式包括以下至少一项：悬挂在隐藏场景的墙壁，或放置在移动的装置上。5.根据权利要求4所述的方法，其中，所述对所述多个隐藏场景中的视频采集装置中的每个视频采集装置的位姿信息进行标定，包括：将标定板作为参照物，利用以下公式，获得所述标定板的关键点在世界坐标系中的坐标：其中，d表示所述增强现实头盔上的前置相机的像素坐标系，sd表示所述前置相机的像素坐标系的比例系数，表示所述前置相机的像素坐标系的像素坐标，K
q
表示所述前置相机的内参矩阵，m表示标定板坐标系，h表示所述前置相机的相机坐标系，R
mh
表示从所述标定板坐标系到所述前置相机的相机坐标系的旋转矩阵，T
mh
表示从所述标定板坐标系到所述前置相机的相机坐标系的平移矩阵，R
mh
|T
mh
表示R
mh
和T
mh
的拼接矩阵，0，0，0，1表示1
×
4的向量，P表示所述标定板的关键点的三维坐标，P
m
表示所述标定板的关键点在标定板坐标系下的坐标，P
h
表示所述标定板的关键点在所述前置相机的相机坐标系下的坐标，w表示世界坐标系，P
w
表示所述标定板的关键点在世界坐标系下的坐标，R
hw
表示从所述世界坐标系到所述前置相机的相机坐标系的旋转矩阵，T
hw
表示从所述世界坐标系到所述前置相机的相机坐标系的平移矩阵；利用以下公式，获得所述视频采集装置在世界坐标系下的位姿信息：其中，a表示所述视频采集装置的像素坐标系，s
a
表示所述视频采集装置的像素坐标系的比例系数，表示所述视频采集装置的像素坐标系的像素坐标，c表示所述视频采集装置的相机坐标系，K
e
表示所述视频采集装置的内参矩阵，m表示标定板坐标系，R
mc
表示从所述标定板坐标系到所述视频采集装置的相机坐标系的旋转矩阵，T
mc
表示从所述标定板坐标系到所述视频采集装置的相机坐标系的平移矩阵，R
mc
|T
mc
表示R
mc
和T
mc
的拼接矩阵，0，0，0，1表示1
×
4的向量，P表示所述标定板的关键点...

【专利技术属性】
技术研发人员：陆峰，王智敏，赵玉鑫，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：