用于在增强现实观看环境中对齐虚拟物体的装置和方法制造方法及图纸

一种在电子

【技术实现步骤摘要】
【国外来华专利技术】用于在增强现实观看环境中对齐虚拟物体的装置和方法


[0001]本专利技术总体来说涉及电子三维
(three
‑
dimensional
；
3D)
观看环境
(
即增强现实眼镜和护目镜
)
用户交互的方法和系统，以及电子
3D
观看环境在增强现实应用中的使用方式
。

技术介绍

[0002]在许多商业和工业现场工作场景中，例如电信和公用设备的安装
、
维护和故障排除，现场技术人员依赖于纸本说明或显示在线说明的移动计算设备，如智能手机和笔记本电脑
。
这通常很麻烦，需要在执行工作时手中拿着多个物品，更不用说必须与远处的其他人员和专业人员协作的额外难度
。
引入增强现实
(augmented reality
；
AR)
观看设备
(
如
AR
眼镜
、
为
AR
应用程序配置的智能手机和平板电脑
)
到其现场工作中，可以将来自后端系统的实时情报
、
故障排除日志
、
图形和加密数据流式传输，并随时随地使现场技术人员可以交互访问，从而显着提高操作速度和质量
。
[0003]通过在用户观看场景中的物体上使用
AR
技术叠加文本
、
图像
、
视频和
/
或<br/>3D
模型，以交互的方式向用户提供指导，
AR
用户手册将在线用户指南推向了新的高度
。
此方式适用于任何需要以交互方式获得逐步指导或演示的人，可以在许多不同的行业和应用场景中使用
。
更具体地说，
AR
用户手册由计算机可视化技术支持，能将计算机生成的图像叠加在用户对真实世界场景的视野上，为用户提供混合的虚拟现实观看体验，从而更好地让用户理解说明和演示
。
[0004]除了
AR
用户手册，还有更多其他应用
。
例如，但不限于，将具有相似形状和外观的虚拟物体叠加到目标真实世界物体上，但具有改变的或附加的人工制品，例如标题或文本
、
标志或徽标，可用于电子游戏娱乐
、
娱乐
、
培训模拟
、
教育和其他商业和工业应用
。
[0005]目前，
AR
用户手册的生成主要有两种方法：基于标记的方法和基于人工智能
(AI)
的方法
。
在基于标记的方法中，首先在需要叠加虚拟物体的目标真实世界物体上标记可视标记
。
使用
AR
眼镜的用户先在周围真实世界场景中观看目标真实世界物体，以让
AR
眼镜捕获目标真实世界物体的图像并扫描标记以进行物体姿态估计
。
随着用户和
/
或目标真实世界物体相对运动，实时图像和动作传感器数据通过
AR
眼镜不断捕获，以进行同时定位和建图
(simultaneous localization and mapping
；
SLAM)
处理和相机姿态跟踪
。
使用估计的物体姿态和跟踪的相机姿态，虚拟物体被渲染
(
叠加
)
，根据标记的位置放置到
AR
眼镜显示的真实世界中的目标真实世界物体上
。
显然，此方法的缺点是需要首先在目标真实世界物体上放置标记，在许多情况下这是不可行的
。
[0006]在基于人工智能的方法中，采用深度学习系统，例如现成的神经网络之一，从用户通过
AR
眼镜查看的目标物体的图像中提供目标物体姿态估计
。
深度学习系统首先通过具有注释的与目标真实世界物体相同类型的物体的图像构建训练数据集
。
当用户和
/
或目标真实世界物体相对移动时，通过
AR
眼镜捕获周围场景的实时图像和动作传感器数据，连续进行
SLAM
处理和相机姿态跟踪
。
通过
AI
估计的目标物体姿态和跟踪的相机姿态，虚拟物体被渲染
(
叠加
)
在
AR
眼镜显示的实时视野中的目标真实世界物体上
。
通常，这种基于人工智能
的方法计算密集，而且准确性很大程度上取决于训练深度学习系统所需的训练数据的数量和相关性
。
根据目标真实世界物体的类型，获取这样的训练数据的成本或努力可能非常高，甚至是不现实的
。

技术实现思路

[0007]为了解决当前技术面临的挑战，本专利技术提供了一种装置和方法，在电子
3D
观看环境中，无需预设标记和基于
AI
系统的训练，即可将虚拟物体对准和叠加在真实世界的物体上
。
[0008]根据本专利技术的一个实施例，提供了一种用于在电子三维
(3D)
观看环境中将虚拟物体对准和叠加到真实世界物体上的方法
。
方法开始于接收实时动作流，其中的每个动作包括周围真实世界场景的图像，图像包含由电子
3D
观看环境的相机捕获的真实世界物体，以及相机真实世界姿态
。
[0009]然后，方法继续识别用于将虚拟物体对准现实世界物体的参考特征，其中参考特征包括图像中的现实世界物体上的现实世界地标的现实世界位置坐标，以及对应的虚拟地标在虚拟物体上的虚拟位置坐标
。
[0010]方法还包括如果动作从上次记录的动作改变，则记录所述动作；如果参考特征从上次记录的参考特征改变，则记录所述参考特征
。
[0011]方法还包括在分割包含真实世界对象的周围真实世界场景的捕获图像时，使用基于深度神经网络
(DNN)
的图像分割来估计真实世界对象姿态，随后通过基于
DNN
的姿态估计推断相对真实世界物体方向相对于相机真实世界方向
。
然后从向量计算中估计真实世界物体姿态，其中向量计算使用相机真实世界姿态
、
相对真实世界物体方向和参考特征
。
然后，通过使用选定数量的记录动作的图像处理对真实世界物体姿态估计进行细化，从而进一步细化真实世界物体姿态估计
。
[0012]对于实时动作流中的每个后续动作，仅通过使用所选数量的记录特征的特征过程的真实世界物体姿态估计细化来细化真实世界物体姿态估计，直到安排的虚拟物体的多轮廓视图
(
其根据估计和细化的真实世界物体姿态安排
)
不再匹配真实世界物体的本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.
一种在电子三维
(3D)
观看环境中将虚拟物体对齐并叠加到真实世界物体上的方法，其特征在于，包括：接收实时动作流中的动作，所述动作包括：周围真实世界场景的图像，其包含由电子
3D
观看环境的相机捕获的真实世界物体；和相机真实世界姿态，其由位置和方向跟踪模块确定，所述相机真实世界姿态包括：所述相机的相机真实世界位置坐标；和所述相机的镜头的相机真实世界方向；通过参考特征捕获模块，识别用于将虚拟物体与真实世界物体对齐的参考特征，其中所述参考特征包括：所述图像中的所述真实世界物体上的真实世界地标的真实世界位置坐标；和所述虚拟物体上对应的虚拟地标的虚拟位置坐标；如果所述动作与上次记录的所述动作不同，则通过动作记录模块记录所述动作；如果所述参考特征从上次记录的所述参考特征改变，则通过所述动作记录模块记录所述参考特征；通过姿态估计模块估计真实世界物体姿态，其中所述真实世界物体姿态包括所述动作的所述真实世界物体的真实世界物体在真实世界的位置坐标和包括所述动作的所述真实世界物体的真实世界物体在真实世界的方向；通过依图像姿态细化模块细化所述真实世界物体姿态估计；通过依特征姿态细化模块细化所述真实世界物体姿态估计；通过图像相似度计算器确定安排的所述虚拟物体的多轮廓视图是否匹配所述真实世界物体的多轮廓视图；通过渲染模块根据在
3D
观看环境中的估计和细化的所述真实世界物体姿态安排和渲染所述虚拟物体；其中，在所述姿态估计模块每次执行所述真实世界物体姿态估计和所述依图像姿态细化模块对所述真实世界物体姿态估计进行细化之后，所述真实世界物体姿态估计仅通过所述依特征姿态细化模块对实时动作流中的每个后续动作进行细化，直到安排的所述虚拟物体的所述多轮廓视图不再匹配所述真实世界物体的所述多轮廓视图；和其中，如果所述图像相似度计算器确定安排的所述虚拟物体的所述多轮廓视图与所述真实世界物体的所述多轮廓视图不匹配，则通过所述姿态估计模块执行所述真实世界物体姿态估计和通过所述依图像姿态细化模块执行真实世界物体姿态估计细化，以重新估计所述真实世界物体姿态
。2.
如权利要求1所述的方法，其特征在于，其中对所述真实世界物体姿态的估计包括：通过基于深度神经网络
(DNN)
的图像分割来分割包含所述真实世界物体的图像区域；通过基于
DNN
的姿态估计推断相对于所述相机真实世界方向的相对真实世界物体方向，其中所述相对真实物体方向包括相对真实世界物体方位角
、
相对真实世界物体仰角和相对真实世界物体平面内旋转；获得真实世界地标到相机向量，其为从所述真实世界地标的所述真实世界位置坐标到所述相机真实世界位置坐标；通过计算所述相机真实世界方向
、
所述相对真实世界物体方向
、
对应所述虚拟地标的
所述虚拟位置坐标
、
所述真实世界物体与所述虚拟物体的所述物体缩放比例的向量运算结果，來估计真实世界物体到地标向量
,
其为从所述真实世界物体的所述真实世界位置坐标到所述真实世界地标的所述真实世界位置坐标；通过计算估计的所述真实世界物体到地标向量和所述真实世界地标到相机向量的向量总和来估计真实世界相机到物体向量；通过计算所述相机真实世界位置坐标和估计的所述真实世界相机到物体向量的向量总和来估计所述真实世界物体在所述真实世界位置坐标；和通过所述相对真实世界物体方向旋转所述相机真实世界方向来估计所述真实世界物体在所述真实世界方向
。3.
如权利要求1所述的方法，其特征在于，其中依特征的真实世界物体姿态估计细化包括：在最后执行所述真实世界物体姿态估计和所述依图像姿态细化模块的所述真实世界物体姿态估计细化的动作之后，选择实时动作流中的
N
‑1个动作作为所选动作，每个选定的动作包括：为所选动作捕获的所述周围真实世界场景的所选图像；和相机姿态，包括针对所选动作的相机真实世界位置坐标和相机真实世界方向；从记录的所述参考特征中选择
M
‑1个所选参考特征，每个选择的所述参考特征包括：对应于一个或多个所选动作的真实世界地标的真实世界位置坐标；和对应的虚拟地标的虚拟位置坐标；使用改变的向量算术计算，其基于优化的相对真实世界物体方位角
、
对应所述虚拟地标的所述虚拟位置坐标以及真实世界物体与虚拟物体的物体缩放比例，为所选的所述动作中的每个选定的所述动作估计真实世界物体到地标向量，其中所述优化的相对真实世界物体方位角是相对真实世界物体方位角与优化因子的总和，其中所述相对真实世界物体方位角是在所述依图像姿态细化模块最后执行所述真实世界物体姿态估计和所述真实世界物体姿态估计细化获得的；基于所述优化的相对真实世物体方位角，使用估计的所述真实世界物体到地标向量，为所选动作估计真实世界物体在真实世界位置坐标；找到使所有选定动作的所有估计的所述真实世界物体在真实世界位置坐标的标准偏差最小化的所述优化因子；和在运行时，将所述优化因子应用于估计和细化的所述真实世界物体姿态中的相对真实世界物体方位角
。4.
根据权利要求1所述的方法，其特征在于，其中依图像的真实世界物体姿态估计细化包括：选择
M
个记录的动作作为所选动作，每个所选动作包括针对所选动作的所述周围真实世界场景的捕获图像和相机姿态，所述相机姿态包括针对所选动作的相机真实世界位置坐标和相机真实世界方向；通过基于
DNN
的图像分割对包含所述真实世界物体的捕获图像区域进行分割；计算所选动作的所述相机真实世界方向
、
所选动作的优化的相对真实世界物体方位角
、
所选动作对应的所述虚拟地标的所述虚拟位置坐标以及真实世界物体和虚拟物体之间
的物体缩放比例的向量运算结果，估计所选动作的真实世界物体到地标向量，其从所选动作的所述真实世界物体在所述真实世界位置坐标到所选动作的所述真实世界地标的所述真实世界位置坐标；通过计算所选动作的估计的所述真实世界物体到地标向量与所选动作的真实世界地标到相机向量的向量总和，为所选动作估计真实世界相机到物体向量；针对所选动作模拟所述虚拟物体的所述虚拟相机视图，包括：将所述虚拟物体的所述虚拟位置坐标设置为原点；根据电子
3D
观看环境的相机固有属性和相机的校正焦距配置所述虚拟相机；根据所述真实世界相机到物体向量放置所述虚拟相机，其针对通过所述真实世界物体和所述虚拟物体之间的所述物体缩放比例缩放的所选动作；和根据针对所选动作优化的所述相对真实世界物体方位角旋转所述虚拟相机；通过基于
DNN
的图像分割为所选动作提取包含在捕获图像中的所述真实世界物体的真实世界物体子图像掩码；和为基于
DNN
的图像分割的所选动作提取模拟的所述虚拟相机视图中的所述虚拟物体的虚拟物体子图像掩码；其中针对所选动作的优化的所述相对真实世界物体方位角是针对所选动作推断的所述相对真石世界物体方位角与优化因子的总和；找到优化因子值，使得所有选定动作的所述真实世界物体子图像掩模与其对应的所述虚拟物体子图像掩模对之间的平均均方误差最小；和在运行时将所述优化因子应用于估计所述真实世界物体姿态中的所述相对真实世界物体方位角
。5.
如权利要求1所述的方法，其特征在于，其中所述相机真实世界位置坐标和所述相机真实世界方向由所述位置和方位跟踪模块使用从电子
3D
观看环境的一个或多个动作传感器接收的信号数据来计算；和其中所述信号数据包括全球定位系统
(GPS)
信号数据
、
无线通信信号的无线三角测量
、
来自所述相机和所述动作传感器的传感器融合算法的数据
、
以及视觉惯性里程计信号数据中的一种或多种
。6.
如权利要求1所述的方法，其特征在于，所述参考特征的识别包括：使用物体检测器
、
扫描视觉标记或使用用户界面来检测所述真实世界地标，以指示图像中的所述真实世界物体上的所述真实世界地标；确定检测到的所述真实世界地标的图像位置坐标；通过空间映射或深度估计模块从所述真实世界地标的所述图像位置坐标计算所述真实世界地标的所述真实世界地标的所述真实世界位置坐标；和获取所述虚拟物体上对应的所述虚拟地标的所述虚拟位置坐标
。7.
如权利要求1所述的方法，其特征在于，其中确定安排的所述虚拟物体的所述多轮廓视图是否匹配所述真实世界物体的所述多轮廓视图包括：生成所述虚拟物体的虚拟物体二维
(2D)
轮廓，所述虚拟物体的安排是根据为从记录的动作中选择的一个或多个动作中的每一个计算得到的所述真实世界物体姿态；在每个选定的记录动作中，识别图像中的所述真实世界物体的真实世界物体
2D
轮廓；
将每个所述虚拟物体
2D
轮廓叠加在每个所选动作的相应所述真实世界物体
2D
轮廓之上，以将所述虚拟物体
2D
轮廓与所述真实世界物体
2D
轮廓相匹配；和如果所有未匹配的所述虚拟物体
2D
轮廓和真实世界物体
2D
轮廓对的平均图像相似度低于最小多轮廓视图相似度阈值，则认为安排的所述虚拟物体的所述多轮廓视图是与所述真实世界物体的所述多轮廓视图不匹配，否则，安排的所述虚拟物体的所述多轮廓视图被认为匹配所述真实世界物体的所述多轮廓视图
。8.
如权利要求1所述的方法，其特征在于，所述虚拟物体包括用户手册
、
通知
、
标志和标志中的一项或多项
。9.
如权利要求1所述的方法，其特征在于，其中所述位置和方向跟踪模块
、
所述参考特征捕获模块
、
所述空间映射或深度估计模块和所述渲染模块由本地处理器执行；和其中所述动作记录模块
、
所述姿态估计模块
、
所述依图像姿态细化模块
、
所述依特征姿态细化模块特征姿态细化模块和所述图像相似度计算器由远程处理器执行
。10.
一种用于在电子三维
(3D)
观看环境中处理实时动作流
、
将虚拟物体对齐并叠加到真实世界物体上的装置，实时动作流中的每个动作...

【专利技术属性】
技术研发人员：倪一翔，陈燕儿，
申请(专利权)人：香港应用科技研究院有限公司，
类型：发明
国别省市：