用于虚拟现实和增强现实的系统和方法技术方案

该说明书涉及特征匹配。我们的方法在具有挑战性的图像对之间建立逐点对应关系。它采用现成的局部特征作为输入并使用注意力图神经网络来解决分配优化问题。深度中间端匹配器充当中间端，并且优雅地处理部分点可见性和遮挡，产生部分分配矩阵。产生部分分配矩阵。产生部分分配矩阵。

【技术实现步骤摘要】
【国外来华专利技术】用于虚拟现实和增强现实的系统和方法
[0001]相关申请的交叉引用
[0002]本申请要求于2019年11月14日提交的美国临时专利申请No.62/935,597的优先权，其全部内容通过引用并入本文。


[0003]本专利技术涉及连接的移动计算系统、方法和配置，并且更具体地涉及以可用于虚拟和/或增强现实操作的至少一个可穿戴组件为特征的移动计算系统、方法和配置。

技术介绍

[0004]希望混合现实或增强现实近眼显示器重量轻、成本低、具有小尺寸、具有宽的虚拟图像视野并且尽可能透明。此外，希望具有在多个焦平面(例如，两个或更多个)中呈现虚拟图像信息的配置，以便在不超过辐辏调节失配的可接受容限的情况下适用于广泛用例。参考图8，示出了增强现实系统，其特征在于头戴式查看组件(2)、手持控制器组件(4)和互连的辅助计算或控制器组件(6)，其可被配置为作为用户的腰包等佩戴。这些组件中的每一个组件可以经由有线或无线通信配置(诸如由IEEE 802.11、蓝牙(RTM)和其它连接标准和配置指定的那些配置)彼此可操作地耦合(10、12、14、16、17本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种计算机系统，包括：计算机可读介质；连接到所述计算机可读介质的处理器；以及在所述计算机可读介质上的一组指令，包括：深度中间端匹配器架构，其包括：注意力图神经网络，其具有：关键点编码器，其将关键点位置p及其视觉描述符d映射到单个向量；以及交替自注意力层和交叉注意力层，其基于所述向量重复L次以创建表示f；以及最优匹配层，其从所述表示f创建M
×
N分数矩阵，并基于所述M
×
N分数矩阵找到最优部分分配。2.根据权利要求1所述的计算机系统，其中，在所述关键点编码器中，每个关键点i的初始表示
(0)
x
i
结合视觉外观和位置，其中相应关键点位置嵌入到具有多层感知器(MLP)的高维向量中，如下：
(0)
x
i
＝d
i
+MLP(p
i
)。3.根据权利要求2所述的计算机系统，其中，所述关键点编码器允许所述注意力图神经网络共同推理外观和位置。4.根据权利要求1所述的计算机系统，其中，在所述关键点编码器中包括具有单个完整图的多路图神经网络，所述完整图具有作为两个图像的关键点的节点。5.根据权利要求4所述的计算机系统，其中，所述图是多路图，所述多路图具有两种类型的无向边，即将关键点i连接到同一图像内的所有其它关键点的图像内边(自身边；E
self
)以及将关键点i连接到另一图像中的所有关键点的图像间边(交叉边，E
cross
)，并使用消息传递公式沿两种类型的边传播信息，使得所得的多路图神经网络从每个节点的高维状态开始，并通过同时聚合横跨所有节点的所有给定边的消息在每一层处计算更新的表示。6.根据权利要求5所述的计算机系统，其中，如果
(l)
x
Ai
是在第l层的图像A中的元素i的中间表示，则消息m
E
→
i
是来自所有关键点{j:(i,j)∈E}的所述聚合的结果，其中E∈{E
self
,E
cross
}，并且A中所有i的剩余消息传递更新为：其中[
·
||
·
]表示级联。7.根据权利要求6所述的计算机系统，其中，具有不同参数的固定数量的层L被链接并且交替地沿着所述自身边和交叉边聚合，使得从l＝1开始，如果l是奇数，则E＝E
self
，并且如果l是偶数，则E＝E
cross
。8.根据权利要求6所述的计算机系统，其中，交替的自注意力层和交叉注意力层采用注意力机制计算，其计算所述消...

【专利技术属性】
技术研发人员：PE，
申请(专利权)人：奇跃公司，
类型：发明
国别省市：