基于视觉几何结构配准的增强现实中网络设备识别方法技术

一种基于视觉几何结构配准的增强现实中网络设备识别方法，利用摄像头进行网络设备位姿获取，并构建表达个体网络设备位姿和多个网络设备之间地理关联的复杂几何结构，通过几何结构的深度配准，自动识别出现在增强现实画面中的网络设备。本发明专利技术不依赖于网络设备的独特外形、识别代码、世界坐标和无线信号，可简单、快速、方便地实现各类有线和无线网络设备识别。别。

【技术实现步骤摘要】
of 3d point clouds with low overlap,”in Proceedings of the 2021IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR),2021,pp.4265
–
4274.)，是点云配准任务中最有效的方法。然而，在网络设备识别过程中，临近网络设备在扫描时可能被遮挡或跳过，导致不完全匹配问题；同时，配准结果会受增强显示设备获取网络设备几何结构的误差特性的限制。因此，现有点云配准网络无法直接用于网络设备识别应用。

技术实现思路

[0005]为了克服已有技术的不足,本专利技术提供了一种基于视觉几何结构配准的增强现实中网络设备识别方法，不依赖于网络设备的独特外形、识别代码、世界坐标和无线信号，可简单、快速、方便地实现各类有线和无线网络设备识别。
[0006]本专利技术解决其技术问题所采用的技术方案是：
[0007]一种基于视觉几何结构配准的增强现实中网络设备识别方法，包括以下步骤：
[0008](1)在部署阶段，首先对出现在摄像头画面中的网络设备i进行视觉定位，得到其在相机坐标系下的三维边界框其中，表示网络设备的位置，和表示网络设备的大小和朝向；然后，通过对表面点采样将其转换为致密点云再次，利用增强现实设备的电子罗盘和惯性测量单元数据得到旋转矩阵α
N
，并通过和将和映射为参考坐标系下的致密点云和点由于增强现实设备的视野有限，往往需要通过移动和转动增强现实设备的方法观察其他网络设备；通过监测增强线设备的摄像头画面、电子罗盘和惯性测量单元数据，可通过视觉历程计方法得到旋转矩阵α
D
和偏移向量m，并将增强现实设备移动和转动后观察到的网络设备j的致密点云映射到与u一致的参考坐标系下：通过将多个网络设备的的融合，可得到表达个体网络设备位姿和多个网络设备地理关联的大型致密点云Q；同时，利用多个节点的L
G
，构造稀疏点云Q
*
，并将每个网络设备的L
G
与其ID绑定，存储在数据库中；
[0009](2)在识别阶段，通过步骤(1)中相同方法，可得到表达识别阶段出现在增强现实画面中个体网络设备位姿和多个网络设备之间地理关联，规模小于Q的致密点云P和规模小于Q
*
的稀疏点云P
*
；然后，通过自适应迭代扫描法，得到变换矩阵满足其中P
k
表示P中的第k个点；对于识别节点出现在增强现实画面中的网络设备i，通过得到其在Q
*
中的对应点j，并查询数据库得到j对应的网络设备ID，从而实现识别。
[0010]进一步，所述步骤(2)中，自适应迭代扫描法工作过程如下：首先，利用不完全深度配准网络计算P到Q的变换矩阵并不断估计的如则表明识别阶段扫描的网络设备数量不足，需要进一步扫描更多的节点以扩充P；其次，如满足则在Q中移除P的对应点，并再次配准，如仍然能得到满足则表明识别阶段扫描的网
络设备数量仍然不足，还需要扫描更多的节点以扩充P；以上过程循环执行直到仅有一个满足为止。
[0011]再进一步，所述不完全深度配准网络以Predator为骨干网络，通过增加边维度的空间注意力和频率维度的通道注意力，提升网络设备识别应用中的配准性能。
[0012]更进一步，所述边维度的空间注意力工作过程如下：首先，利用Q和P生成全连通图G(Q)和G(P),(i，j)表示G(Q)中由顶点Q
i
和Q
j
连成的边，通过边的位置、大小和角度信息来初始化特征向量其中l(
·
)表示顶点位置，cat(
·
，
·
)表示连接操作，h
θ
表示一个参数为θ神经网络，同理可计算G(P)中边(a，b)的特征向量接着通过计算query向量key向量和value向量来更新其中其中W
q
、W
k
和W
v
是可学习的权重矩阵；更新的公式为其中att(
·
)表示自注意力模块，h
σ
表示一个参数为σ的神经网络；然后，将输入一个线形层，即可得到其得分最后，迭代更新G(Q)中每个顶点的特征值，其公式为其中，表示Q
i
的第k轮特征表示，max表示最大池化操作，h
φ
表示一个参数为φ的神经网络；最后，将此更新使用非共享参数φ执行两次，将每一轮的结果连接并输入另一个神经网络得到最终的特征。
[0013]所述频率维度的通道注意力工作过程如下：该操作对G(P)和G(Q)各自运行，对于G(Q)，其中边(i，j)的权重计算为然后，利用G(Q)中所有边的权重构造边权重矩阵A和对角矩阵D，D中非零元素由计算，|Q|表示Q中顶点数量，并计算归一化拉普拉斯矩阵接着，通过L＝U∧U
T
将L分解，得到U；接着，将Q的输入特征按照通道维度分成W组，其中C表示特征维度，C能够被W整除，每组通道数为按照此分法将U也分成W份，依次使用其频率分量进行实验，得到最优频率分量排序；接着，选择W中前m个最重要的分量对U和X
Q
进行分组，每组通道数为C能够被m整除；对于第m
i
个(1≤m
i
≤m,m≤W)子特征其频率维度的通道注意力为是U中第m
i
重要的通道对应的行，是中的第k个通道；最后，连接m个子特征的通道注意力，输入一个神经网络得到最终频率维度的通道注意力，并与X
Q
相乘更新X
Q
。
[0014]本专利技术中，利用摄像头进行网络设备位姿获取，并构建表达个体网络设备位姿和多个网络设备之间地理关联的复杂几何结构，通过几何结构的深度配准，自动识别出现在增强现实画面中的网络设备。
[0015]本专利技术的有益效果主要表现在：不依赖于网络设备的独特外形、识别代码、世界坐
标和无线信号，可简单、快速、方便地实现各类有线和无线网络设备识别。
具体实施方式
[0016]下面对本专利技术作进一步描述。
[0017]一种基于视觉几何结构配准的增强现实中网络设备识别方法，包括以下步骤：
[0018](1)在部署阶段，首先对出现在摄像头画面中的网络设备i进行视觉定位，得到其在相机坐标系下的三维边界框其中，表示网络设备的位置，和表示网络设备的大小和朝向；然后，通过对表面点采样将其转换为致密点云再次，利用增强现实设备的电子罗盘和惯性测量单元数据得到旋转矩阵α
N
，并通过和将和映射为参考坐标系下的致密点云和点由于增强现实设备的视野有限，往往需要通过移动和转动增强现实设备的方法观察其他网络设备；通过监测增强线设备的摄像头画面、电子罗盘和惯性测量单元数据，可通过视觉历程计方法得到旋转矩阵α
D
和偏移向量m，并将增强现实设备移动和转动后观察到的网络设备j的致密本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视觉几何结构配准的增强现实中网络设备识别方法，其特征在于，所述方法包括以下步骤：(1)在部署阶段，首先对出现在摄像头画面中的网络设备i进行视觉定位，得到其在相机坐标系下的三维边界框其中，表示网络设备的位置，和表示网络设备的大小和朝向；然后，通过对表面点采样将其转换为致密点云再次，利用增强现实设备的电子罗盘和惯性测量单元数据得到旋转矩阵α
N
，并通过和将和映射为参考坐标系下的致密点云和点由于增强现实设备的视野有限，往往需要通过移动和转动增强现实设备的方法观察其他网络设备；通过监测增强线设备的摄像头画面、电子罗盘和惯性测量单元数据，可通过视觉历程计方法得到旋转矩阵α
D
和偏移向量m，并将增强现实设备移动和转动后观察到的网络设备j的致密点云映射到与i一致的参考坐标系下：通过将多个网络设备的Q
G
的融合，可得到表达个体网络设备位姿和多个网络设备地理关联的大型致密点云Q；同时，利用多个节点的L
G
，构造稀疏点云Q
*
，并将每个网络设备的L
G
与其ID绑定，存储在数据库中；(2)在识别阶段，通过步骤(1)中相同方法，可得到表达识别阶段出现在增强现实画面中个体网络设备位姿和多个网络设备之间地理关联，规模小于Q的致密点云P和规模小于Q
*
的稀疏点云P
*
；然后，通过自适应迭代扫描法，得到变换矩阵满足其中P
k
表示P中的第k个点；对于识别节点出现在增强现实画面中的网络设备i，通过得到其在Q
*
中的对应点j，并查询数据库得到j对应的网络设备ID，从而实现识别。2.如权利要求1所述的一种基于视觉几何结构配准的增强现实中网络设备识别方法，其特征在于，所述步骤(2)中，自适应迭代扫描法工作过程如下：首先，利用不完全深度配准网络计算P到Q的变换矩阵并不断估计的如则表明识别阶段扫描的网络设备数量不足，需要进一步扫描更多的节点以扩充P；其次，如满足则在Q中移除P的对应点，并再次配准，如仍然能得到满足则表明识别阶段扫描的网络设备数量仍然不足，还需要扫描更多的节点以扩充P；以上过程循环执行直到仅有一个满足为止。3.如权利要求2所述的一种基于视觉几何结构配准的增强现实中网络设备识别方法，其特征在于，所述不完全深度配准网络以Predator为骨干网络，通过增加边维度的空间注意力和频率维度的通道注意力，提升网络设备识别应用中的配准性能。4.如权利要求3所述的一种基于视觉几何结构配准...

【专利技术属性】
技术研发人员：夏明，黄敏，王云汉，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：