基于特征库匹配的信息机房AR目标检测系统及方法技术方案

本发明专利技术公开了基于特征库匹配的信息机房AR目标检测系统及方法，它包括建立信息机房的三维场景，建立信息机房的设备标签，在信息机房场景下得到AR眼镜视野中各个设备的数量、种类和相对位置信息；根据AR眼镜视野中各设备的相对位置信息将已识别各设备在AR眼镜相机坐标系中像素位置坐标与对应设备在三维场景中坐标关联得到相应的匹配点，根据该匹配点求解AR眼镜相机坐标系相对于三维世界坐标系的位姿，从而获得AR眼镜在机房三维场景内的坐标；反推未识别设备在AR眼镜视野中的像素位置。本发明专利技术能提升目标检测准确度。发明专利技术能提升目标检测准确度。发明专利技术能提升目标检测准确度。

【技术实现步骤摘要】
基于特征库匹配的信息机房AR目标检测系统及方法


[0001]本专利技术涉及信息机房AR(增强现实)巡检
，具体地指一种基于特征库匹配的信息机房AR目标检测系统及方法。

技术介绍

[0002]自2012年Hinton团队提出的AlexNet在图像分类领域取得重大进展以来，深度卷积神经网络DCNN(Deep Convolutional Neural Networks，DCNN)在目标检测领域得到了广泛的应用。国内外学者相继提出了以R
‑
CNN(region with CNN features)系列为代表的两阶段目标检测框架和以YOLO(you only look once)系列为代表的端到端单阶段目标检测框架。其中，YOLO系列以其快而准的优势被广泛应用于工业场景。然而随着网络层数的不断加深，感受野逐渐增大，小目标因其分辨率低、像素占比小，难以提取其有效特征信息，从而导致小目标检测准确率低。基于此，相关学者提出了一系列小目标检测方法，针对野外电力巡检场景的环境复杂问题，采用Single Shot Multi
‑
Box Detector(SSD)进行多尺度目标检测，有效地克服了光照和尺度变化的影响；针对传统人工巡检方式效率不高且易出现漏检、误检问题，相关学者提出了一种基于自注意力机制的多尺度目标检测算法，增强了YOLOv3在关注区域的特征提取能力，并提高了小目标检测精度；针对小面积烟火难以识别的问题，相关学者提出了基于改进YOLOX的目标烟火检测方法，实现对目标烟火的有效识别。上述研究均通过改进特征提取方法来提高目标检测精度，虽然在所处场景提高了目标检测精度，但难以满足复杂电网巡检对目标实时准确检测的需求。
[0003]本专利技术的目的就是要提供一种基于特征库匹配的信息机房AR目标检测系统及方法，本专利技术能对目标进行实时准确检测。
[0004]为实现此目的，本专利技术所设计的基于特征库匹配的信息机房AR目标检测系统，包括三维场景建立模块、设备标签建立模块、设备识别模块、标签匹配模块、AR眼镜位姿计算模块和未识别设备位置获取模块；
[0005]所述三维场景建立模块用于建立信息机房的三维场景，确定机房中各设备的在三维世界中坐标；
[0006]设备标签建立模块用于建立信息机房的设备标签；
[0007]设备识别模块用于在信息机房场景下得到AR眼镜视野中各个设备的数量、种类和相对位置信息；
[0008]标签匹配模块用于将AR眼镜视野中各个设备的数量、种类和相对位置信息与信息机房的设备标签，进行标签匹配，获得AR眼镜视野中已识别设备的设备编号、AR眼镜视野中已识别设备在三维场景中的坐标及AR眼镜视野中未识别设备编号和AR眼镜视野中未识别设备在三维场景中的坐标；
[0009]AR眼镜位姿计算模块用于根据AR眼镜视野中各设备的相对位置信息将已识别各设备在AR眼镜相机坐标系中像素位置坐标与对应设备在三维场景中坐标关联得到相应的匹配点，根据该匹配点求解AR眼镜相机坐标系相对于三维世界坐标系的位姿，从而获得AR
眼镜在机房三维场景内的坐标；
[0010]未识别设备位置获取模块用于根据AR眼镜在机房三维场景内的坐标及AR眼镜视野中未识别设备编号、AR眼镜视野中未识别设备在三维场景中的坐标反推未识别设备在AR眼镜视野中的像素位置。
[0011]本专利技术的有益效果：
[0012]本专利技术通过对机房内设备进行目标检测，然后根据识别结果，根据标签进行匹配，从而获得因目标较小导致未识别的设备，然后根据PnP方法，计算AR眼镜位置并反推未识别设备在AR眼镜第一视角中的像素位置，再将该区域图像放大并进再次进行目标检测，从而提升小目标检测的准确度。
附图说明
[0013]图1为本专利技术的结构示意图；
[0014]图2为本专利技术中PnP(Perspective
‑
n
‑
Point)几何结构图。
具体实施方式
[0015]以下结合附图和具体实施例对本专利技术作进一步的详细说明：
[0016]如图1所示基于特征库匹配的信息机房AR目标检测系统，其特征在于：包括三维场景建立模块、设备标签建立模块、设备识别模块、标签匹配模块、AR眼镜位姿计算模块和未识别设备位置获取模块；
[0017]所述三维场景建立模块用于建立信息机房的三维场景，确定机房中各设备的在三维世界中坐标Pi(Xw、Yw、Zw)；
[0018]设备标签建立模块用于建立信息机房的设备标签，设备标签用于关联匹配，每个设备都有各自的标签，各标签包括设备编号、设备三维坐标信息；
[0019]设备识别模块用于在信息机房场景下得到AR眼镜视野中各个设备的数量、种类和相对位置信息，通过对已识别设备与各标签进行匹配，可得出视野中未识别的设备有哪些；
[0020]标签匹配模块用于将AR眼镜视野中各个设备的数量、种类和相对位置信息与信息机房的设备标签，进行标签匹配，获得AR眼镜视野中已识别设备的设备编号(N)、AR眼镜视野中已识别设备在三维场景中的坐标Pi(Xw、Yw、Zw)及AR眼镜视野中未识别设备编号(N)和AR眼镜视野中未识别设备在三维场景中的坐标Pi(Xw、Yw、Zw)；
[0021]AR眼镜位姿计算模块用于根据AR眼镜视野中各设备的相对位置信息将已识别各设备在AR眼镜相机坐标系中像素位置坐标pi(Xc、Yc)与对应已识别设备在三维场景中坐标Pi(Xw、Yw、Zw)关联得到相应的匹配点，根据该匹配点求解AR眼镜相机坐标系相对于三维世界坐标系的位姿，从而获得AR眼镜在机房三维场景内的坐标；
[0022]未识别设备位置获取模块用于根据AR眼镜在机房三维场景内的坐标及AR眼镜视野中未识别设备编号、AR眼镜视野中未识别设备在三维场景中的坐标反推未识别设备在AR眼镜视野中的像素位置，锁定未识别设备大致位置，是下一步局部放大再次检测的基础。
[0023]上述技术方案中，所述设备识别模块用于在信息机房场景下，当AR眼镜第一视野中有机房中设备时，利用基于图像识别的目标检测技术，对AR眼镜第一视野中各个设备进行目标检测得到AR眼镜第一视野中各个设备的像素坐标(表示识别设备在AR眼镜第一视野
图像中的位置)、数量、种类和相对位置信息。
[0024]上述技术方案中，所述设备标签包含各设备编号(N)、各设备在三维场景内坐标Pi(Xw、Yw、Zw)、机房中设备种类(L)和机房中各类设备数量(S)。
[0025]上述技术方案中，根据已识别各设备在AR眼镜相机坐标系中像素位置坐标与对应设备在三维场景中坐标关联的匹配点，根据该匹配点利用PnP方法求解AR眼镜相机坐标系相对于三维世界坐标系的位姿。
[0026]上述技术方案中，求解AR眼镜相机坐标系相对于三维世界坐标系的位姿的具体方法为，如图2所示：
[0027]已知某设备在三维场景中坐标为：[X
w
、Y
w
、Z
...

【技术保护点】

【技术特征摘要】
1.一种基于特征库匹配的信息机房AR目标检测系统，其特征在于：包括三维场景建立模块、设备标签建立模块、设备识别模块、标签匹配模块、AR眼镜位姿计算模块和未识别设备位置获取模块；所述三维场景建立模块用于建立信息机房的三维场景，确定机房中各设备的在三维世界中坐标；设备标签建立模块用于建立信息机房的设备标签；设备识别模块用于在信息机房场景下得到AR眼镜视野中各个设备的数量、种类和相对位置信息；标签匹配模块用于将AR眼镜视野中各个设备的数量、种类和相对位置信息与信息机房的设备标签，进行标签匹配，获得AR眼镜视野中已识别设备的设备编号、AR眼镜视野中已识别设备在三维场景中的坐标及AR眼镜视野中未识别设备编号和AR眼镜视野中未识别设备在三维场景中的坐标；AR眼镜位姿计算模块用于根据AR眼镜视野中各设备的相对位置信息将已识别各设备在AR眼镜相机坐标系中像素位置坐标与对应已识别设备在三维场景中坐标关联得到相应的匹配点，根据该匹配点求解AR眼镜相机坐标系相对于三维世界坐标系的位姿，从而获得AR眼镜在机房三维场景内的坐标；未识别设备位置获取模块用于根据AR眼镜在机房三维场景内的坐标及AR眼镜视野中未识别设备编号、AR眼镜视野中未识别设备在三维场景中的坐标反推未识别设备在AR眼镜视野中的像素位置。2.根据权利要求1所述的基于特征库匹配的信息机房AR目标检测系统，其特征在于：所述设备识别模块用于在信息机房场景下，当AR眼镜第一视野中有机房中设备时，利用基于图像识别的目标检测技术，对AR眼镜第一视野中各个设备进行目标检测得到AR眼镜第一视野中各个设备的像素坐标、数量、种类和相对位置信息。3.根据权利要求1所述的基于特征库匹配的信息机房AR目标检测系统，其特征在于：所述设备标签包含各设备编号、各设备在三维场景内坐标、机房中设备种类和机房中各类设备数量。4.根据权利要求1所述的基于特征库匹配的信息机房AR目标检测系统，其特征在于：根据已识别各设备在AR眼镜相机坐标系中像素位置坐标与对应设备在三维场景中坐标关联的匹配点，根据该匹配点利用PnP方法求解AR眼镜相机坐标系相对于三维世界坐标系的位姿。5.根据权利要求4所述的基于特征库匹配的信息机房AR目标检测系统，其特征在于：求解AR眼镜相机坐标系相对于三维世界坐标系的位姿的具体方法为：已知某设备在三维场景中坐标为：[X
w
、Y
w
、Z
w
]
T
，X
w
、Y
w
、Z
w
分别为横坐标、纵坐标和高度方向坐标，T表示矩阵转置，三维场景中的齐次坐标为[X
w
、Y
w
、Z
w
、1]
T
；该设备AR眼镜第一视角图像中投影点坐标为[u、v]
T
，T表示矩阵转置，u、v表示投影点横纵坐标，投影点的齐次坐标为[u、v、1]
T
；相机内参矩阵为：K，求解相机的外参：R、t；R表示世界坐标系到相机坐标系的旋转矩阵；t表示相应的平移向量；透视投影模型为：
其中，Zc表示设备在AR眼镜第一视角图像中投影点相对于成像平面的深度；展开：其中，f11、f12、f13、f14、f21、f22、f23、f24、f31、f32、f33、f34分别表示待求的变量；写成方程组的形式：z
c
u
c
＝f
11
X
w
+f
12
Y
w
+f
13
Z
w
+f
14
z
c
υ
c
＝f
21
X
w
+f
22
Y
w
+f
23
Z
w
+f
24
a
c
＝f1X
w
+f
32
Y
w
+f
33
Z
w
+f
...

【专利技术属性】
技术研发人员：吴石松，董召杰，张伟，赵继光，
申请(专利权)人：南方电网数字电网研究院有限公司，
类型：发明
国别省市：