一种基于双目视觉与图像深度融合的机房三维重建方法技术

本申请涉及一种基于双目视觉与图像深度融合的机房三维重建方法，包括以下步骤：步骤1：确定实际机房设备的尺寸；根据实际机房的设备布局位置确定实际机房设备模型的具体位置；步骤2：通过帧相机采集实际机房设备图像，将图像的特征点匹配信息通过视觉即时定位与地图构建方法基于本质矩阵恢复出当前帧相机相对于前一帧的位姿变换矩阵；步骤3：根据实际机房设备模型的具体位置、位姿变换矩阵采用数据融合技术对多视结果与深度学习网络深度值进行融合构建三维机房。本申请采用数据融合技术对多视结果与深度学习网络深度值进行融合，以解决重建点稀疏性的问题。提升三维机房重建精度以及机房数字孪生智能化监控能力。以及机房数字孪生智能化监控能力。以及机房数字孪生智能化监控能力。

【技术实现步骤摘要】
一种基于双目视觉与图像深度融合的机房三维重建方法


[0001]本申请涉及电力通信数字孪生
，尤其涉及一种基于双目视觉与图像深度融合的机房三维重建方法。

技术介绍

[0002]电网数字化转型给通信设备可靠性监管带来新的挑战。作为数字电网的核心节点,电力通信机房设备透明、可观式监控是电力通信网络运可靠运行前提与核心保障。随着“碳达峰、碳中和”“构建以新能源为主体的新型电力系统”等目标的提出，大量具有随机性、间歇性、波动性特征的分布式能源、储能装置、V2G等交互式能源设施接入电网，为了保证各通信数据高效、安全、可靠传输，需要不断扩展新的功能设备并以增强网络数据传送效率。这就给机房智能化监管带来新的挑战，即室内机房管理范围的不断扩大以及机房内不同设备系统的较大差异性。
[0003]以数字孪生(Digital Twin，DT)为基础的数据中心三维可视化管理解决方案，从根本上解决了管理范围不断扩大和系统差异性的问题。数字孪生通过充分挖掘/发挥海量数据资源与先进数据科学技术所带来的福利，在数字空间建立虚体模型及虚实映射关系进而镜像实体。它能够容纳现有以及未来可能出现的多套系统，采用了统一的数据格式、操作习惯和显示方式，极大地降低了系统的不同给运维人员造成的不便；基于原位数据监测与分析，做到现场所有工作实时监控、主动提醒、及时防御、可追溯，大幅提高了运维管理的效率及安全可靠性。
[0004]然而，目前基于数字孪生的机房三维重构还存在着重建点稀疏性的技术问题。

技术实现思路

[0005]本申请实施例的目的在于提供一种基于双目视觉与图像深度融合的机房三维重建方法，提升三维机房重建精度以及机房数字孪生智能化监控能力。
[0006]为实现上述目的，本申请提供如下技术方案：
[0007]本申请实施例提供一种基于双目视觉与图像深度融合的机房三维重建方法，包括以下步骤：
[0008]步骤1：确定实际机房设备的尺寸；对比3DSMax与Unity3D中实际机房设备的尺寸差异从而确定3DSMax中建模的比例尺；通过3DSMax建立简化的实际机房设备模型，并使用Photoshop根据实际机房设备模型的UV展开图以及实际机房设备的照片截图处理成合适的模型贴图；使用3DSMax导出Unity3D中实际机房设备模型；根据实际机房的设备布局位置确定实际机房设备模型的具体位置；
[0009]步骤2：通过帧相机采集实际机房设备图像，将采集的实际机房设备图像通过特征提取方法得到实际机房设备图像的特征点匹配信息，将图像的特征点匹配信息通过视觉即时定位与地图构建方法基于本质矩阵恢复出当前帧相机相对于前一帧的位姿变换矩阵；
[0010]步骤3：根据实际机房设备模型的具体位置、位姿变换矩阵采用数据融合技术对多
视结果与深度学习网络深度值进行融合构建三维机房。
[0011]所述步骤2，具体为：
[0012]根据帧相机模型，空间一点在前一帧实际机房设备图像中的像素点的位置为：
[0013]p1＝KP
[0014]空间一点在后一帧实际机房设备图像中的像素点的位置为：
[0015]p2＝K(RP+t)
[0016]其中，K为相机内参，R为当前帧相机坐标系的相机运动矩阵，t为参考坐标系的相机运动矩阵，P为空间中坐标点；
[0017]基于极线约束定理，得到：
[0018][0019]基于最小二乘法或者SVD分解方法得到前一帧实际机房设备图像与后一帧实际机房设备图像之间相机的位姿变化矩阵；
[0020]所述位姿变化矩阵包括：当前帧相机坐标系的相机运动矩阵、参考坐标系的相机运动矩阵。
[0021]所述步骤3，具体如下：
[0022]引入第i帧图像先验信息和第i+k图像先验信息；
[0023]所述图像先验信息包括：图像帧的位置、姿态信息及两帧图像共视点像素位置信息；
[0024]利用多视几何三角化测量法计算共识点的深度信息D
o
及协方差矩阵Ω
o
；
[0025]其中，D
o
为目标在第i+k帧相机坐标系下的深度值；
[0026]基于深度学习网络，计算第i+k图像帧的深度图I，提取出步骤1中目标处的深度信息D
b
，及对应的协方差矩阵Ω
b
；
[0027]计算融合后的深度值，计算方法如下：
[0028]D
a
＝D
b
+W
·
(D
o
‑
D
b
)
[0029]其中，基于深度学习得到的深度图I中像素深度的相对关系，计算融合图像中对应像素位置的深度值，具体计算过程如下：
[0030]D
(m，n)
＝f({D
w
||P
w
‑
P
(m，n)
|＜δ})
[0031]其中，D
w
表示当前像素点邻域内窗口内，半径为δ的深度信息，P
w
、P
(m，n)
分别表示邻域内像素点及当前像素点，f(
·
)为非线性映射。
[0032]与现有技术相比，本专利技术的有益效果是：采用双目视觉方案对目标深度信息进行测量，进一步通过视觉SLAM技术根据左右目图像中的特征点匹配信息，基于本质矩阵恢复出当前帧相机相对于前一帧的位姿变换关系；构建当前帧相机系到参考系的位姿变换，从而在实现定位的基础上对目标进行三维重建；采用数据融合技术对多视结果与深度学习网络深度值进行融合，以解决重建点稀疏性的问题。本方法将提升三维机房重建精度以及机房数字孪生智能化监控能力。
附图说明
[0033]为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使
用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0034]图1为本专利技术的方法流程图。
[0035]图2为三维机柜及设备可视化图。
具体实施方式
[0036]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
[0037]术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个......”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[003本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双目视觉与图像深度融合的机房三维重建方法，其特征在于，包括以下步骤：步骤1：确定实际机房设备的尺寸；对比3DSMax与Unity3D中实际机房设备的尺寸差异从而确定3DSMax中建模的比例尺；通过3DSMax建立简化的实际机房设备模型，并使用Photoshop根据实际机房设备模型的UV展开图以及实际机房设备的照片截图处理成合适的模型贴图；使用3DSMax导出Unity3D中实际机房设备模型；根据实际机房的设备布局位置确定实际机房设备模型的具体位置；步骤2：通过帧相机采集实际机房设备图像，将采集的实际机房设备图像通过特征提取方法得到实际机房设备图像的特征点匹配信息，将图像的特征点匹配信息通过视觉即时定位与地图构建方法基于本质矩阵恢复出当前帧相机相对于前一帧的位姿变换矩阵；步骤3：根据实际机房设备模型的具体位置、位姿变换矩阵采用数据融合技术对多视结果与深度学习网络深度值进行融合构建三维机房。2.根据权利要求1所述的一种基于双目视觉与图像深度融合的机房三维重建方法，其特征在于，所述步骤2，具体为：根据帧相机模型，空间一点在前一帧实际机房设备图像中的像素点的位置为：p1＝KP空间一点在后一帧实际机房设备图像中的像素点的位置为：p2＝K(RP+t)其中，K为相机内参，R为当前帧相机坐标系的相机运动矩阵，t为参考坐标系的相机运动矩阵，P为空间中坐标点；基于极线约束定理，得到：基于最小二乘法或者SVD分解方法得到前一帧实际机房设备图像与后一帧实际机房设备图像之间相机的位姿变化矩阵；所述位姿变化矩阵包括：当前帧相机坐标系的相机运动矩阵、参考坐标系的相机运动矩...

【专利技术属性】
技术研发人员：李磊，周正，廖荣涛，王逸兮，董亮，刘芬，胡欢君，叶宇轩，王晟玮，张剑，宁昊，陈家璘，
申请(专利权)人：国网湖北省电力有限公司信息通信公司，
类型：发明
国别省市：