基于单目视觉和深度学习的结构全场位移稠密测量方法、装置、设备及存储介质制造方法及图纸

本发明专利技术提出基于单目视觉和深度学习的结构全场位移稠密测量方法、装置、设备及存储介质，所述方法首先建立结构的三维可变形网格模型，其次，将视频的每一帧图片输入训练好的结构构件语义分割模块，输出结构的构件语义分割结果；接着，将识别出的结构构件语义分割蒙版输入结构姿态参数识别模块，输出结构姿态参数；最后将结构构件姿态参数返回三维网格模型中，即可获取结构的稠密位移测量结果。相较于传统的基于计算机视觉的结构位移识别方法，本发明专利技术使用三维模型作为结构位移的载体，使用深度学习算法突破性的实现了稠密测点的位移，克服了传统方法只能依次识别单点的局限性，对于建筑桥梁的振动信息的正确评估有着重要的意义。义。义。

【技术实现步骤摘要】
基于单目视觉和深度学习的结构全场位移稠密测量方法、装置、设备及存储介质


[0001]本专利技术属于结构位移识别
，特别是涉及基于单目视觉和深度学习的结构全场位移稠密测量方法、装置、设备及存储介质。

技术介绍

[0002]在传统的结构振动位移监测中，一般采用接触式拉线位移传感器或全球定位系统完成对结构位移的测量。接触式拉线位移传感器的使用寿命短，服役后的维护成本高，且人工安装危险性高，在长期的结构位移监测中并不十分适用。而全球定位系统的位移监测的识别精度较低。近三十年以来，基于视频的建筑桥梁结构位移测量技术有了较多的发展。大量的视觉识别算法应用于建筑桥梁的位移测量中。这类方法主要以一个或多个摄像机拍摄的建筑或桥梁结构的视频为识别素材，通过目标追踪、目标匹配、数字图像识别等算法对结构上的目标点进行识别与追踪，最终通过坐标转换获取结构的真实位移。这类方法的主要问题在于依赖在结构上安装目标靶点，人力成本较高，且无法获取结构的密集位移。
[0003]近十年来，随着深度学习以及计算视觉算法的飞速发展，给基于视频的结构位移识别方法带来了稠密识别的可能。深度学习以基于神经元的网络结构为框架，以有监督学习、无监督学习以及强化学习作为训练方法，可以完成传统方法难以或无法完成的任务建模，比较适用于对机理不够了解、难以直接进行数学建模的任务。

技术实现思路

[0004]本专利技术为了解决现有技术的问题，提出了基于单目视觉和深度学习的结构全场位移稠密测量方法、装置、设备及存储介质。本专利技术以建筑桥梁结构的三维模型为位移信息载体，通过深度学习训练结构构件语义分割和结构姿态参数识别神经网络，完成对结构的稠密位移识别及测量。
[0005]本专利技术是通过以下技术方案实现的，本专利技术提出基于单目视觉和深度学习的结构全场位移稠密测量方法，所述方法具体包括以下步骤：
[0006]步骤一：针对单目相机拍摄的结构视频，建立建筑桥梁结构的三维网格模型，所述三维网格模型形状由结构姿态参数控制；
[0007]步骤二：将视频的每一帧图片输入训练好的结构构件语义分割模块，输出结构的构件语义分割结果；
[0008]步骤三：将步骤二中识别出的结构构件语义分割蒙版输入结构姿态参数识别模块，输出结构姿态参数；
[0009]步骤四：将结构构件姿态参数返回步骤一中建立的三维网格模型中，即可获取结构的稠密位移测量结果。
[0010]进一步地，步骤一具体为：根据结构设计图纸建立建筑桥梁结构的初始三维网格模型，在模型上设置控制截面，通过结构姿态参数控制所述截面的旋转和平移，模型中垂直
于长度方向的截面是刚体，其位置和方向由三个平移分量和三个旋转分量决定，选择结构振动的主要平移分量H和主要旋转分量R作为结构姿态参数，节点的协调器中结构姿态参数的平移分量H为高度，旋转分量R为扭转角，节点的协调器由结构振动过程中节点截面的结构姿态参数高度H和扭转角R确定，控制节点之间的其余部分通过样条插值计算。
[0011]进一步地，步骤二具体为：结构构件语义分割模块将视频每帧的像素分类为不同的结构构件，如式(1)所示：
[0012]K
t
＝UNet(I
t
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0013]式中，K是结构构件语义分割蒙版，UNet是语义分割网络，I是输入图像，下标t是视频帧的时间顺序编号；
[0014]每帧的语义分割蒙版是包含目标蒙版的三维张量，语义分割蒙版与结构构件有关，语义分割蒙版前两个维度是沿着图像的高度和宽度的像素数，第三维是目标蒙版的标签编号，每个通道是包含一个构件语义分割蒙版的二维矩阵，语义分割蒙版在高度和宽度方向上的图像分辨率相同；结构构件语义分割模块采用U
‑
net作为识别框架，训练U
‑
net模型采用监督学习的方式；将视频的若干帧进行语义分割构件标注，并使用随机弹性变形方法增强数据以构建数据集，如式(2)所示：
[0015][0016][0017]式中，x,y是原图片的像素的坐标，Δx与Δy是像素坐标的偏移，W是弹性变形函数，ti是手动标注的数据的编号，I
ti
是手动标注的图像原图，W
j
是第j次进行的弹性变形函数，j是生成的样本的编号，是通过随机弹性变形函数新生成的图像，K
t晦
是手动标注的图像的结构构件语义分割蒙版，是通过随机弹性变形函数新生成的结构构件语义分割蒙版；
[0018]然后基于该构建的数据集训练U
‑
net；
[0019]使用二进制交叉熵(BCE)损失函数来描述结构构件语义分割模块的预测值与结构构件蒙版的真实值的近似值：
[0020][0021]式中，K是结构构件语义分割蒙版，是结构构件蒙版的真实值，h和w是图像的分辨率的长和宽，L2是正则项，λ1L是正则项的权重，ω
i
是交叉熵损失函数主体项的系数，K
i
是第i个像素的预测值，l是K
i
的真实标签值。
[0022]进一步地，步骤三具体为：利用结构姿态参数识别模块建立可变形的三维网格模型及其姿态参数H和R之间的关系：
[0023]H,R＝ParaNet(K)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0024]式中，ParaNet是结构姿态参数识别网络，K是结构构件语义分割蒙版；
[0025]结构姿态参数识别模块输入结构构件的语义分割蒙版，输出是姿态参数H和R，进而通过识别出的姿态参数更新三维网格模型顶点坐标以获取结构稠密动态位移；
[0026]结构姿态参数识别模块的网络结构为：在InceptionV3网络的末尾添加了一个输
出法分支以同时输出两个结构姿态参数H和R；这两个分支分别表示为H分支和R分支；两个分支的分叉口设置在网络末端附近以确保网络有足够的空间提取高级结构特征；
[0027]在结构姿态参数识别模块中，应用均方误差(MSE)损失函数来估计结构姿态参数(H，R)的地面真实值与结构姿态参数识别模块的预测值之间的差值：
[0028][0029]式中，N
node
表示控制节点的数量，H是高度预测值，是高度真实值；L2为正则项，λ2是正则项的权重，表示第i个控制节点的高度真实值，H
晦
表示第i个控制节点的高度预测值，是扭转角真实值，R是扭转角预测值，R
晦
表示第i个控制节点的扭转角预测值，表示第i个控制节点的扭转角真实值。
[0030]进一步地，步骤四具体为：定义三维网格模型上顶点V在视频第t帧的坐标为(x,y,z)，其中y是垂直于截面的方向上的分量，z是平行于截面方向上的分量，x是在垂直于y和z的方向上的分量；首先，根据三次样条插值函数SplItp计算V的H和R：
[0031][0032]式中，y0是本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于单目视觉和深度学习的结构全场位移稠密测量方法，其特征在于：所述方法具体包括以下步骤：步骤一：针对单目相机拍摄的结构视频，建立建筑桥梁结构的三维网格模型，所述三维网格模型形状由结构姿态参数控制；步骤二：将视频的每一帧图片输入训练好的结构构件语义分割模块，输出结构的构件语义分割结果；步骤三：将步骤二中识别出的结构构件语义分割蒙版输入结构姿态参数识别模块，输出结构姿态参数；步骤四：将结构构件姿态参数返回步骤一中建立的三维网格模型中，即可获取结构的稠密位移测量结果。2.根据权利要求1所述的方法，其特征在于：步骤一具体为：根据结构设计图纸建立建筑桥梁结构的初始三维网格模型，在模型上设置控制截面，通过结构姿态参数控制所述截面的旋转和平移，模型中垂直于长度方向的截面是刚体，其位置和方向由三个平移分量和三个旋转分量决定，选择结构振动的主要平移分量H和主要旋转分量R作为结构姿态参数，节点的协调器中结构姿态参数的平移分量H为高度，旋转分量R为扭转角，节点的协调器由结构振动过程中节点截面的结构姿态参数高度H和扭转角R确定，控制节点之间的其余部分通过样条插值计算。3.根据权利要求2所述的方法，其特征在于：步骤二具体为：结构构件语义分割模块将视频每帧的像素分类为不同的结构构件，如式(1)所示：K
t
＝UNet(I
t
)
ꢀꢀꢀꢀꢀꢀꢀ
(1)式中，K是结构构件语义分割蒙版，UNet是语义分割网络，I是输入图像，下标t是视频帧的时间顺序编号；每帧的语义分割蒙版是包含目标蒙版的三维张量，语义分割蒙版与结构构件有关，语义分割蒙版前两个维度是沿着图像的高度和宽度的像素数，第三维是目标蒙版的标签编号，每个通道是包含一个构件语义分割蒙版的二维矩阵，语义分割蒙版在高度和宽度方向上的图像分辨率相同；结构构件语义分割模块采用U
‑
net作为识别框架，训练U
‑
net模型采用监督学习的方式；将视频的若干帧进行语义分割构件标注，并使用随机弹性变形方法增强数据以构建数据集，如式(2)所示：强数据以构建数据集，如式(2)所示：式中，x,y是原图片的像素的坐标，Δx与Δy是像素坐标的偏移，W是弹性变形函数，ti是手动标注的数据的编号，I
ti
是手动标注的图像原图，W
j
是第j次进行的弹性变形函数，j是生成的样本的编号，是通过随机弹性变形函数新生成的图像，K
ti
是手动标注的图像的结构构件语义分割蒙版，是通过随机弹性变形函数新生成的结构构件语义分割蒙版；然后基于该构建的数据集训练U
‑
net；使用二进制交叉熵(BCE)损失函数来描述结构构件语义分割模块的预测值与结构构件蒙版的真实值的近似值：
式中，K是结构构件语义分割蒙版，是结构构件蒙版的真实值，h和w是图像的分辨率的长和宽，L2是正则项，λ1L是正则项的权重，ω
i
是交叉熵损失函数主体项的系数，K
i
是第i个像素的预测值，l是K
i
的真实标签值。4...

【专利技术属性】
技术研发人员：李惠，赵今，徐阳，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：