基于2D图像和视频融合的地下桩基施工进度识别方法技术

本发明专利技术属于地下桩基施工进度识别相关技术领域，其公开了一种基于2D图像和视频融合的地下桩基施工进度识别方法，方法包括：对地下桩基施工现场进行2D图像拍摄，对工作区域中的机械设备信息和施工桩孔信息进行识别并标注；将拍摄的2D图像进行图像拼接获得拼接图像；在拼接图像上对工作区域进行划分，并对工地摄像头位置及视角信息进行标注；将工地摄像头中的机械设备和施工桩孔与拼接图像中的进行匹配；获取工地摄像头所拍视频中各机械设备的关键帧，进而获得各机械设备的总工作时长；基于各机械设备的工作时长以及施工桩孔的数量和位置信息获得地下桩基施工进度并在拼接图像上进行标注。本申请可以实现地下桩基施工进度的自动识别和追踪。自动识别和追踪。自动识别和追踪。

【技术实现步骤摘要】
基于2D图像和视频融合的地下桩基施工进度识别方法


[0001]本专利技术属于地下桩基施工进度识别相关
，更具体地，涉及一种基于2D图像和视频融合的地下桩基施工进度识别方法。

技术介绍

[0002]图像识别是指利用计算机对图像进行处理、分析和理解，以识别各种不同的目标和对象的技术，是应用深度学习算法的一种实践应用，其中，图像分类识别和图像分割识别可以在工程中应用，确保工地施工安全，提升工地施工效率。
[0003]而地下装机施工场地复杂，处于地下具有一定的深度，施工具有隐蔽性，传统人工统计施工进度方法主要依靠每日数据进行总结统计，在传统图纸中标记地下桩基施工进度，但这种传统人工的方法需要人工一直盯着工作现场不仅费时而且费力，因此亟需设计一种新的地下桩基施工进度识别和跟踪方法。

技术实现思路

[0004]针对现有技术的以上缺陷或改进需求，本专利技术提供了一种基于2D图像和视频融合的地下桩基施工进度识别方法，可以实现地下桩基施工进度的自动识别和追踪。
[0005]为实现上述目的，按照本专利技术的一个方面，提供了一种基于2D图像和视频融合的地下桩基施工进度识别方法，所述方法包括：S1：采用无人机对地下桩基施工现场进行2D图像拍摄，对工作区域中的机械设备信息和施工桩孔信息进行识别并标注；S2：将拍摄的2D图像进行图像拼接以获得拼接图像，也即完整的地下桩基施工现场图像；S3：在拼接图像上对图像地下桩基施工现场的工作区域进行划分，并对划分后各区域中的工地摄像头位置及视角信息进行标注；S4：将工地摄像头中的机械设备和施工桩孔与拼接图像中的机械设备和施工桩孔进行匹配；S5：获取工地摄像头所拍视频中各机械设备的起始运行帧和停止运行帧，以及施工桩孔的数量和位置信息，进而获得各机械设备的总工作时长；S6：基于各机械设备的工作时长以及施工桩孔的数量和位置信息获得地下桩基施工进度并将所述施工进度在拼接图像上进行标注。
[0006]优选地，步骤S5中采用如下方式获取起始运行帧和停止运行帧：选取机械设备变动最大的一帧作为时长记录的开始帧也即起始运行帧，直至出现长时间无变动，选取无变动前一帧作为时长记录的结束帧也即停止运行帧。
[0007]优选地，步骤S5中采用如下方式获得起始运行帧和停止运行帧：S51：对视频帧进行互信息量特征提取，选取互信息量最大的两帧进行k值聚类；S52：计算相邻两帧图像中对应像素位置变化差值，所述像素位置变化差值包括相邻两帧像素色彩差值、饱和度差值和亮度差值，得到每一帧的统计直方图后，取平均值，选取步骤S51中聚类后的视频帧中最接近平均值的帧作为该类的关键帧；S53：将得到的各类关键帧按时序进行排列，计算每两帧RGB均值矩阵之间的马氏距离，以进行帧间相似度计算，选取与前一帧帧间相似度小与后一帧帧间相似度大的一帧作为起始运行帧，选取与前一帧帧间相似度大与后一帧帧间相似度
小的一帧作为停止运行帧，记录两帧之间的时长即为工作时长。
[0008]优选地，步骤S4将工地摄像头中的机械设备和施工桩孔与拼接图像中的机械设备和施工桩孔进行匹配具体步骤为：S41：依据无人机拍摄图像属性中的经纬度和高度信息确定无人机拍摄的位置，根据无人机旋转角度和俯仰角度获得目标机械设备的位置信息；S42：结合拼接图像中标注的工地摄像头位置及视角信息确定工地摄像头角度范围内的待选施工桩孔；S43：获取工地摄像头中的制备桩孔用设备的关键帧，利用深度学习算法进行深度估计，进而确定制备桩孔用设备的位置，制备桩孔用设备的位置即为施工桩孔位置，实现工地摄像头中的机械设备和施工桩孔与拼接图像中的机械设备和施工桩孔的匹配。
[0009]优选地，步骤S2具体包括如下步骤：S21：对无人机拍摄的2D图像依次进行归一化和灰度处理；S22：基于SIFT算法自动提取图像中特征点，并对特征点进行方向计算；S23：对多张2D图像进行特征点匹配和坐标变换实现图像拼接。
[0010]优选地，步骤S22具体包括：S22a：在高斯差分金字塔制度空间内对2D图像进行极值点检测，得到全尺度下的离散极值点；并利用曲线拟合方法得到连续空间曲线，进行特征点定位；S22b：计算特征点位置的3σ邻域窗口计算像素的梯度的幅值和方向，对应幅值进行高斯系数加权计算，对方向进行统计，得到方向的统计直方图，以直方图峰值方向作为特征点主方向；S22c：将邻域图像按主方向旋转，然后进行区域划分，与S22b原理相同，求各方向的统计直方图，以直方图峰值方向作为特征点邻域方向；S22d：对特征点的描述向量归一化，然后设置阈值做阈值化处理，按照特征点的尺度对描述向量进行排序，最终得到一系列特征点。
[0011]优选地，步骤S1中对工作区域中的机械设备信息和施工桩孔信息进行识别并标注包括：采用训练完成的GoogLeNet模型对无人机拍摄的2D图像进行识别和标注。
[0012]优选地，步骤S6还包括进度比对，用于将实际进度和计划进度进行比对。
[0013]优选地，根据旋挖钻机垂直状态机臂、汽车吊和履带吊起重臂、混凝土搅拌车尾部及护筒的动作识别机械设备的变动。
[0014]按照本专利技术的另一个方面，提供了一种基于2D图像和视频融合的地下桩基施工进度识别系统，所述系统包括：识别与标注模块：用于采用无人机对地下桩基施工现场进行2D图像拍摄，对工作区域中的机械设备信息和施工桩孔信息进行识别并标注；拼接模块：用于将拍摄的2D图像进行图像拼接以获得拼接图像，也即完整的地下桩基施工现场图像；划分与标注模块：用于在拼接图像上对图像地下桩基施工现场的工作区域进行划分，并对划分后各区域中的工地摄像头位置及视角信息进行标注；匹配模块：用于将工地摄像头中的机械设备和施工桩孔与拼接图像中的机械设备和施工桩孔进行匹配；计算模块：用于获取工地摄像头所拍视频中各机械设备的起始运行帧和停止运行帧，以及施工桩孔的数量和位置信息，进而获得各机械设备的总工作时长；标注模块：用于基于各机械设备的工作时长以及施工桩孔的数量和位置信息获得地下桩基施工进度并将所述施工进度在拼接图像上进行标注。
[0015]总体而言，通过本专利技术所构思的以上技术方案与现有技术相比，本专利技术提供的基于2D和视频融合的地下桩基施工进度识别方法具有如下有益效果：
[0016]1.基于无人机航拍2D图像和视频图像的融合将视频中机械设备和桩孔信息与图像中的进行匹配，进而可以通过视频中的关键帧数据判断机械设备的运动时长，通过运动
时长判断施工进度，进而实现在2D拼接图像中的标注。
[0017]2.采用关键帧的形式判断机械设备的作动与否进行判断机械设备的运动时长，而关键帧采用像素级表征的统计直方图进行确定，进一步通过RGB均值矩阵进行相似度计算获得关键帧中的起始运行帧和停止运行帧，进而根据起始运行帧和停止运行帧的差值来获得运行时长，精度高，统计完备。
[0018]3.通过识别中视频中设备的关键帧并基于深度学习算法实现桩孔位置确定，进一步基于视频拍摄用工地摄像头在拼接图像中的位置和视角信息实现工地摄像头中的机械设本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于2D图像和视频融合的地下桩基施工进度识别方法，其特征在于，所述方法包括：S1：采用无人机对地下桩基施工现场进行2D图像拍摄，对工作区域中的机械设备信息和施工桩孔信息进行识别并标注；S2：将拍摄的2D图像进行图像拼接以获得拼接图像，也即完整的地下桩基施工现场图像；S3：在拼接图像上对图像地下桩基施工现场的工作区域进行划分，并对划分后各区域中的工地摄像头位置及视角信息进行标注；S4：将工地摄像头中的机械设备和施工桩孔与拼接图像中的机械设备和施工桩孔进行匹配；S5：获取工地摄像头所拍视频中各机械设备的起始运行帧和停止运行帧，以及施工桩孔的数量和位置信息，进而获得各机械设备的总工作时长；S6：基于各机械设备的工作时长以及施工桩孔的数量和位置信息获得地下桩基施工进度并将所述施工进度在拼接图像上进行标注。2.根据权利要求1所述的方法，其特征在于，步骤S5中采用如下方式获取起始运行帧和停止运行帧：选取机械设备变动最大的一帧作为时长记录的开始帧也即起始运行帧，直至出现长时间无变动，选取无变动前一帧作为时长记录的结束帧也即停止运行帧。3.根据权利要求1所述的方法，其特征在于，步骤S5中采用如下方式获得起始运行帧和停止运行帧：S51：对视频帧进行互信息量特征提取，选取互信息量最大的两帧进行k值聚类；S52：计算相邻两帧图像中对应像素位置变化差值，所述像素位置变化差值包括相邻两帧像素色彩差值、饱和度差值和亮度差值，得到每一帧的统计直方图后，取平均值，选取步骤S51中聚类后的视频帧中最接近平均值的帧作为该类的关键帧；S53：将得到的各类关键帧按时序进行排列，计算每两帧RGB均值矩阵之间的马氏距离，以进行帧间相似度计算，选取与前一帧帧间相似度小与后一帧帧间相似度大的一帧作为起始运行帧，选取与前一帧帧间相似度大与后一帧帧间相似度小的一帧作为停止运行帧，记录两帧之间的时长即为工作时长。4.根据权利要求1或3所述的方法，其特征在于，步骤S4将工地摄像头中的机械设备和施工桩孔与拼接图像中的机械设备和施工桩孔进行匹配具体步骤为：S41：依据无人机拍摄图像属性中的经纬度和高度信息确定无人机拍摄的位置，根据无人机旋转角度和俯仰角度获得目标机械设备的位置信息；S42：结合拼接图像中标注的工地摄像头位置及视角信息确定工地摄像头角度范围内的待选施工桩孔；S43：获取工地摄像头中的制备桩孔用设备的关键帧，利用深度学习算法进行深度估计，进而确定制备桩孔用设备的位置，制备桩孔用设备的位置即为施工桩孔位置，实现工地摄像头中的机械设备和施工桩孔与拼...

【专利技术属性】
技术研发人员：周诚，李浩然，游正军，范斌，彭瑜，胡占东，王琛，覃文波，高玉月，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：