一种基于图像处理的钢筋尺寸测量方法及系统技术方案

本公开提出了一种基于图像处理的钢筋尺寸测量方法及系统，包括：数据采集模块、通讯模块及远程综合监控模块，所述数据采集模块通过执行巡检任务采集钢筋图像并通过通讯模块传输至远程综合监控模块；所述远程综合监控模块被配置为：利用深度学习框架在原图像中提取钢筋；根据深度学习框架输出的不同钢筋目标框的坐标信息，区分图像中多个钢筋目标，分别对钢筋双侧边缘检测和直线检测，获得钢筋直径；基于深度学习框架输出的掩膜对图像骨架提取，然后对钢筋直线拟合，通过相邻直线计算，进行钢筋间距测量。

【技术实现步骤摘要】
一种基于图像处理的钢筋尺寸测量方法及系统
本公开属于图像处理
，尤其涉及一种基于图像处理的钢筋尺寸测量方法及系统。
技术介绍
本部分的陈述仅仅是提供了与本公开相关的
技术介绍
信息，不必然构成在先技术。传统工程监理采用人工监理方式，主要存在效率低、成本高、安全系数低等缺点，首先监理工程师每日监理范围有限，单纯依赖人工，效率低，尚不满足工程监理的需求。目前对于钢筋尺寸的测量虽然利用了相关的图像处理技术，引入图像处理与人工智能，在实际施工现场中，绑扎钢筋分布密集、数量繁多、走线复杂、背景复杂、特征不明显等原因导致其检测识别效果较差，无法满足对施工内容的检测要求。另外，现有的专利中钢筋尺寸需要激光测距等设备协助使用，默认钢筋目标位置已知且固定，但是实际的工程现场中钢筋目标位置并不确定。
技术实现思路
为克服上述现有技术的不足，本公开提供了一种基于图像处理的钢筋尺寸测量方法，通过远距离无接触式巡检作业，降低监理工程师的工作危险，扩大有效巡检范围，大幅度提高工程监理工作效率。为实现上述目的，本公开的一个或多个实施例提供了如下技术方案：第一方面，公开了一种基于图像处理的钢筋尺寸测量系统，包括：数据采集模块、通讯模块及远程综合监控模块，所述数据采集模块通过通讯模块与远程综合监控模块进行数据传输；所述数据采集模块通过执行巡检任务采集钢筋图像并传输至远程综合监控模块；所述远程综合监控模块被配置为：利用深度学习框架在原图像中提取钢筋；根据深度学习框架输出的不同钢筋目标框的坐标信息，区分图像中多个钢筋目标，分别对钢筋双侧边缘检测和直线检测，获得钢筋直径；基于深度学习框架输出的掩膜对图像骨架提取，然后对钢筋直线拟合，通过相邻直线计算，进行钢筋间距测量。第二方面，公开了一种基于图像处理的钢筋尺寸测量方法，包括：通过执行巡检任务采集钢筋图像并传输至远程综合监控模块；利用深度学习框架在原图像中提取钢筋；根据深度学习框架输出的不同钢筋目标框的坐标信息，区分图像中多个钢筋目标，分别对钢筋双侧边缘检测和直线检测，获得钢筋直径；基于深度学习框架输出的掩膜对图像骨架提取，然后对钢筋直线拟合，通过相邻直线计算，进行钢筋间距测量。进一步的技术方案，所述网络框架对输入的图像进行处理，包括利用双线性插值进行像素对齐，提取钢筋图像，之后分割同一张图像中不同钢筋目标。进一步的技术方案，对钢筋双侧边缘检测时，通过图像处理消除螺纹干扰，获得边缘信息。进一步的技术方案，采用邻近直线融合进行钢筋直线检测，包括：获取检测到的全部直线极坐标；判断所有直线分类，包括钢筋左侧拟合直线及钢筋右侧拟合直线；对于同侧直线，分别求取极坐标半径及角度平均值，计算钢筋单边直线平均极坐标，得到钢筋边缘拟合直线；通过双边直线极坐标，得到图像坐标中钢筋直径。进一步的技术方案，将相同方向分布的钢筋掩膜细化进行图像骨架提取。进一步的技术方案，利用最小二乘法拟合钢筋骨架，通过相邻直线的距离与钢筋直径差值，完成钢筋间距测量；遍历和计算图像内全部直线间距，获取直线上点到其他直线垂直距离的平均值，作为钢筋间距测量值。进一步的技术方案，将获得的钢筋直径及间距基于辅助标志进行尺寸转化，获得钢筋尺寸真实数值：选用标志的编码ID，将钢筋检测的像素值转换为实际尺寸，通过钢筋直径与间距的尺寸输出数值。以上一个或多个技术方案存在以下有益效果：本公开技术方案利用无人机进行现场巡检，结合传统图像处理和深度学习技术对无人机回传的图像进行钢筋检测和尺寸测量，根据工程监理规范要求和验收标准，比对和分析测量数据，得到钢筋尺寸测量结果，为工程监理验收提供有效的决策信息。本方案可以进行实时有效巡检，操作简单，方便监理人员使用，不仅可以应用于楼层验收钢筋尺寸及间距的项目中，同时可在施工过程中代替监理人员进行日常巡检，能在施工人员规范作业方面提供有力监督手段，有效提高监理人员工作效率。本公开技术方案图像算法能够有效提取图片特征，提取识别并检测目标，因此采用无人机搭载可见光设备采集施工现场影像数据，通过图像处理算法提取钢筋，并测量钢筋尺寸，能够提高验收流程效率，实现历史数据存档，保障数据可追溯，使得监理报告制度更为完善，进一步提高工程监理信息化水平，规范监理数字化管理，为工程监理钢筋尺寸验收提供依据。本公开技术方案采用深度学习框架实现复杂背景下的钢筋目标检测与分割，结合本文对钢筋直径与间距测量的需求，选用MaskR-CNN网络，该网络通过RoIAlign层改进实现目标掩膜与实际目标像素对齐，针对网络框架计算浮点数速率慢的缺点，利用移位计算代替乘法运算，提高算法速度。本公开技术方案利用改进的Canny边缘检测算法和Hough变换直线检测实现对钢筋双边拟合，实现钢筋直径测量。针对背景干扰较多和颜色相近的特点，对比和分析不同图像预处理算法，结合颜色空间变换与形态学处理，在边缘检测中实现较好的提取效果，针对直线检测中的问题，提出邻近直线融合完成直径检测。本公开技术方案对钢筋目标实现骨架提取及直线拟合，实现相邻钢筋间距测量。通过迭代算法实现骨架提取，最小二乘法拟合骨架直线，改进垂直钢筋直线拟合算法，用于计算钢筋间距，最后采用辅助标志的方法，实现检测结果的像素与实际尺寸的转换。本公开技术方案只采用图像处理技术，首先应检测钢筋，对钢筋进行识别与提取，确定钢筋位置，再进行后续测量。本专利技术附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。附图说明构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。图1为本公开实施例系统硬件结构图；图2为本公开实施例系统整体工作流程图；图3为本公开实施例测量算法流程图；图4为本公开实施例MaskR-CNN结构示意图；图5为本公开实施例双线性插值坐标图；图6为本公开实施例双线性插值法示意图；图7(a)-图7(b)为本公开实施例钢筋目标分割效果图；图8(a)-图8(b)为本公开实施例目标掩膜提取效果及多根钢筋掩膜分离效果图；图9为本公开实施例改进边缘检测算法流程图；图10(a)-图10(b)为本公开实施例边缘检测效果对比图；图11(a)-图11(b)为本公开实施例不同方向钢筋图像示意图；图12(a)-图12(b)为本公开实施例连续掩膜细化结果及不连续掩膜细化结果图；图13为本公开实施例相同方向钢筋目标细化效果图；图14为本公开实施例一般式直线拟合图；图15为本公开实施例钢筋骨架提取直线拟合图；图16为本公开实施例Tag36h11系列编码标志图；图17为本公开实施例钢筋尺寸测量上位机界面图。...

【技术保护点】
1.一种基于图像处理的钢筋尺寸测量系统，该系统将无人机应用于工程监理中，其特征是，包括：/n数据采集模块、通讯模块及远程综合监控模块，所述数据采集模块通过执行巡检任务采集钢筋图像并通过通讯模块传输至远程综合监控模块；/n所述远程综合监控模块被配置为：/n利用深度学习框架在原图像中提取钢筋；/n根据深度学习框架输出的不同钢筋目标框的坐标信息，区分图像中多个钢筋目标，分别对钢筋双侧边缘检测和直线检测，获得钢筋直径；/n基于深度学习框架输出的掩膜对图像骨架提取，然后对钢筋直线拟合，通过相邻直线计算，进行钢筋间距测量。/n

【技术特征摘要】
1.一种基于图像处理的钢筋尺寸测量系统，该系统将无人机应用于工程监理中，其特征是，包括：
数据采集模块、通讯模块及远程综合监控模块，所述数据采集模块通过执行巡检任务采集钢筋图像并通过通讯模块传输至远程综合监控模块；
所述远程综合监控模块被配置为：
利用深度学习框架在原图像中提取钢筋；
根据深度学习框架输出的不同钢筋目标框的坐标信息，区分图像中多个钢筋目标，分别对钢筋双侧边缘检测和直线检测，获得钢筋直径；
基于深度学习框架输出的掩膜对图像骨架提取，然后对钢筋直线拟合，通过相邻直线计算，进行钢筋间距测量。


2.如权利要求1所述的一种基于图像处理的钢筋尺寸测量系统，其特征是，所述数据采集模块包括无人机及设置在无人机上的云台相机及传感器，所述云台相机获取图像并通过图像发送模块发至远程综合监控模块，所述传感器将无人机所处的位置通过数据发送模块发送至远程综合监控模块。


3.如权利要求1所述的一种基于图像处理的钢筋尺寸测量系统，其特征是，所述远程综合监控模块包括PC机，所述PC机通过图像接收模块及数据接收模块接收所述数据采集模块发送的数据。


4.一种基于图像处理的钢筋尺寸测量方法，其特征是，包括：
通过执行巡检任务采集钢筋图像并传输至远程综合监控模块；
利用深度学习框架在原图像中提取钢筋；
根据深度学习框架输出的不同钢筋目标框的坐标信息，区分图像中多个钢筋目标，分别对钢筋双侧边缘检测和直线检测，获得钢筋直径；
基于深度学习框架输出的掩膜对图像骨架提取，然后对钢筋直线拟合，通过相邻直线计算，进行钢筋间...

【专利技术属性】
技术研发人员：马晓静，杜延丽，孙文旭，闫天冉，马思乐，贾磊，栾义忠，陈纪旸，姜向远，
申请(专利权)人：山东大学，
类型：发明
国别省市：山东;37