一种基于计算机视觉和深度学习的楼面缺陷自动检测方法技术

本发明专利技术公开了一种基于计算机视觉和深度学习的楼面缺陷自动检测方法，包括：在检测前，先利用已有楼面缺陷图像制作样本，并依据迁移学习理论进行楼面缺陷检测模型的训练；检测流程是首先依据传统图像处理对楼面图像墙体区域进行分割提取；然后对楼面图像的墙体区域分块，应用模型对每一子块进行检测，可以采用并行处理的方式加速；接着对子块检测结果进行整合与转换，标注出缺陷在原始图像上的位置；最后对检测结果进行修正，并制作新样本用于模型的再次训练，以提升模型的检测性能；本发明专利技术解决了现有技术中楼面图像缺陷检测的速度与精度难以兼得，且检测算法适应能力不强，检测效果易受照片拍摄环境影响的难题。

An Automatic Floor Defect Detection Method Based on Computer Vision and Deep Learning

The invention discloses an automatic floor defect detection method based on computer vision and in-depth learning, which includes: before detection, samples are made from existing floor defect images, and floor defect detection model is trained according to transfer learning theory; detection process is to segment and extract wall area of floor image according to traditional image processing; and then floor map is extracted. The image wall area is divided into blocks, and each sub-block is detected by the model, which can be accelerated by parallel processing; then the sub-block detection results are integrated and transformed to mark the position of the defect on the original image; finally, the detection results are corrected, and a new sample is made for the re-training of the model to improve the detection performance of the model; the present invention solves the existing problems. In the technology, the speed and accuracy of defect detection of floor image are difficult to obtain, and the detection algorithm is not adaptable, and the detection effect is vulnerable to the environmental impact of photography.

【技术实现步骤摘要】
一种基于计算机视觉和深度学习的楼面缺陷自动检测方法
本专利技术属于缺陷检测技术，尤其涉及一种基于计算机视觉和深度学习的楼体外表面缺陷自动检测方法。
技术介绍
建筑物外墙瓷砖的松动脱落或裂缝存在着重大的安全隐患，定期进行墙面异常检测、对建筑物安全的监测和保证有着重要意义。计算机视觉以摄像机获取图像为工具，以图像处理、图像分析、模式识别、人工智能等技术为依托，无需接触特定对象便可从获取的图像中得到大量信息，通过对这些数据分析得到表面缺陷、物体尺寸等具体信息，特别适用于墙地砖等产品的表面缺陷、几何尺寸等检测，进而实现质量的综合评价。目前国内外有很多基于计算机视觉技术针对表面缺陷检测问题进行的研究，外墙表面缺陷检测即可以视为其中的一种。近年来，基于计算机视觉的目标检测技术得到迅速发展，大多数主要依靠传统图像处理手段。根据提取的特征和识别算法，可以将表面缺陷检测技术分为3类：统计法、频谱法和模型法。在统计法中，灰度值的空间分布可以由灰度共生矩阵、自相关系数、数学形态学、直方图统计特征和分形体等特征描述。在频谱法中，表面缺陷的特征可以由傅里叶特征、小波特征、Gabor特征来描述。在模型法中，表面本文档来自技高网...

【技术保护点】
1.一种基于计算机视觉和深度学习的楼面缺陷自动检测方法，其特征在于步骤如下：一.模型预训练对SSD模型进行预训练，得到模型初始化参数；二.制作标注样本首先对楼面图像进行缺陷位置及种类的标注；然后依据SSD模型的输入尺寸，以缺陷为中心将原图裁剪成小图像块，同时应用数据扩增技术增加其数量，将其作为该模型的训练和验证样本集；三.模型迁移学习使预训练好的SSD模型在上述样本集上进行迁移学习，得到用于墙面缺陷检测的模型；四.楼面图像的墙体区域提取对新拍摄的楼面图像I进行墙体与非墙体的区域分割，得到墙体掩膜I_Mask；五.楼面图像墙体区域分块对楼面图像I进行重叠式分块，依据掩膜对分块进行筛选，舍弃处于非...

【技术特征摘要】
1.一种基于计算机视觉和深度学习的楼面缺陷自动检测方法，其特征在于步骤如下：一.模型预训练对SSD模型进行预训练，得到模型初始化参数；二.制作标注样本首先对楼面图像进行缺陷位置及种类的标注；然后依据SSD模型的输入尺寸，以缺陷为中心将原图裁剪成小图像块，同时应用数据扩增技术增加其数量，将其作为该模型的训练和验证样本集；三.模型迁移学习使预训练好的SSD模型在上述样本集上进行迁移学习，得到用于墙面缺陷检测的模型；四.楼面图像的墙体区域提取对新拍摄的楼面图像I进行墙体与非墙体的区域分割，得到墙体掩膜I_Mask；五.楼面图像墙体区域分块对楼面图像I进行重叠式分块，依据掩膜对分块进行筛选，舍弃处于非墙体区域的分块，得到待检测分块集I_Sub六.对分块进行缺陷检测应用训练好的SSD对I_Sub中的各分块进行检测，得到每个分块中缺陷的种类以及位置；七.分块检测结果整合将上述分块检测结果进行拼接整合，直接将缺陷的种类与位置对应到原始大图I上；八.修正检测结果并制作新样本进一步优化模型去掉不包含缺陷的检测框，修正包含缺陷的检测框，修正方式为重新调整检测框大小，使其为缺陷的最小外接矩形。2.根据权利要求1所述的方法，其特征在于制作标注样本具体步骤如下：初始样本集的制作是需要对楼面图像进行缺陷位置及种类的标注，要求标注框为缺陷的最小外接矩形，得到初始标注框(xi，yi，wi，hi)，其中xi、yi分别为初始标注框的左上角点的横轴和纵轴坐标，wi、hi分别为初始标注框的宽度和高度；修正初始标注框，为缺陷主动保留背景；设修正后的标注框为(xc，yc，wc，hc)修正依据如下公式，其中a∈(0.2，0.5)为扩展参数：wc＝wi*(1+a)hc＝hi*(1+a)xc＝xi-0.5*wc*ayc＝yi-0.5*hc*a然后以缺陷标注框为中心剪切宽为wssd，高为hssd的小图像块作为训练和测试样本，并应用数据扩增技术增加样本的数量，最终得到用于训练和验证的样本集；其中wssd和hssd分别为SSD模型输入图像尺寸的宽和高，而数据扩增采用的是随机剪裁；设剪裁框为(xcrop，ycrop，wcr...

【专利技术属性】
技术研发人员：孙光民，陈佳阳，白云鹍，关世奎，李煜，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：北京,11