基于Yolov5和Drools的管道病害识别方法技术

本发明专利技术为一种基于Yolov5和Drools的管道病害识别方法，包括：利用Flask框架部署深度学习模型，上传管道图像或视频，对管道视频进行关键帧提取；基于Yolov5模型对管道图像或视频的关键帧进行检测，输出检测结果图像以及病害信息，提取病害属性；通过JPype库引入Drools规则引擎模块，将管道病害属性传入并封装成实体对象，进而执行规则推理，与基于行业标准制定的DRL规则进行匹配，推理得到管道修复建议表；局部刷新管道病害修复建议表，整合管道病害属性和修复建议。本发明专利技术通过结合深度学习和规则引擎，实现管道病害识别、等级判断和修复建议生成一体化，节省人力成本并提高管道病害检测效率。效率。效率。

【技术实现步骤摘要】
基于Yolov5和Drools的管道病害识别方法


[0001]本专利技术公开了一种结合Yolov5和Drools的管道病害识别方法，涉及深度学习和规则推理领域。

技术介绍

[0002]随着中国经济发展，城镇化普及，城镇排水管道网作为重要的基础设施得到了较大的发展。城镇排水管道长度里程不断增长，维护成本也大大提高，如果忽视城镇排水管道的维护，会直接影响人们的日常生活，影响建筑结构的稳定性和安全性、导致房屋潮湿、城市内涝、资源浪费和经济损失。
[0003]传统的城镇排水管道检测与评估方法存在一定的局限性，例如专业技术人员进入管道进行人工检测并记录城镇排水管道病害类型和程度以及给出管道修复建议，或使用机器进入管道拍摄图像或视频然后通过专业技术人员进行分析和评估，以上方法都需要大量的专业技术人员的参与和时间成本的投入，并存在一定的安全隐患以及不便性。随着机器学习算法的日趋成熟，使用大量的城镇排水管道图像数据集训练而成的深度学习模型可以判断出管道病害类别，但是无法判断病害严重程度并直接给出修复建议。

技术实现思路

[0004]针对上述技术问题，专利技术旨在提供一种基于Yolov5和Drools的管道病害识别方法，有效地结合深度学习模型和规则引擎，从而实现管道病害识别和规则推理功能的一体化，提高管道检测与评估流程的便利性。
[0005]本专利技术采取的技术方案如下。
[0006]一种基于Yolov5和Drools的管道病害识别方法，包括如下步骤：步骤一、利用Flask框架部署深度学习模型，上传管道图像或管道视频文件，对管道视频进行关键帧提取；步骤二、基于Yolov5深度学习模型对管道图像或管道视频的关键帧进行检测，输出检测结果图像以及病害信息，从所述管道病害信息中提取管道病害属性；步骤三、通过JPype库引入Drools规则引擎模块，将所述管道病害属性传入所述Drools规则引擎模块并封装成实体对象，对实体对象执行规则推理，与基于行业标准制定的DRL规则进行匹配，推理得到管道病害修复建议表；步骤四、局部更新管道病害修复建议表，整合管道病害属性和修复建议作为管道标签节点存入Neo4j数据库从而进行可视化。
[0007]进一步的，所述步骤一中上传管道图像或管道视频文件具体为：获取所述管道图像或管道视频文件的后缀，根据文件后缀对文件类型进行分类，如果文件后缀为avi、wmv、mpeg、mp4、m4v、mov、asf、flv、f4v、rmvb、rm、3gp、vob，则作为视频文件保存；如果文件后缀为bmp、jpg、jpeg、png、tif、pcx、tga、exif、fpx、svg、psd、cdr、pcd、dxf、ufo、eps、ai、raw、WMF、webp、avif、apng，则作为图像文件保存。
[0008]进一步的，所述对管道视频进行关键帧提取具体包括：提取视频的所有帧，进行灰度化和高斯模糊处理，将依次经过灰度化和高斯模糊处理的当前帧和上一帧进行图像差分运算得到帧差，遍历视频所有帧后得到帧差数组，利用多项式函数拟合帧差数组，通过设置归一化阈值和最小间距找出所述多项式函数极值点，即视频的关键帧以及位置。
[0009]进一步的，所述步骤二中包括：将所述Yolov5深度学习模型中的detect.py文件封装成函数，调用该函数对原始管道图像或管道视频的关键帧进行检测，输出检测结果图像和管道病害信息，在检测结果图像中，通过边界框标识病害所在位置并给出病害类型和置信度；其中，所述管道病害信息包含管道病害类别的标号、边界框中心点坐标与宽高、原始图像大小和检测结果置信度。
[0010]进一步的，所述步骤三中包括：建立一个设定名称的实体类，设置所述实体类的参数，所述参数包括deformArea变形面积、diameter直径、disjointDistance脱节距离、ruptureArea破裂面积、gradeXX病害等级、E管道重要性参数、K地区重要性参数、T土质影响参数、Arclength弧长、lateralDeviofNozzle 管口横向偏差距离、scoreXX病害分值、thicknessOfTubewall管壁厚度、s管段结构性病害参数、f管段损坏状况参数、ri修复指数、damage_status_description损坏状态描述和repair_advice修复建议属性；将Drools规则引擎模块及其依赖打包成jar文件，通过所述JPype库提供的函数引入规则推理功能，将所述管道病害属性传入规则引擎模块中并封装成一个Pipe类型的实体对象，并结合基于行业标准制定的DRL规则，执行Drools规则引擎，推理得到管道病害的修复建议，建立管道病害修复建议表。
[0011]进一步的，所述行业标准制定的DRL规则具体包括：根据行业标准文件，按照病害名称、代码、等级划分及分值表、管段结构性病害参数计算公式、管段损坏状况参数计算公式、地区重要性参数K表、管道重要性参数E表、土质影响参数T表、管段修复指数计算公式、管段修复等级划分表制定DRL规则。
[0012]进一步的，所述步骤四中包括：使用Ajax交互方式实现管道修复建议表的局部刷新，所述修复建议表中包含：病害等级和分值、管道重要性参数E、地区重要性参数K、土质影响参数T、管段损坏状况参数、管段结构性病害参数、管段修复指数、损坏状况描述和修复建议；将管道领域本体模型OWL文件转化为turtle文件，导入至Neo4j图形数据库，建立web页面与Neo4j图形数据库的连接，将管道病害属性和修复建议整合成一个节点，所述节点以所述设定名称为标签，并存入Neo4j数据库，Echarts模块实现可视化。
[0013]有益效果：本专利技术实施例提供了一种结合Yolov5和Drools的管道病害识别方法，可以有效地结合深度学习模型和规则引擎，将管道病害识别、严重程度评估和修复建议生成融为一体，使城镇排水管道检测与评估的便利性得到改善。
附图说明
[0014]图1是本专利技术实施例的结合Yolov5和Drools的管道病害识别方法的流程图；
图2是本专利技术实施例的视频关键帧提取流程图；图3是本专利技术实施例的规则引擎模块引入Flask项目的流程图；图4是本专利技术实施例的系统架构图。
实施方式
[0015]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0016]如图1所示，一种基于Yolov5和Drools的管道病害识别方法的具体步骤如下：步骤1、利用Flask框架部署深度学习模型，上传管道图像或视频，对管道视频进行关键帧提取；步骤1.1、创建Flask项目；步骤1.2、部署Yolov5深度学习模型；步骤1.3、上传文件类型判断及视频关键帧提取；步骤2、基于Yolov5深度学习模型对管道本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于Yolov5和Drools的管道病害识别方法，其特征在于，包括如下步骤：步骤一、利用Flask框架部署深度学习模型，上传管道图像或管道视频文件，对管道视频进行关键帧提取；步骤二、基于Yolov5深度学习模型对管道图像或管道视频的关键帧进行检测，输出检测结果图像以及病害信息，从所述管道病害信息中提取管道病害属性；步骤三、通过JPype库引入Drools规则引擎模块，将所述管道病害属性传入所述Drools规则引擎模块并封装成实体对象，对实体对象执行规则推理，与基于行业标准制定的DRL规则进行匹配，推理得到管道病害修复建议表；步骤四、局部更新管道病害修复建议表，整合管道病害属性和修复建议作为管道标签节点存入Neo4j数据库从而进行可视化。2.根据权利要求1所述的一种基于Yolov5和Drools的管道病害识别方法，其特征在于，所述步骤一中上传管道图像或管道视频文件具体为：获取所述管道图像或管道视频文件的后缀，根据文件后缀对文件类型进行分类，如果文件后缀为avi、wmv、mpeg、mp4、m4v、mov、asf、flv、f4v、rmvb、rm、3gp、vob，则作为视频文件保存；如果文件后缀为bmp、jpg、jpeg、png、tif、pcx、tga、exif、fpx、svg、psd、cdr、pcd、dxf、ufo、eps、ai、raw、WMF、webp、avif、apng，则作为图像文件保存。3.根据权利要求1或2所述的一种基于Yolov5和Drools的管道病害识别方法，其特征在于，所述对管道视频进行关键帧提取具体包括：提取视频的所有帧，进行灰度化和高斯模糊处理，将依次经过灰度化和高斯模糊处理的当前帧和上一帧进行图像差分运算得到帧差，遍历视频所有帧后得到帧差数组，利用多项式函数拟合帧差数组，通过设置归一化阈值和最小间距找出所述多项式函数极值点，即视频的关键帧以及位置。4.根据权利要求1所述的一种基于Yolov5和Drools的管道病害识别方法，其特征在于，所述步骤二中包括：将所述Yolov5深度学习模型中的detect.py文件封装成函数，调用该函数对原始管道图像或管道视频的关键帧进行检测，输出检测结果图像和管道病害信息，在检测结果图像中，通过边界框标识病害所在位置并给出病害类型和置信度；其中，所述管道病害信息包含管道病害类别的标号、...

【专利技术属性】
技术研发人员：邹越超，王铁鑫，钱申鹏，梅饶高，蒋相成，徐益琳，
申请(专利权)人：南京德奈特系统科技有限责任公司，
类型：发明
国别省市：