基于多模态大模型的市政雨水篦子异常状态智能检测方法技术

本申请涉及一种基于多模态大模型的市政雨水篦子异常状态智能检测方法及装置，本方法包括：多源异构数据采集，集成移动终端、无人机及固定摄像头获取可见光、近红外及激光点云数据；多模态特征融合，采用跨模态Transformer架构与温度系数τ=0.05的对比损失函数实现多模态特征对齐；动态分级决策，构建包含结构、功能、环境、成本及紧急性的动态评分模型，结合时序特征矩阵进行异常分级；结构化输出，最终通过领域专用DSL模板生成JSON/XML双格式工单，并联动知识图谱实现数据闭环更新。本发明专利技术通过多模态数据感知与深度语义理解、细粒度量化分析、边缘智能部署，实现了城市排水设施异常状态的自动化识别、快速响应、高精度检测、精准化分类与标准化描述。

【技术实现步骤摘要】

本申请属于排水设施检测，特别涉及一种基于多模态大模型的市政雨水篦子异常状态智能检测方法及检测装置。

技术介绍

1、一、市政雨水篦子的现状及问题

2、据住建部2022年统计，我国城市雨水篦子总量超过2.4亿个，年均破损率约为6.7%。雨水篦子破损等异常状态直接导致的城市道路事故每年达3700余起，严重影响城市交通安全和市政设施的正常运行。

3、二、现有检测手段的不足

4、当前采用的雨水篦子检测方案主要包括人工巡检和传统计算机视觉（cv）技术，但这些手段存在明显缺陷，具体如下：

5、

6、三、现有技术的具体缺陷

7、（1）感知层缺陷

8、光学传感器在积水反光场景下误检率高达65%，难以准确感知雨水篦子的实际状态。

9、激光雷达对金属格栅结构的穿透率可达80%，导致点云数据大量缺失，无法完整获取雨水篦子的结构信息。

10、（2）分析层瓶颈

11、传统深度学习模型（如resnet50）在细粒度分类任务中平均精度值（map）不足0.72，难以精准识本文档来自技高网...

【技术保护点】

1.一种基于多模态大模型的市政雨水篦子异常状态智能检测方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述多源异构数据采集，包括：

3.根据权利要求1所述的方法，其特征在于，所述多模态特征融合，包括：

4.根据权利要求1所述的方法，其特征在于，所述动态分级决策，包括：

5.根据权利要求1所述的方法，其特征在于，所述结构化输出，包括：

6.一种基于多模态大模型的市政雨水篦子异常状态智能检测装置，其特征在于，所述装置包括：

7.根据权利要求6所述的装置，其特征在于，所述多源异构数据采集模块，包...

【技术特征摘要】

1.一种基于多模态大模型的市政雨水篦子异常状态智能检测方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述多源异构数据采集，包括：

3.根据权利要求1所述的方法，其特征在于，所述多模态特征融合，包括：

4.根据权利要求1所述的方法，其特征在于，所述动态分级决策，包括：

5.根据权利要求1所述的方法，其特征在于，所述结构化输出，包括：

6.一种基于多模态大模型的市政雨水篦子异常状态智能检...

【专利技术属性】
技术研发人员：方攀，陈占龙，马建威，赵冲，张雅丽，杨飞，
申请(专利权)人：中电云计算技术有限公司，
类型：发明
国别省市：