一种基于多模态数据源的河湖乱建识别方法技术

本申请公开了一种基于多模态数据源的河湖乱建识别方法，包括：根据批准的审批文件，通过RAG和LLM技术自动提取建筑文本信息，将建筑物绘制到地图上，生成建筑矢量信息并构建审批建筑矢量库；通过获取遥感影像，对遥感影像数据预处理，采用语义分割神经网络UNet模型实现建筑物的分割提取；对正射影像进行数据预处理，采用MaskDINO模型对预处理后的正射影像进行建筑物分割处理；筛选水域管理线内的建筑物识别结果，结合审批建筑矢量库，判断新增建筑是否审批、是否违规扩建；通过web系统将同一河湖空间下不同时间的建筑识别结果进行对比展示，获取新增建筑的轮廓并通过不同颜色展示新增建筑是否审批和是否违规扩建。本申请提出的方法能更加准确的判断违建信息。

【技术实现步骤摘要】

本申请涉及图像识别，尤其涉及一种基于多模态数据源的河湖乱建识别方法。

技术介绍

1、传统的河湖乱建问题的监管方法主要依赖于人工现场巡查以及人工从大量的影像资料中搜索分析河湖乱建问题，取证难度大，需要大量的人力资源，效率底，发现问题不及时。

2、为了能从海量数据中高效、准确的发现河湖乱建问题，常见的做法是通过图像识别技术，对遥感影像进行识别，发现疑似河湖乱建问题，虽然可以替代部分人工工作，但是遥感数据源数据单一，无法准确反映沿河建筑是否审批过、审批的面积和建设的面积是否一致、沿河建筑建设时间的问题，还是需要大量的人工复核和搜索证据链的工作量来确认。

技术实现思路

1、基于此，本申请为解决现有技术无法准确反映沿河建筑是否审批过、审批的面积和建设的面积是否一致、沿河建筑建设时间的问题，提供了一种基于多模态数据源的河湖乱建识别方法。

2、本申请提供了一种基于多模态数据源的河湖乱建识别方法，包括：

3、根据批准的审批文件，rag和llm技术自动提取建筑文本信息，基于所述建筑文本信息，本文档来自技高网...

【技术保护点】

1.一种基于多模态数据源的河湖乱建识别方法，其特征在于，包括：

2.根据权利要求1所述的一种基于多模态数据源的河湖乱建识别方法，其特征在于：所述建筑文本信息的提取包括，

3.根据权利要求2所述的一种基于多模态数据源的河湖乱建识别方法，其特征在于：所述建筑矢量信息的获取包括，

4.根据权利要求3所述的一种基于多模态数据源的河湖乱建识别方法，其特征在于：对遥感影像数据预处理和建筑物分割提取的操作包括，

5.根据权利要求1或4所述的一种基于多模态数据源的河湖乱建识别方法，其特征在于：对正射影像数据预处理和建筑物分割提取的操作包括，

6...

【技术特征摘要】

1.一种基于多模态数据源的河湖乱建识别方法，其特征在于，包括：

2.根据权利要求1所述的一种基于多模态数据源的河湖乱建识别方法，其特征在于：所述建筑文本信息的提取包括，

3.根据权利要求2所述的一种基于多模态数据源的河湖乱建识别方法，其特征在于：所述建筑矢量信息的获取包括，

4.根据权利要求3所述的一种基于多模态数据源的河湖乱建识别方法，其特征在于：对遥感影像数据预处理和建筑物分割提取的操作包括，

5.根据权利要求1或4所述的一种基于多模态数据源的河湖乱建识别方法，其特征在于：对正射影像数据预处理和建筑...

【专利技术属性】
技术研发人员：廖佳庆，杨琼，林荣鑫，刘鑫，金超，袁鑫，黄明亮，吕斌，邱建红，
申请(专利权)人：杭州定川信息技术有限公司，
类型：发明
国别省市：