【技术实现步骤摘要】
一种三维和语义同步变化检测方法及系统
[0001]本专利技术属于遥感与人工智能
，涉及一种三维和语义同步变化检测方法及系统，具体涉及一种融合知识图谱和生成对比对抗的三维和语义同步变化检测方法及系统
。
技术介绍
[0002]变化检测数据集以及变化检测的算法是三维和语义同步变化检测的重要基础，其相关研究现状如下：
[0003]数据的采集方式方法
、
不同角度的描述，产生了多模态问题
。
如何利用机器学习的方法处理多模态数据成为三维和语义同步变化检测的研究重点
。
知识图谱是描述客观世界的实体
、
概念及其关系的知识库，被广泛应用于遥感影像场景分类
、
语义分割等领域
。
随着计算机技术的发展，机器学习技术广泛应用于三维和语义同步变化检测领域
。
当前基于生成对抗网络
(Generative Adversarial Network
，
GAN)
变化检测的文献包括：
[0004](1)
基于
GAN
的遥感影像变化检测；
Kousuke
等利用生成对抗网络进行跨域变化检测
(
文献
1)
，
Alvarez
等提出了一个自监督条件生成对抗网络解决二进制变化检测任务
(
文献
2)
，
Li
等
、Chen
【技术保护点】
【技术特征摘要】
1.
一种三维和语义同步变化检测方法，其特征在于，包括以下步骤：步骤1：获取多模态三维和语义变化检测小样本数据集，包括两个时相的三维几何数据
、
属性数据和文本数据；步骤2：分别对所述两个时相的三维几何数据
、
属性数据和文本数据进行预处理，获得两个时相的几何数据集
、
属性数据集和文本数据集；步骤3：基于两个时相的几何数据集和属性数据集，构建三维和语义同步变化检测数据集，包括语义变化
、
三维几何变化数据，语义变化
、
三维几何不变数据，语义不变
、
三维几何变化数据和语义不变
、
三维几何不变数据；步骤4：基于知识图谱构建正负生成器，采用大模型辅助语义分割三维和语义同步变化检测数据集，获得三维和语义变化检测的正样本和负样本，之后对三维和语义同步变化检测数据集进行扩充，获得三维几何变化标签和语义变化标签；包括几何真实变化标签
、
几何虚检错误标签和几何漏检错误标签，语义真实变化标签
、
语义虚检错误标签和语义漏检错误标签；步骤5：基于对比学习思想构建三维和语义动量对比编码器，输入两时相的三维数据和属性数据的正样本和负样本，进行三维和语义动量对比编码器的预训练；步骤6：基于对比学习构建语义检测器，分别建立三维动量对比编码器
、
语义动量对比编码器
、
语义编码器，分别对两时相的三维数据
、
属性数据
、
语义文本数据进行编码，之后进行解码器解码
、
损失计算
、
梯度更新操作；步骤7：基于对抗网络的损失函数实现正负生成器和语义检测器的博弈，进而完成小样本条件下的自监督三维和语义同步变化检测；通过判断生成对抗博弈是否达到迭代终止的判断条件，如果满足迭代的终止条件，则执行步骤8；反之，则回转执行步骤4；步骤8：三维和语义同步变化检测信息挖掘，三维动量对比编码器
、
语义动量对比编码器
、
语义编码器分别获得三维几何是否变化
、
两时相语义分割结果
、
语义是否变化的结果；步骤9：三维和语义同步变化检测结果分析，对三维和语义同步变化检测挖掘的语义信息进一步分析，获得语义变化
、
三维几何变化，语义变化
、
三维几何不变，语义不变
、
三维几何变化和语义不变
、
三维几何不变的结果
。2.
根据权利要求1所述的三维和语义同步变化检测方法，其特征在于：步骤2中，对两个时相的三维点云数据和数字表面模型数据
DSM
进行几何校正和辐射校正，获得几何数据集；所述几何校正，是从影像到地图校正，首先选择基准平面，然后自动匹配获得同名点，剔除误匹配点，接着进行正射校正，最后生成数字正射地图
DOM
；所述辐射校正，通过经验模型法
、
大气校正法或地表反射校正法完成辐射校正
。3.
根据权利要求1所述的三维和语义同步变化检测方法，其特征在于：步骤2中，所述文本数据集，是基于地学知识图谱获取三维和几何同步变化检测所需要的地物信息的两个时相的语义和拓扑关系，存储到文本数据集中；所述地学知识图谱是树状结构，叶子节点表示地物之间的拓扑和空间关系，知识图谱的构建包括以下步骤：
(1)
地学知识抽取，抽取几何和属性数据含有的地理场景
、
地理特征语义信息，获取实体
、
属性
、
关系要素；
(2)
地学知识融合，对几何和属性数据蕴含的空间格局
、
演化过程
、
相互作用机制
、
时空
分布的语义信息进行提取和分析，生成图谱单元；
(3)
地学知识推理，从三维几何特征
、
光谱特征
、
纹理特征或拓扑特征角度进行知识推理，形成小样本文本数据集
。4.
根据权利要求1所述的三维和语义同步变化检测方法，其特征在于：步骤4中，所述正负生成器，利用地学知识图谱提供的不同地物类型的语义和拓扑信息建立正负生成器，对多模态数据的几何和语义信息分别建立智能解译标签，生成正样本和负样本；所述正样本，包括几何真实变化标签
、
几何真实不变标签
、
语义真实变化标签
、
语义真实不变标签；所述负样本，包括几何虚检错误标签
、
几何漏检错误标签
、
语义虚检错误标签
、
语义漏检错误标签
。5.
根据权利要求4所述的三维和语义同步变化检测方法，其特征在于：基于地学知识图谱的正负生成器生成正样本，具体实现步骤如下：步骤
4.1.1
：几何变换，三维和语义同步变化检测数据集包含时相1和时相2的三维几何数据，对两时相点云和影像进行影像旋转
、
影像镜像处理，对三维点云和两时相影像进行几何的样本增强；步骤
4.1.2
：辐射增强，三维和语义同步变化检测数据集包含时相1和时相2的属性数据，对两时相影像进行直方图匹配
、
直方图拉伸
、
混合地物加入处理，进行辐射的样本增强；基于地学知识图谱的正负生成器生成负样本，具体实现步骤如下：步骤
4.2.1
：生成几何校正负样本；
(1)
生成单一像素影像配准误差；对经过几何变换生成的正样本，进行配准生成配准误差；
(2)
生成多像素影像配准误差；在几何变换生成的正样本的基础上，基于地学知识图谱通过形态学处理模拟两期影像由于影像边缘的整体偏移所造成的误匹配误差；步骤
4.2.2
：生成辐射校正负样本；对经过辐射增强生成的正样本，添加辐射噪声，模拟阴影导致的伪变化
。6.
根据权利要求1所述的三维和语义同步变化检测方法，其特征在于：步骤5的具体实现包括以下子步骤：步骤
5.1
：基于对比学习的思想建立动量对比编码器，实现下游任务语义检测器构建的预训练过程；步骤
5.1.1
：正样本
、
负样本分别输入；所述正样本
、
负样本分别输入到基于
DSM
的动量对比编码器和基于影像的动量对比编码器，分别进行训练获取三维动量对比编码器和语义动量对比编码器；其中，三维动量对比编码器的输入，输入两个时相的多模态几何高程的正样本和负样本；语义动量对比编码器的输入，输入两个时相的多模态遥感影像的正样本和负样本；步骤
5.1.2
：初始化三维动量对比编码器
3DEncoder、
语义动量编码器
ImageEncoder
；在基于三维和语义的动量对比编码器的预训练过程中，
3DE...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。