一种基于多时相遥感影像的土地利用变化智能理解方法技术

本发明专利技术提供了一种基于多时相遥感影像的土地利用变化智能理解方法，包括检测两时相遥感影像目标区域内发生变化的对象和用自然语言描述变化的内容；检测两时相遥感影像目标区域内发生变化的对象包括获取两时相的数据、遥感影像的预处理、两时相数据的分块裁剪、构建掩膜、模型训练和模型测试、检测发生变化的内容并将变化地块高亮表示等内容；用自然语言描述变化的内容包括确定描述变化内容的语句模板、生成描述语句。本发明专利技术对两时相的遥感影像分别分割，利用地物类别信息判别同一位置地物类别的变化，变化检测更精确，描述内容确定化；用自然语言对变化内容进行描述，直观地展示两时相影像的变化内容，便于遥感影像的深层理解。

An intelligent understanding method of land use change based on multi temporal remote sensing images

The invention provides an intelligent understanding method of land use change based on Multi-temporal Remote Sensing image, which includes detecting the object that changes in the target area of two-temporal remote sensing image and describing the content of the change with natural language; detecting the object that changes in the target area of two-temporal remote sensing image includes acquiring the data of two-temporal phase. Pre-processing of remote sensing images, block clipping of two-phase data, building masks, model training and model testing, detecting the changed contents and highlighting the changed plots, etc. Describing the changed contents with natural language includes determining the sentence template describing the changed contents and generating descriptive sentences. The invention divides the two-phase remote sensing images separately, distinguishes the change of the object category at the same location by using the information of the object category, detects the change more accurately and determines the description content; describes the change content by natural language, visually displays the change content of the two-phase image, and facilitates the deep understanding of the remote sensing image.

【技术实现步骤摘要】
一种基于多时相遥感影像的土地利用变化智能理解方法
本专利技术涉及计算机视觉和图像语义理解
，特别地，涉及一种基于多时相遥感影像的土地利用变化智能理解方法。
技术介绍
遥感影像是国土资源管理与利用的重要数据来源。从海量的数据中快速、自动地定位出有信息差异的数据，挖掘出遥感影像中的隐含信息，可以节省大量的人力物力，对有效利用土地资源以及有关部门的科学决策有着十分重要的意义。传统的遥感影像变化检测通常以光谱等特征为基础，检测并判断同一位置的地物是否发生了变化，难以有效利用高分辨率遥感影像中的几何、形状、语义等高层信息，检测的精度不高。而且，地物发生了何种变化并不能直观地以知识的形式表达出来，对决策的支撑度还不强。而随着深度学习的兴起，图像分割、图像识别技术迅速发展，为遥感影像变化检测提供了更加有效的方法。同时，自然语言处理技术的发展，使得用自然语言对遥感影像的内容进行直观的理解成为可能。因此，对不同时期的遥感影像的土地利用类别进行变化检测，利用深度学习方法对变化内容进行智能描述，具有重要的研究意义和实用价值。
技术实现思路
本专利技术目的在于提供一种基于多时相遥感影像的土地利用变化智能理解方法，以解决传统的遥感影像变化检测难以有效利用高分辨率遥感影像中的几何、形状、语义等高层信息，检测精度不高，地物发生了何种变化不能直观地以知识的形式表达出来的技术问题。为实现上述目的，本专利技术提供了一种基于多时相遥感影像的土地利用变化智能理解方法，包括检测两时相遥感影像目标区域内发生变化的对象和用自然语言描述变化的内容；检测两时相遥感影像目标区域内发生变化的对象具体包括以下步骤：步骤A1：获取两时相的遥感数据，具体是：获取目标区域T1时刻与T2时刻的遥感影像，以及与遥感影像对应匹配的矢量数据；步骤A2：遥感影像的预处理，具体是：对遥感影像进行几何配准、辐射校正等；步骤A3：两时相数据的分块裁剪，包括遥感影像的分块裁剪和矢量数据的分块裁剪；具体是：根据比例尺大小的要求，将两个时期的影像裁剪成M幅规定尺寸的遥感影像块；同时生成与遥感影像块相匹配的M幅矢量数据块；步骤A4：构建掩膜和模型训练，具体是：首先确定影像中需要检测的地物目标，根据步骤A3中获得的遥感影像块和矢量数据块，构建掩膜，将遥感影像块和对应的掩膜输入到基于深度学习的影像语义分割模型中进行训练，得到更新后的影像语义分割模型；步骤A5：模型测试，将待进行变化检测的两幅不同时期的遥感影像F1、F2分别输入到步骤A4得到的影像语义分割模型中，分别得到其对应的掩膜；其中，不同的颜色代表了不同的地物类别；步骤A6：检测发生变化的内容，将两个时期的掩膜对应叠加，以T1时刻的掩膜为基准，对两个时期掩膜中的地块逐一进行比较；具体是：以T1时刻掩膜的第k个地块的大小为基准，将该地块范围内的像素值矩阵与T2时刻掩膜中对应位置同样大小区域范围内的像素值矩阵对应相减；设T1时刻掩膜第i行第j列处的像素值为I1ij，T2时刻掩膜第i行第j列处的像素值为I2ij，若I1ij-I2ij＝0，则说明该位置的像素值相同，其像素所属的地物类别没有发生变化，反之则说明该位置像素所属的地物类别发生了变化；统计该区域内发生变化的像素点的个数S，同时根据具体情况设定像素值发生变化个数的阈值s，比较S与s值的大小，根据S与s的比值情况判别区域内的地物类别是否发生变化；步骤A7：根据颜色标签获取发生变化前后的地物类别，将发生变化的地块高亮显示，使得变化内容直观地展现出来；用自然语言描述变化的内容具体包括以下步骤：步骤B1：确定描述变化内容的语句模板；步骤B2：生成描述语句，具体是：将步骤A7中获得的变化前后的地物类别分别嵌入到语句模板对应的位置，形成对这两幅影像变化内容的对应描述；步骤B3：取k＝k+1，判断k与T1时刻掩膜中的总地块数K的大小；若k≤K，返回步骤A6，继续进行变化检测；若k＞K，说明变化检测完成；其中，0＜k≤K+1。进一步的，所述步骤A1中两时相遥感数据的获取方式为：采用互联网开源的众源OSM数据、国土部门以及测绘部门中至少一种方式获取；步骤A1中反映地物基本类别的矢量数据包括耕地、园地、林地、草地、房屋建筑、道路、水域以及构建物等矢量数据中的至少一种。进一步的，所述步骤A1中两时相遥感数据的获取，应选择相同或相近季节和时刻的前后时期的遥感影像。进一步的，所述步骤A2遥感影像的预处理中对遥感影像进行几何配准，是以其中一幅影像的参考数据作为基准坐标系，进行两幅影像的相对配准；或者，将两幅影像以外的参考数据作为参考坐标系，进行两幅影像的绝对配准。进一步的，所述步骤A4中构建掩膜和模型训练具体包括以下步骤：步骤A4.1、确定影像中需要检测的地物目标：根据任务需求选择耕地、园地、林地、草地、房屋建筑、道路、水域以及构建物至少一种作为影像中需要检测的地物目标；步骤A4.2、构建掩膜：以裁剪后的影像块为单元，遍历每幅影像块，将地理坐标转换为影像像素坐标；分别读取位于影像块范围内的矢量数据类别信息，并以不同的颜色表示不同的目标类别进行区分，最后生成与原影像块同等大小的掩膜；步骤A4.3、模型训练：选取裁剪后的影像块和步骤A4.2中生成的对应的掩膜输入到基于深度学习的影像语义分割模型中，学习地物类别和掩膜之间的对应关系，对模型参数进行更新，得到更新后的模型。进一步的，所述步骤A6中根据S与s的比值情况判别区域内的地物类别是否发生变化，具体如下：若S≤s，则说明该区域的像素值相同，认为该位置两个时期的地物类别相同，没有发生变化；反之，则说明该位置两个时期的地物类别发生了变化。进一步的，所述步骤B1确定描述变化内容的语句模板中，语句模板为：XX变化成YY；其中，XX为T1时刻影像某位置的地物类别，YY为T2时刻影像对应位置的地物类别。本专利技术具有以下有益效果：1、本专利技术提供的一种基于多时相遥感影像的土地利用变化智能理解方法，首次提出对不同时相影像的变化内容进行智能描述，无需再对影像中发生变化的内容进行人工比对，是一种直观的知识表达形式。2、本专利技术提供的一种基于多时相遥感影像的土地利用变化智能理解方法，根据遥感影像对应的矢量数据，利用深度学习方法，在影像分割的基础上，利用地物类别信息判别同一位置不同时期地物类别的变化，使变化检测更精确，描述内容确定化。3、本专利技术提供的一种基于多时相遥感影像的土地利用变化智能理解方法，利用基于深度学习理论与方法的图像语义分割技术和自然语言处理技术，对多时相数据的变化内容进行直观的语言表达，实现对多时相遥感数据的深层理解。除了上面所描述的目的、特征和优点之外，本专利技术还有其它的目的、特征和优点。下面将参照图，对本专利技术作进一步详细的说明。附图说明构成本申请的一部分的附图用来提供对本专利技术的进一步理解，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：图1是本专利技术一种基于多时相遥感影像的土地利用变化智能理解方法的流程图。具体实施方式以下结合附图对本专利技术的实施例进行详细说明，但是本专利技术可以根据权利要求限定和覆盖的多种不同方式实施。一种基于多时相遥感影像的土地利用变化智能理解方法，包括检测两时相目标区域内发生变化的对象和用自然语言描述变化的内容。检测两时相目标区本文档来自技高网...

【技术保护点】
1.一种基于多时相遥感影像的土地利用变化智能理解方法，其特征在于，包括检测两时相遥感影像目标区域内发生变化的对象和用自然语言描述变化的内容；检测两时相遥感影像目标区域内发生变化的对象具体包括以下步骤：步骤A1：获取两时相的遥感数据，具体是：获取目标区域T1时刻与T2时刻的遥感影像，以及与遥感影像对应匹配的矢量数据；步骤A2：遥感影像的预处理，具体是：对遥感影像进行几何配准、辐射校正等；步骤A3：两时相数据的分块裁剪，包括遥感影像的分块裁剪和矢量数据的分块裁剪；具体是：根据比例尺大小的要求，将两个时期的影像裁剪成M幅规定尺寸的遥感影像块；同时生成与遥感影像块相匹配的M幅矢量数据块；步骤A4：构建掩膜和模型训练，具体是：首先确定影像中需要检测的地物目标，根据步骤A3中获得的遥感影像块和矢量数据块，构建掩膜，将遥感影像块和对应的掩膜输入到基于深度学习的影像语义分割模型中进行训练，得到更新后的影像语义分割模型；步骤A5：模型测试，将待进行变化检测的两幅不同时期的遥感影像F1、F2分别输入到步骤A4得到的影像语义分割模型中，分别得到其对应的掩膜；其中，不同的颜色代表了不同的地物类别；步骤A6：检测发生变化的内容，将两个时期的掩膜对应叠加，以T1时刻的掩膜为基准，对两个时期掩膜中的地块逐一进行比较；具体是：以T1时刻掩膜的第k个地块的大小为基准，将该地块范围内的像素值矩阵与T2时刻掩膜中对应位置同样大小区域范围内的像素值矩阵对应相减；设T1时刻掩膜第i行第j列处的像素值为I1ij，T2时刻掩膜第i行第j列处的像素值为I2ij，若I1ij‑I2ij＝0，则说明该位置的像素值相同，其像素所属的地物类别没有发生变化，反之则说明该位置像素所属的地物类别发生了变化；统计该区域内发生变化的像素点的个数S，同时根据具体情况设定像素值发生变化个数的阈值s，比较S与s值的大小，根据S与s的比值情况判别区域内的地物类别是否发生变化；步骤A7：根据颜色标签获取发生变化前后的地物类别，将发生变化的地块高亮显示，使得变化内容直观地展现出来；用自然语言描述变化的内容具体包括以下步骤：步骤B1：确定描述变化内容的语句模板；步骤B2：生成描述语句，具体是：将步骤A7中获得的变化前后的地物类别分别嵌入到语句模板对应的位置，形成对这两幅影像变化内容的对应描述；步骤B3：取k＝k+1，判断k与T1时刻掩膜中的总地块数K的大小；若k≤K，返回步骤A6，继续进行变化检测；若k＞K，说明变化检测完成；其中，0＜k≤K+1。...

【技术特征摘要】
1.一种基于多时相遥感影像的土地利用变化智能理解方法，其特征在于，包括检测两时相遥感影像目标区域内发生变化的对象和用自然语言描述变化的内容；检测两时相遥感影像目标区域内发生变化的对象具体包括以下步骤：步骤A1：获取两时相的遥感数据，具体是：获取目标区域T1时刻与T2时刻的遥感影像，以及与遥感影像对应匹配的矢量数据；步骤A2：遥感影像的预处理，具体是：对遥感影像进行几何配准、辐射校正等；步骤A3：两时相数据的分块裁剪，包括遥感影像的分块裁剪和矢量数据的分块裁剪；具体是：根据比例尺大小的要求，将两个时期的影像裁剪成M幅规定尺寸的遥感影像块；同时生成与遥感影像块相匹配的M幅矢量数据块；步骤A4：构建掩膜和模型训练，具体是：首先确定影像中需要检测的地物目标，根据步骤A3中获得的遥感影像块和矢量数据块，构建掩膜，将遥感影像块和对应的掩膜输入到基于深度学习的影像语义分割模型中进行训练，得到更新后的影像语义分割模型；步骤A5：模型测试，将待进行变化检测的两幅不同时期的遥感影像F1、F2分别输入到步骤A4得到的影像语义分割模型中，分别得到其对应的掩膜；其中，不同的颜色代表了不同的地物类别；步骤A6：检测发生变化的内容，将两个时期的掩膜对应叠加，以T1时刻的掩膜为基准，对两个时期掩膜中的地块逐一进行比较；具体是：以T1时刻掩膜的第k个地块的大小为基准，将该地块范围内的像素值矩阵与T2时刻掩膜中对应位置同样大小区域范围内的像素值矩阵对应相减；设T1时刻掩膜第i行第j列处的像素值为I1ij，T2时刻掩膜第i行第j列处的像素值为I2ij，若I1ij-I2ij＝0，则说明该位置的像素值相同，其像素所属的地物类别没有发生变化，反之则说明该位置像素所属的地物类别发生了变化；统计该区域内发生变化的像素点的个数S，同时根据具体情况设定像素值发生变化个数的阈值s，比较S与s值的大小，根据S与s的比值情况判别区域内的地物类别是否发生变化；步骤A7：根据颜色标签获取发生变化前后的地物类别，将发生变化的地块高亮显示，使得变化内容直观地展现出来；用自然语言描述变化的内容具体包括以下步骤：步骤B1：确定描述变化内容的语句模板；步骤B2：生成描述语句，具体是：将步骤A7中获得的变化前后的地物类别分别嵌入到语句模板对应的位置，形成对这两幅影像变化内容的对应描述；步骤B3：取k＝k+1，判断k与T1时刻掩膜中的总地块数K的大小；若k≤K，返回步骤A6，继续进行...

【专利技术属性】
技术研发人员：陈杰，周兴，韩雅荣，何玢，万里，邓敏，
申请(专利权)人：中南大学，
类型：发明
国别省市：湖南,43