一种基于地理标记图像的遥感图像迁移学习方法技术

本发明专利技术提供一种基于地理标记图像的遥感图像迁移学习方法。该方法可以通过对地理标记图像进行位置信息的提取以及类别信息的识别，进而迁移为遥感图像的样本信息，从而为遥感图像分类服务。该方法包括以下步骤：对收集的地理标记图像去除一些与场景无关的图像；使用视觉词汇模型对地理标记图像进行识别，得到图像识别类别信息；对地理标记图像读取其地理位置信息，进而映射到待处理的遥感图像上；对获得的图像识别类别信息，根据遥感图像重新进行类别映射；增加新获取的样本周围光谱相似的像素作为新的样本信息；使用获得的样本信息，训练支持向量机分类器，并对遥感图像进行分类，完成从地理标记图像到遥感图像的迁移学习。

【技术实现步骤摘要】
一种基于地理标记图像的遥感图像迁移学习方法
本专利技术涉及遥感图像处理技术，具体的说，涉及一种基于地理标记图像的遥感图像迁移学习方法，该方法可以基于带有地理标记的数码照片，对数码照片提取其地理位置并进行图像内容的理解，进而对遥感图像进行自动分类，从而快速处理遥感图像，为遥感监测提供支持。
技术介绍
目前，遥感技术目前被广泛应用于森林资源规划、农作物估产、环境评估、灾害监测等地学应用中。为了更好地使用遥感图像，需要首先把遥感图像转换为各种专题信息(如不同森林类型覆盖图、受灾区域专题图等)。而遥感图像分类技术是把遥感图像从数据转换为信息的重要技术手段。从是否需要训练样本来分，遥感图像分类方法分为监督分类和非监督分类。在遥感图像分类中最常用的是监督分类方法。监督分类方法，需要人工地确定分类体系、选取各个类别的训练样本等过程。监督分类分类方法能够保证获得比较好的分类精度。但是获取训练样本是一个耗时耗力的过程。因而如何自动地获取样本信息成为遥感图像自动分类的关键步骤。而另一方面，随着互联网技术和智能移动终端的普及，目前很多用户都会在互联网上分享自己拍摄的带有地理标记(Geotagged)的图像，如专门的图像分享网站YahooFlickr，GooglePicasa等，以及社交网站Facebook,Instagram，人人网等。这些社交网站并不是为科学研究而设计的，但是大量的地理标记图像对科学研究仍具有一定的价值。目前，德国UniversityofFreiburg创建了Geo-wiki网站，该网站的目标是通过全球的志愿者进行已有全球地表覆盖分类产品的验证工作，并可以上传志愿者自己拍摄的带有地理标记的照片。上传的数据不仅能够进行已有全球覆盖分类产品的验证，还可以改进获得更高精度的分类产品。这些地理标记图像提供了地球表面的信息，可以辅助遥感图像分析。因而，研究如何利用目前互联网上大量存在的、用户共享的地理标记图像，进而获取一定的地表覆盖真实信息作为训练样本，对遥感图像进行自动分类(指不需要进行样本的采集)具有一定的实用价值，能够提高遥感图像自动化处理水平。而为了利用这些地理标记图像，首先需要做到能够自动理解图像的内容(即不需要人工逐图片地去理解每幅图片的内容)。计算机视觉领域的最新技术-视觉词汇模型能够较好地解决图像理解的问题。视觉词汇或特征包，英文为BagofvisualWords(BoW)或BagofFeatures(BoF)，源于文本分类技术，在信息检索中，它假定对于一个文本，忽略其词序和语法、句法。将其仅仅看作是一些词集合，文本中每个词的出现都是独立的，不依赖于其他词是否出现，或者说这篇文章的作者在任意一个位置选择词汇都不受前面句子的影响而独立选择的。当图像作为一种文档对象时，图像中不同的局部区域或其特征可看作构成图像的词汇，其中相近的区域或其特征可以看作是同一个词。这样，就能够把视觉词汇或特征包技术应用到图像分类或识别中。Bag-of-words在计算机视觉中的应用首先由英国牛津大学AndrewZisserman教授提出，为解决视频场景的搜索问题，其提出了使用Bag-of-words关键点投影的方法来表示图像信息。后续更多的研究者将此类方法归结为Bag-of-Features，并用于图像分类、目标识别和图像检索。BagofFeatures模型与文本检索领域的Bag-of-Words方法相似，其把每幅图像描述为一个局部区域/关键点(Patches/KeyPoints)特征的无序集合。使用某种聚类算法(如K-means)将局部特征进行聚类，每个聚类中心被看作是词典中的一个视觉词汇(VisualWord)，相当于文本检索中的词，视觉词汇由聚类中心对应特征形成的码字(codeword)来表示(可看当为一种特征量化过程)。所有视觉词汇形成一个视觉词典(VisualVocabulary)，对应一个码书(codebook)，即码字的集合，词典中所含词的个数反映了词典的大小。图像中的每个特征都将被映射到视觉词典的某个词上，这种映射可以通过计算特征间的距离去实现，然后统计每个视觉词的出现与否及次数，进而可把图像描述为一个维数相同的直方图向量，即Bag-of-Features。Bag-of-Features更多地是用于图像分类或对象识别。在上述思路下对训练集提取Bag-of-Features特征，在某种监督学习(如支持向量机分类器)的策略下，对训练集的Bag-of-Features特征向量进行训练，获得对象或场景的分类模型；对于待测图像，提取局部特征，计算局部特征与词典中每个码字的特征距离，选取最近距离的码字代表该特征，建立一个统计直方图，统计属于每个码字的特征个数，即为待测图像之Bag-of-Features特征；在分类模型下，对该特征进行预测从实现对待测图像的分类。分类或识别过程，支持向量机训练BOF特征得到分类模型，对待测图像BOF特征进行预测，完成分类，从而得到对图像内容的描述。需要指出的是，这些地理标记图像大部分都是用户对自然场景目标(如建筑、道路、草地各种自然常见物体以及各种场景)进行拍摄得到的，因而图像理解的类别结果(如区分出每幅图像为道路、建筑、河流、湖泊、草地等类别信息)往往并不能在遥感图像中直接应用。遥感图像地表覆盖类型与这些自然场景具有一定的相似性，但更多是不同，比如遥感图像更主要用于区分建成区、水体、林地、草地等地表覆盖类别。因而，为了利用从自然场景图像理解的类别信息辅助遥感图像分类，需要进行不同分类体系的重新组织及转换。本专利提出了一种基于地理标记图像的遥感图像迁移学习方法：针对遥感图像样本选择费时费力的特点，为了利用大量存在的带有地理标记的自然场景图像(主要由社交网络等互联网方式获得)，本专利所提出的遥感图像迁移学习方法，其核心是利用图像理解技术首先对自然场景图像进行场景内容的理解，然后把自然场景图像的地理位置信息、类别信息映射到待处理的遥感图像上，获取相应的地表覆盖样本信息，进而利用获得的样本信息对遥感图像进行自动分类。该技术方法可以利用大量存在的带有地理标记的自然场景图像，支持遥感图像的自动分类。
技术实现思路
本专利技术的目的是提供一种基于地理标记图像的遥感图像迁移学习方法。本专利技术的基本思路为：首先对收集的地理标记图像去除掉一些地表覆盖类型无关的照片；使用视觉词汇模型对地理标记图像进行图像内容的理解；对地理标记图像提取其地理位置信息，根据投影转换方法，映射到待处理遥感图像的像素位置上；对地理标记图像内容理解的分类体系映射到待分类的遥感图像常用的分类体系上，得到相应遥感图像上的样本信息；基于获得的遥感图像上的样本信息，进行分类器的训练，并进行分类。本专利技术的技术方案提供的一种基于地理标记图像的遥感图像迁移学习方法，其特征在于包括以下实施步骤：A对收集的地理标记图像去除与场景无关的一些图像；B使用视觉词汇模型对地理标记图像进行识别，得到图像识别类别信息；C对地理标记图像读取其地理位置信息，并映射到待处理的遥感图像上；D对步骤B中得到图像识别类别信息，根据待处理的遥感图像分类任务重新进行类别映射；E对结合步骤C和步骤D得到的遥感图像上所有的初始样本集，在其周围开取3×3的窗口；窗口内所有与中心像素光谱本文档来自技高网...

【技术保护点】
一种基于地理标记图像的遥感图像迁移学习方法，其特征在于包括以下步骤：A对收集的地理标记图像去除与场景无关的一些图像；图像的地理标记标出了用户拍摄时的地理位置，但是图像的内容并不显示拍摄位置的地表覆盖类型，因而这些图像对遥感图像的分类并没有帮助，需要去除掉这类的图像；B使用视觉词汇模型对地理标记图像进行识别，得到图像识别类别信息；首先使用提取图像中的局部兴趣点(比如SIFT算子)，对所有图像中的局部兴趣点使用某种聚类算法(如Kmeans)进行聚类，得到k(k可取100,200,500等整数)个聚类中心，这些聚类中心称为视觉词汇；然后每幅图像可以对所提取的每个局部兴趣点与这k个视觉词汇进行欧式距离的相似性比对，获得每个局部兴趣点最相似的某个视觉词汇，进而把每幅图像由不同局部兴趣点的分布表示映射为视觉词汇的分布表示；统计每幅图像中视觉词汇的统计直方图，得到每幅图像新的特征表示方法；使用直方图相似性计算方法，进而可以对两幅不同的图像进行相似性比对，进行图像内容的分类识别；C对地理标记图像读取其地理位置信息，并映射到待处理的遥感图像上；读取地理标记图像的地理位置字段，以经纬度的方式存储；然后需要根据所处理的遥感图像的投影方式，对每幅图像所提取的经纬度坐标，经投影转换，映射到遥感图像上某个具体像素，建立起自然场景图像拍摄位置与遥感图像上某个像素位置的对应关系；D对步骤B中得到图像识别类别信息，根据待处理的遥感图像分类任务重新进行类别映射；对步骤B中的图像理解的类别信息，进行重组、映射到待处理遥感图像的地表覆盖分类体系上，通过类似的类别组织、映射，把自然场景图像理解的分类类别信息转换为满足遥感图像地表覆盖分类需求的分类体系；E对结合步骤C和步骤D得到的遥感图像上所有的初始样本集，在其周围开取3×3的窗口；窗口内所有与中心像素光谱值差异小于一定阈值的像素，则增加为新的样本，得到适应遥感图像的最终训练样本集；F利用步骤E中最终得到的遥感图像训练样本集，训练一个支持向量机分类器；然后使用训练得到的分类器，对整幅遥感图像进行分类，完成从地理标记图像获取样本，并对待处理的遥感图像进行自动分类的迁移学习过程。...

【技术特征摘要】
1.一种基于地理标记图像的遥感图像迁移学习方法，其特征在于包括以下步骤：A对收集的地理标记图像去除与场景无关的一些图像；图像的地理标记标出了用户拍摄时的地理位置，但是图像的内容并不显示拍摄位置的地表覆盖类型，因而这些图像对遥感图像的分类并没有帮助，需要去除掉这类的图像；B使用视觉词汇模型对地理标记图像进行识别，得到图像识别类别信息；首先使用提取图像中的局部兴趣点(比如SIFT算子)，对所有图像中的局部兴趣点使用某种聚类算法(如Kmeans)进行聚类，得到k(k可取100,200,500等整数)个聚类中心，这些聚类中心称为视觉词汇；然后每幅图像可以对所提取的每个局部兴趣点与这k个视觉词汇进行欧式距离的相似性比对，获得每个局部兴趣点最相似的某个视觉词汇，进而把每幅图像由不同局部兴趣点的分布表示映射为视觉词汇的分布表示；统计每幅图像中视觉词汇的统计直方图，得到每幅图像新的特征表示方法；使用直方图相似性计算方法，进而可以对两幅不同的图像进行相似性比对，进行图像内容的分类识别；C对地理标记图像读取其地理位置信息，并映射到待处理的遥感图像上；读取地理标记图像的地理位置字段，以经纬度的方式存储；然后需要根据所处理的遥感图像的投影方式，对每幅图像所提取的经纬度坐标，经投影转换，映射到遥感图像上某个具体像素，建立起自然场景图像拍摄位置与遥感图像上某个像素位置的对应关系；D对步骤B中得到图像识别类别信息，根据待处理的遥感图像分类任务重新进行类别映射；对步骤B中的图像理解的类别信息，进行重组、映射到待处理遥感图...

【专利技术属性】
技术研发人员：霍连志，唐娉，赵理君，
申请(专利权)人：中国科学院遥感与数字地球研究所，
类型：发明
国别省市：北京,11