基于双注意力机制与语义约束的高分辨遥感图像的道路提取方法技术

本发明专利技术公开了一种基于双注意力机制与语义约束角的高分辨率遥感图像的道路提取方法，包括以下步骤：S1，对Massachusetts数据集里面的遥感道路图像进行操作来进行数据集的数据扩增，对数据集里面的遥感道路图像的标签图像进行语义约束角计算的数据预处理操作；S2，使用卷积神经网络提取遥感道路图像的特征图，并在卷积神经网络中加入位置注意力机制和通道注意力机制来计算不同通道和位置的特征权重，让网络模型能够更好的获取不同位置和不同通道的语义信息；S3，设计主损失函数，辅助损失函数来优化网络参数；S4，用训练好的模型在测试样本集上进行测试，经过网络模型的特征提取和特征上采样来得到最终的分割图像。

【技术实现步骤摘要】
基于双注意力机制与语义约束的高分辨遥感图像的道路提取方法
本专利技术属于数字图像处理与机器学习
，具体涉及一种基于双注意力机制模块与语义约束的高分辨遥感图像的道路提取方法。
技术介绍
道路作为交通的主要组成部分，在人类各项活动中发挥着不可替代的作用。在现代社会中，道路也是地图和地理信息系统中重要的标识对象。随着交通地理信息系统的建设，道路的自动提取技术随之出现并不断发展。及时而完备的道路交通信息系统，可在交通导航、城市规划、农林及飞行器自动驾驶等诸多领域发挥重要作用。道路作为一种重要的基础设施，在城镇建设、交通运输和军事应用等领域都扮演着重要的角色。随着高分辨率遥感数据的大量投入使用，如何快速、准确地从遥感图像中提取道路信息引起了众多国内外学者的关注。而遥感图像相较于普通图像来说，最大的特点就是超高的分辨率，这就导致遥感图像自身包含的图像语义信息是普通图像的好几千倍，甚至上万倍，其包含的语义信息比普通图像包含的信息多出了几个数量级，遥感图像的语义分为视觉层、对象层和概念层。视觉层即通常所理解的底层，即颜色、纹理和形状等等，这些特征都被称为底层特征语义；对象层即中间层，通常包含了属性特征等，就是某一对象在某一时刻的状态；概念层是高层，是图像表达出的最接近人类理解的东西。通俗点说，比如一张图上有沙子，蓝天，海水等，视觉层是一块块的区分，对象层是沙子、蓝天和海水这些，概念层就是海滩，这是这张图表现出的语义。对于遥感道路图像来说，语义信息是不可或缺的，因为在一张遥感道路图像中所有的道路都存在的一些很具有的特色的共通性。如形状，纹理等，但是一般的网络结构模型都不会着重的去在意这方面的语义信息，所有如何进行有效的融合上下文语义信息是非常重要且关键的步骤。对于遥感道路图像来说，语义信息是不可或缺的，因为在一张遥感道路图像中所有的道路都存在的一些很具有的特色的共通性。如形状，纹理等，但是一般的网络结构模型在图像分割过程中都不会着重的去在意这方面的语义信息，所有如何进行有效的融合上下文语义信息是非常重要且关键的步骤，对于遥感图像来说，如何好好运用这些普通图像不具有的语义信息是一个目标道路提取方法的切入点。
技术实现思路
鉴于以上存在的技术问题，本专利技术用于提供一种基于双注意力机制与语义约束角的高分辨率遥感图像的道路提取方法，该模型在常规的编码-解码网络模型中加入了双注意力机制，利用双注意力机制可以有效结合各个位置和各个通道之间的语义信息，解决了遥感图像语义分割过程中的对于上下文语义信息没有进行有效融合的问题，并且在最后的分割任务中，通过计算语义约束角的Loss，使得分割结果能够根据辅助损失函数进一步规范了道路关键点的语义信息，提升了最后的道路提取结果，提高了遥感图像道路提取的精度。为解决上述技术问题，本专利技术采用如下的技术方案：一种基于双注意力机制与语义约束角的高分辨率遥感图像的道路提取方法，包括以下步骤：S1，对Massachusetts数据集里面的遥感道路图像进行包括平移，旋转和水平翻转，HSV变换等操作来进行数据集的数据扩增，对数据集里面的遥感道路图像的标签图像进行语义约束角计算的数据预处理操作；S2，使用卷积神经网络提取遥感道路图像的特征图，并在卷积神经网络中加入位置注意力机制和通道注意力机制来计算不同通道和位置的特征权重，让网络模型能够更好的获取不同位置和不同通道的语义信息；S3，设计主损失函数，辅助损失函数来优化网络参数，其中辅助损失函数计算的是语义约束角的损失，并且建立评估指标F1和评估指标MIOU来对模型的输出结果进行评估；S4，用训练好的模型在测试样本集上进行测试，经过网络模型的特征提取和特征上采样来得到最终的分割图像。优选地，所述的S1具体步骤为：S11，先对数据集中的图像进行包括平移，旋转和水平反转的预处理；S12，再对得到先前处理的图像进行HSV变换操作，HSV变换处理的公式定义如下：maxt＝max(r,g,b)mint＝min(r,g,b)v＝maxt如果r＝v，如果g＝v，如果b＝v，经过上述计算之后，h＝h*60如果h<0，h＝h+360其中r,、g、b分别代表红、绿、蓝；h、s、v分别代表色调、饱和度、明度，maxt代表r、g、b中的最大值，mint代表r、g、b中的最小值；S13，对图像的标签图像进行语义约束角处理：首先对道路的标签图像进行骨架提取算法，采用K3M算法，K3M算法在每次迭代中需要进行六次检查，Phase0，标记出图像中道路的边界；Phase1，如果该点的邻域中有3个点(非0，以下皆如此，0代表背景，1代表道路)相邻，删除该点；Phase2，如果该点的邻域中有3或4个点相邻，删除该点；Phase3，如果该点的邻域中有3，4，5个点相邻，删除该点；Phase4，如果该点的邻域中有3，4，5，6个点相邻，删除该点；Phase5，如果该点的邻域中有3，4，5，6，7个点相邻，删除该点；Phase6，剩余的边界点取消标记，如果Phase5中没有点被修改，停止迭代，否则返回Phase0；S14，对道路上的每一个道路点进行语义约束角的计算：首先对于每一条连通标签道路，在其骨架图上提取其中的每个道路的交点记[x1,x2,.........,xn]，每两个相邻道路交点之间的点记为[p1,p2,......pn]，让pi对其相邻的两个交点分别进行方位角和欧式距离的计算，选取欧式距离小的交点的方位角作为该点的选定方位角并作为其语义约束角，方位角的计算如下：设两个点的坐标分别为[x1,y1]，[x2,y2]，首先计算坐标增量dx，dy，两个对应坐标分量相减，终点的减始点的dx＝x1-x2,dy＝y1-y2，若dx，dy中有一个为零时，根据另一个的正负决定方位角(0，90，180，270这四个中的一个)，若dx、dy都不为零，则方位角a的定义如下：当dx>0，dy>0时：a＝a；当dx<0，dy>0时：a＝180-a；当dx<0，dy<0时：a＝180+a；当dx>0，dy<0时：a＝360-a。优选地，所述的S2具体步骤为：S21，选用Linknet34作为基础卷积神经网络；S22，在模型中加入通道注意力机制和位置注意力机制：具体地在位置注意力模块中，任一位置的特征的更新是通过图像所有位置上特征的带权聚合进行更新，权重是由两个位置上特征的相似性决定的，也就是说无论两个位置的距离只要他们的特征相似那么就能得到更高的权重，通道注意力模块中也应用了相似的注意力机制来学习任意两个通道映射之间的关系，同样通过所有通道的带权加和来更新某一个通道，也就是说任意两个通道只要他们的特征相似那么就能得到更高的权重，给定一张道路特征图A∈RC×H×W，然后经过一个带有BN层和本文档来自技高网...

【技术保护点】
1.一种基于双注意力机制与语义约束角的高分辨率遥感图像的道路提取方法，其特征在于，包括以下步骤：/nS1，对Massachusetts数据集里面的遥感道路图像进行包括平移，旋转和水平翻转，HSV变换等操作来进行数据集的数据扩增，对数据集里面的遥感道路图像的标签图像进行语义约束角计算的数据预处理操作；/nS2，使用卷积神经网络提取遥感道路图像的特征图，并在卷积神经网络中加入位置注意力机制和通道注意力机制来计算不同通道和位置的特征权重，让网络模型能够更好的获取不同位置和不同通道的语义信息；/nS3，设计主损失函数，辅助损失函数来优化网络参数，其中辅助损失函数计算的是语义约束角的损失，并且建立评估指标F1和评估指标MIOU来对模型的输出结果进行评估；/nS4，用训练好的模型在测试样本集上进行测试，经过网络模型的特征提取和特征上采样来得到最终的分割图像。/n

【技术特征摘要】
1.一种基于双注意力机制与语义约束角的高分辨率遥感图像的道路提取方法，其特征在于，包括以下步骤：
S1，对Massachusetts数据集里面的遥感道路图像进行包括平移，旋转和水平翻转，HSV变换等操作来进行数据集的数据扩增，对数据集里面的遥感道路图像的标签图像进行语义约束角计算的数据预处理操作；
S2，使用卷积神经网络提取遥感道路图像的特征图，并在卷积神经网络中加入位置注意力机制和通道注意力机制来计算不同通道和位置的特征权重，让网络模型能够更好的获取不同位置和不同通道的语义信息；
S3，设计主损失函数，辅助损失函数来优化网络参数，其中辅助损失函数计算的是语义约束角的损失，并且建立评估指标F1和评估指标MIOU来对模型的输出结果进行评估；
S4，用训练好的模型在测试样本集上进行测试，经过网络模型的特征提取和特征上采样来得到最终的分割图像。


2.如权利要求1所述的基于双注意力机制与语义约束角的高分辨率遥感图像的道路提取方法，其特征在于，所述的S1具体步骤为：
S11，先对数据集中的图像进行包括平移，旋转和水平反转的预处理；
S12，再对得到先前处理的图像进行HSV变换操作，HSV变换处理的公式定义如下：
maxt＝max(r,g,b)
mint＝min(r,g,b)
v＝maxt



如果r＝v，



如果g＝v，



如果b＝v，



经过上述计算之后，
h＝h*60
如果h<0，
h＝h+360
其中r,、g、b分别代表红、绿、蓝；h、s、v分别代表色调、饱和度、明度，maxt代表r、g、b中的最大值，mint代表r、g、b中的最小值；
S13，对图像的标签图像进行语义约束角处理：首先对道路的标签图像进行骨架提取算法，采用K3M算法，K3M算法在每次迭代中需要进行六次检查，Phase0，标记出图像中道路的边界；Phase1，如果该点的邻域中有3个点(非0，以下皆如此，0代表背景，1代表道路)相邻，删除该点；Phase2，如果该点的邻域中有3或4个点相邻，删除该点；Phase3，如果该点的邻域中有3，4，5个点相邻，删除该点；Phase4，如果该点的邻域中有3，4，5，6个点相邻，删除该点；Phase5，如果该点的邻域中有3，4，5，6，7个点相邻，删除该点；Phase6，剩余的边界点取消标记，如果Phase5中没有点被修改，停止迭代，否则返回Phase0；
S14，对道路上的每一个道路点进行语义约束角的计算：首先对于每一条连通标签道路，在其骨架图上提取其中的每个道路的交点记[x1,x2,.........,xn]，每两个相邻道路交点之间的点记为[p1,p2,......pn]，让pi对其相邻的两个交点分别进行方位角和欧式距离的计算，选取欧式距离小的交点的方位角作为该点的选定方位角并作为其语义约束角，方位角的计算如下：
设两个点的坐标分别为[x1,y1]，[x2,y2]，首先计算坐标增量dx，dy，两个对应坐标分量相减，终点的减始点的dx＝x1-x2,dy＝y1-y2，若dx，dy中有一个为零时，根据另一个的正负决定方位角(0，90，180，270这四个中的一个)，若dx、dy都不为零，则方位角a的定义如下：



当dx>0，dy>0时：
a＝a；
当dx<0，dy>0时：
a＝180-a；
当dx<0，dy<0时：
a＝180+a；
当dx>0，dy<0时：
a＝360-a。


3.如权利要求1所述的基于双注意力机制与语义约束角的高分辨率遥感图像的道路提取方法，其特征在于，所述的S2具体步骤为：
S21，选用Linknet34作为基础卷积神经网络；
S22，在模型中加入通道注意力机制和位置注意力机制：具体地在位置注意力模块中，任一位置的特征的更新是通过图像所有位置上特征的带权加和进行更新，权重是由两个位置上特征的相似性决定的，也就是说无论两个位置的距离只要他们的特征相似那么就能得到更高的权重，通道注意力模块中也应用了相似的注意力机制来学习任意两个通道映射之间的关系，同样通过所有通道的带权加和来更新某一个通道，也就是说任意两个通道只要他们的特征相似那么就能得到更高的权重，给...

【专利技术属性】
技术研发人员：李训根，宁波，潘勉，马琪，吕帅帅，张战，周尚超，门飞飞，刘爱林，李子璇，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：浙江;33