一种基于实例分割的遥感影像养殖塘检测方法技术

本发明专利技术公开了一种基于实例分割的遥感影像养殖塘检测方法。本发明专利技术首先对亚米级遥感影像进行裁剪分块处理，并同时存储每一影像块的索引信息，索引信息中包含地理信息。然后通过Mask R‑CNN模型对遥感影像进行实例分割，分布式多GPU进行计算。在实例分割的后续操作中，根据每个养殖塘位置的二值掩模图，计算轮廓信息，得到每个遥感影像块的多边形矢量，根据影像块的索引信息，对相邻影像块的多边形矢量进行空间分析、合并，最后输出整个遥感影像的养殖塘矢量Shp文件。本发明专利技术利用深度学习技术训练养殖塘实例分割模型，提取结果准确、鲁棒性好、适应性高；并且设计、实现了遥感影像养殖塘实例分割生产一体化流程，人工参与程度较低，计算效率高。

A method of farming pond detection based on remote sensing image and case segmentation

【技术实现步骤摘要】
一种基于实例分割的遥感影像养殖塘检测方法
本专利技术属于计算机视觉，深度学习，遥感影像处理领域，主要涉及到实例分割算法以及相关空间拓扑分析算法。
技术介绍
水产养殖是指商业性的饲养水生生物(包括鱼类、软体动物、甲壳类动物和水生植物)的活动，按操作的基面性质可分为陆地、水面和滩涂等3大类。以陆地为主的系统主要包括池塘、稻田以及陆地建造的其他设施；以水面为基础的研制系统包括拦湾、围栏、网箱及筏式养殖，通常位于设有围场的沿海或内陆水域；以滩涂为基础的养殖系统包括基塘养殖和高位池养殖。我国是世界第一水产养殖大国，也是世界唯一的养殖产量超过捕捞产量的国家，而且目前水产养殖规模仍在继续快速增长中。为满足世界水产品需求做出巨大贡献的同时，我国的水产养殖正面临着水环境状况的日益恶化、社会舆论的监督、政策与法规的监控及水产品品质要求日益提高等各方面的压力，水产养殖日益成为当前研究热点之一。由于海岸带陆域范围内水产养殖的便利性和经济性，大量养殖塘建设在海岸带生态保护区域内，养殖塘内氮磷超标的废水经暗管直接排入海里，海防林地被不法侵占，造成生态环境极大破坏。而遥感具有探测范围广、获取资料速度、周期短、时效性强、成本低、经济效益大等优点。近年来，随着遥感技术的发展，多平台、多种类、多分辨率的遥感数据为水产养殖信息获取提供了契机，利用遥感影像可以快速识别和定位养殖塘。遥感图像的养殖塘提取方法主要有目视解译，即根据解译标志(位置、形状、大小、色调、阴影、纹理等)和解译经验，这对解译人员专业水平要求较高，同时存在工作量大、费工费时，对海量空间信息定量化分析的时效性较低；其次，基于空间结构分析的方法不适合对分布孤立、斑块小的养殖塘提取；另外，面向对象的信息提取方法首先将图像分割成具有一定意义的图像对象，然后综合运用地物的光谱特征、纹理、形状、邻近关系等信息确定分割对象的类别，受特征选取影响较大，需要结合目视解译方法。基于深度卷积神经网络的语义分割算法在计算机视觉领域已取得了较好的效果，早期以AlexNet、VGGNet、GoogleNet等标签分类的网络结构作为基础设计的语义分割算法取得了较好的效果。Long等人通过将卷积神经网络的全连接层替换为卷积层，通过插值方法进行上采用，逐步恢复，生成与原始输入尺寸相同的语义分割掩模图,这种结构的神经网络结构称为全卷积神经网络。Noh等人通过将网络划分为卷积与反卷积网络，提升了分割细节。Badri等人提出了由编码器和解码器组成的语义分割结构，在解码器中，通过上采样过程降低了占用计算机内存空间。随着网络结构的不断深化，出现了U-Net、PSPNet、DeepLab、DeepLabV1、DeepLabV2、DeepLabV3、DeepLabV3Plus等多种形式语义分割架构，从不同角度增加特征感受野，捕获更多的上下文语义信息。虽然语义分割算法可以效、快速地提取养殖塘信息，得到遥感影像中养殖塘二值掩模图，但是无法获取每个养殖塘具体的边界区域，信息价值有限，为准确获取每个养殖塘的边界区域，提出一种基于实例分割的遥感影像养殖塘检测方法。
技术实现思路
本专利技术的目的是提出一种基于实例分割的遥感影像养殖塘检测方法，该方法能够有效且快速地识别遥感影像中的养殖塘信息，避免传统方法受人为干预影像较大、费时费力的特点，为养殖塘监管、保护海岸带生态环境提供技术支持和依据。本专利技术提出的一种基于实例分割的遥感影像养殖塘检测方法，包括以下步骤：步骤一、建立养殖塘实例分割样本库；步骤二、图像预处理：对训练样本进行形态学滤波，图像随机翻转，裁剪，像素归一化，图像增强处理；步骤三、构建MaskR-CNN养殖塘实例分割检测模型，并进行训练；步骤四、利用训练好的实例分割模型，设计针对亚米级遥感影像养殖塘检测的工程生产流程，自动裁剪分块，在MaskR-CNN模型推理中采用多GPU分布式并行处理，提高计算效率；步骤五、根据模型计算得到的每个养殖塘位置二值掩模图，计算轮廓信息，得到每个遥感影像块的多边形矢量，根据影像块的索引信息，对相邻影像块的多边形矢量进行空间分析、合并，最后输出整个遥感影像的养殖塘矢量Shp文件。进一步的，所述步骤一中的建立养殖塘实例分割样本库，采用LabelMe图像标注工具进行亚米级遥感影像的养殖塘标注，包含各种状态、环境下的养殖塘，以此作为训练数据集，完成对MaskR-CNN模型的训练。进一步的，所述步骤二中的图像预处理，为了扩充训练样本，以及去除噪声和图片尺度因素的影响，便于模型网络的训练与推理。进一步的，所述步骤三中的构建askR-CNN养殖塘实例分割模型，该模型继承于FasterR-CNN，在FasterR-CNN的基础上增加MaskPrediction模块，优化了RoIPooling，提出了RoIAlign，结合了FasterR-CNN和FCN，同时完成目标检测、分类以及分割三类任务，模型的训练主要分为两个阶段，分别为：第一阶段训练区域生成网络RPN，第二阶段使用RoIAlign将RPN生成的RoI映射到featuremap对应位置，将映射后的生成的特征图进行分类、坐标回归和二值掩模图输出，具体如下：a)首先输入图像进入主干特征提取框架，该框架采用了ResNet101网络，通过直接将输入信息绕道传到输出，保护信息的完整性；分为五部分输出，从C1级到C5级；b)然后将提取到C2级到C5级特征输入到FPN(FeaturePyramidNetwork)网络中，得到P2到P6的5级特征，融合了从底层到高层的FeatureMaps，能够充分利用提取到各个阶段的特征；c)根据得到的特征图[P2,P3,P4,P5,P6]的每个像素点都生成Anchor锚框，借助锚框，通过计算每个Anchor与图片上真实的GroundTruth之间的IoU，阈值大于0.7作为正样本，阈值小于0.3作为负样本，建立RPN网络训练时的正类和负类，并且计算AnchorBox与GroundTruth之间的偏移量；通过RPN网络前向传播得到的分类概率值以及回归偏移量即可计算RPN网络的边框分类损失以及边框的回归损失；d)根据RPN网络前向传播计算得到的正样本得分获取2000个分数最高的Anchor，对筛选得到的RoI框，采取非极大值抑制算法NMS剔除重复框，进一步筛选样本；e)计算每个RoI与真实框之间的IoU，阈值为0.5得到正负样本，同样计算正样本RoI与GroundTruthBox之间的偏移量以及相应的掩模信息；f)RoIAlign操作，采用双线性插值的方法，可以消除在池化操作的误差，更好的提升分割效果，将RoI区域映射到FeatureMap的相应位置上，将FeaturMap的RoI区域进行RoIAlign操作得到固定尺寸的特征图，同样将得到的新FeatureMap输入到边框分类、边界回归以及Mask生成层，得到分割后的养殖塘信息；g)在训练过程中采用随机梯度下降法，Ltotal表示总损失，Lrpn_cls表示RPN网本文档来自技高网...

【技术保护点】
1.一种基于实例分割的遥感影像养殖塘检测方法，其特征在于，包括以下步骤：/n步骤一、建立养殖塘实例分割样本库；/n步骤二、图像预处理：对训练样本进行形态学滤波，图像随机翻转，裁剪，像素归一化，图像增强处理；/n步骤三、构建Mask R-CNN养殖塘实例分割检测模型，并进行训练；/n步骤四、利用训练好的实例分割模型，设计针对亚米级遥感影像养殖塘检测的工程生产流程，自动裁剪分块，在Mask R-CNN模型推理中采用多GPU分布式并行处理，提高计算效率；/n步骤五、根据模型计算得到的每个养殖塘位置二值掩模图，计算轮廓信息，得到每个遥感影像块的多边形矢量，根据影像块的索引信息，对相邻影像块的多边形矢量进行空间分析、合并，最后输出整个遥感影像的养殖塘矢量Shp文件。/n

【技术特征摘要】
1.一种基于实例分割的遥感影像养殖塘检测方法，其特征在于，包括以下步骤：
步骤一、建立养殖塘实例分割样本库；
步骤二、图像预处理：对训练样本进行形态学滤波，图像随机翻转，裁剪，像素归一化，图像增强处理；
步骤三、构建MaskR-CNN养殖塘实例分割检测模型，并进行训练；
步骤四、利用训练好的实例分割模型，设计针对亚米级遥感影像养殖塘检测的工程生产流程，自动裁剪分块，在MaskR-CNN模型推理中采用多GPU分布式并行处理，提高计算效率；
步骤五、根据模型计算得到的每个养殖塘位置二值掩模图，计算轮廓信息，得到每个遥感影像块的多边形矢量，根据影像块的索引信息，对相邻影像块的多边形矢量进行空间分析、合并，最后输出整个遥感影像的养殖塘矢量Shp文件。


2.如权利要求1所述的一种基于实例分割的遥感影像养殖塘检测方法，其特征在于，所述步骤一中的建立养殖塘实例分割样本库，采用LabelMe图像标注工具进行亚米级遥感影像的养殖塘标注，包含各种状态、环境下的养殖塘，以此作为训练数据集，完成对MaskR-CNN模型的训练。


3.如权利要求1所述的一种基于实例分割的遥感影像养殖塘检测方法，其特征在于，所述步骤二中的图像预处理，为了扩充训练样本，以及去除噪声和图片尺度因素的影响，便于模型网络的训练与推理。


4.如权利要求1-3任一所述的一种基于实例分割的遥感影像养殖塘检测方法，其特征在于，所述步骤三中的构建MaskR-CNN养殖塘实例分割模型，该模型继承于FasterR-CNN，在FasterR-CNN的基础上增加MaskPrediction模块，优化了RoIPooling，提出了RoIAlign，结合了FasterR-CNN和FCN，同时完成目标检测、分类以及分割三类任务，模型的训练主要分为两个阶段，分别为：第一阶段训练区域生成网络RPN，第二阶段使用RoIAlign将RPN生成的RoI映射到featuremap对应位置，将映射后的生成的特征图进行分类、坐标回归和二值掩模图输出，具体如下：
a)首先输入图像进入主干特征提取框架，该框架采用了ResNet101网络，通过直接将输入信息绕道传到输出，保护信息的完整性；分为五部分输出，从C1级到C5级；
b)然后将提取到C2级到C5级特征输入到FPN(FeaturePyramidNetwork)网络中，得到P2到P6的5级特征，融合了从底层到高层的FeatureMaps，能够充分利用提取到各个阶段的特征；
c)根据得到的特征图[P2,P3,P4,P5,P6]的每个像素点都生成Anchor锚框，借助锚框，通过计算每个Anchor与图片上真实的GroundTruth之间的IoU，阈值大于0.7作为正样本，阈值小于0.3作为负样本，建立RPN网络训练时的正类和负类，并且计算An...

【专利技术属性】
技术研发人员：胡永利，朱济帅，李海霞，
申请(专利权)人：海南长光卫星信息技术有限公司，
类型：发明
国别省市：海南;46