一种结合多光谱图像与深度学习方法的漂浮HNS目标检测方法技术

本发明专利技术公开了一种结合多光谱图像与深度学习方法的漂浮HNS目标检测方法，该方法包括数据库准备、目标检测模型构建与模型应用检测阶段；数据库准备阶段包括HNS特征反射波段数据库、多光谱图像数据库和分类优选波段库；目标检测模型构建阶段包括区域检测图像数据集构建、图像预处理与标注、目标区域检测模型训练和目标类别检测模型训练；模型应用检测阶段包括检测图像获取与预处理、目标区域分割、目标类别检测和可视化检测。本发利用特征波段图像，具有针对性强、图像获取效率高以及检测准确度高等优点，用于多种HNS的运输船发生的泄漏事故的应急检测。

A floating HNS target detection method combining multispectral image with depth learning

【技术实现步骤摘要】
一种结合多光谱图像与深度学习方法的漂浮HNS目标检测方法
本专利技术涉及一种漂浮HNS目标检测方法，尤其涉及一种结合多光谱图像与深度学习方法的漂浮HNS目标检测方法。
技术介绍
HNS(HazardsandNoxiousSubstances)水上突发泄漏事故给生态环境与公共安全带来了巨大威胁。由于漂浮于水面的HNS通常颜色特征不明显，从普通RGB图像上看，其与水体背景差异以及类间差异较小，大大增加了目标快速自动化检测难度。目前HNS的检测研究中，使用较多的是色谱法、分光光度法和电化学法等较为敏感和准确的分析技术。这些方法大多需要精密的仪器、繁琐的抽样过程，这限制了它们应用到泄漏事故现场的应急处理上。HNS突发事故的现场应急检测，需要快速确定漂浮HNS的区域与类别以采取相应的分级预警及应急处理措施，因而对检测手段的效率提出了较高要求。自动化成像检测技术是一种快速、灵活和安全可靠的技术，在突发事故应急处理、环境检测上具有巨大的潜力和优势。目前，溢油事故应急检测方面已有采用成像检测技术的报道。中国专利CN106370307A公布了一种利用垂直偏振与水平偏振的差分热红外图像提取边缘的水面溢油成像探测方法与装置；中国专利CN105844298A公开了一种基于FuzzyARTMAP神经网络的高光谱溢油影像分类方法；中国专利CN103236063A公开一种基于多尺度谱聚类及决策级融合的SAR图像溢油检测方法。溢油的成像检测显示了该方法的可行性，深度学习方法的发展更是大大提升了其自动化程度。然而，相对于溢油检测，HNS(如苯、甲苯、二甲苯、植物油等)常为高度透明液体与水的颜色差异小，且类间差异更小，难以使用自动化成像方法自动确定泄漏区域，且基于普通图像的HNS分类更为困难。
技术实现思路
本专利技术旨在针对现有技术的不足，提供一种结合多光谱图像与深度学习方法的漂浮HNS目标检测方法。本专利技术的目的是通过以下技术方案来实现的：一种结合多光谱图像与深度学习方法的漂浮HNS目标检测方法，包括数据库准备、目标检测模型构建与模型应用检测阶段；(1)数据库准备阶段，需要建立的数据库如下：(1.1)HNS特征反射波段数据库：使用光谱反射率测量设备采集各类待检测HNS在自然水体下漂浮时的光谱反射率以及相应水体背景的光谱反射率，通过计算各类待检测HNS与水体的光谱反射率差值与夹角余弦计算等方法得到各类待检测HNS与水体反射率差异最大的特征波段；(1.2)HNS多光谱图像数据库：使用多光谱成像设备获取各类待检测HNS多光谱图像构建其光谱图像数据库，测量的多光谱图像波段需包含步骤(1.1)中的特征反射波段；(1.3)HNS分类优选波段库：从步骤(1.2)中选取各类待检测HNS的多光谱图像中对应于步骤(1.1)中的特征反射波段作为区域分割提取波段，进行图像处理分割获取HNS区域后，以此区域为依据提取其余各个光谱波段图像的HNS区域的光谱数据，利用机器学习方法训练常见HNS类别组合的多光谱分类模型，并进一步确定分类的优选波段，优选波段中需包含步骤(1.1)中的特征反射波段；(2)目标检测模型构建阶段，包含如下步骤：(2.1)区域检测图像数据集构建：使用多光谱成像设备在太阳半平面下获取待检测区域对应步骤(1.3)中的优选波段图像，并从中选取其对应于步骤(1.1)中的特征反射波段图像构建区域检测图像数据集；(2.2)图像预处理与标注：对步骤(2.1)中的数据集进行统一的光照校正平滑处理后，对区域检测图像数据集的漂浮HNS区域进行区域标注，同时从所有优选波段区域图像选定相应的标注区域分割漂浮HNS区域，并提取HNS区域的光谱数据构成类别检测图像数据集，对每组类别检测图像数据集对应的HNS类别进行分类标签标注；(2.3)目标区域检测模型训练：将区域检测图像数据集及标注数据输入深度学习神经网络模型中进行模型训练，获得HNS深度学习区域检测模型；(2.4)目标类别检测模型训练：应用类别检测图像数据集及类别标签到机器学习方法中进行分类模型训练，获得HNS的机器学习分类模型；(3)模型应用检测阶段，包含如下步骤：(3.1)检测图像获取与预处理：使用带GPS模块的多光谱成像设备在太阳半平面下同时获取待检测区域对应步骤(1.3)中的优选波段图像以及GPS定位信息，并对获取图像进行统一的光照校正平滑处理；(3.2)目标区域分割：使用步骤(2.3)中获得的HNS深度学习目标区域检测模型对检测图像进行目标区域检测，并进一步获取分割的目标区域；(3.3)目标类别检测：从步骤(3.2)获得的目标分割区域中提取优选波段多光谱图像的光谱数据，并将数据输入步骤(2.4)中获得的机器学习分类模型进行目标HNS分类，得到相应HNS区域的类别标签；(3.4)可视化检测：结合步骤(3.1)-(3.3)的检测结果，构建漂浮HNS泄漏区域、类别的可视化检测结果图。进一步地，所述的数据库准备阶段的步骤(1.3)和目标检测模型构建阶段的步骤(2.4)中的机器学习方法可以为偏最小二乘判别分析法(PLS-DA)、支持向量机法(SVM)或人工神经网络(ANN)等。进一步地，所述的目标检测模型构建阶段的步骤(2.3)中的深度神经网络模型可以为RCNN系列、SSD系列或YOLO系列等。进一步地，所述的目标检测模型构建阶段的步骤(2.3)中的深度神经网络模型与(2.4)中的机器学习分类模型可以采用多任务的方式进行一体化训练。进一步地，该方法通过漂浮HNS检测系统来实现，所述漂浮HNS检测系统包含无人机平台、多光谱成像系统、电控三维云台、通讯模块、控制模块和地面基站；所述多光谱成像系统包括成像传感器和多波段滤光片，用于采集多光谱图像；所述电控三维云台用于调节成像的观测几何；所述通讯模块用于传输图像以及地面基站指令；所述控制模块用于根据指令进行成像及系统控制；所述地面基站用于图像处理及系统控制。进一步地，在进行图像获取时，成像设备始终处于太阳平面内对目标进行成像。本专利技术的有益效果是：1、本专利技术提供的方法充分利用了高度透明HNS与水在不同光谱波段存在的反射率差异不同，选择差异最大的反射波段作为HNS图像区域检测波段，创造性地克服了漂浮HNS因为高度透明而难以进行成像检测的难题。2、本专利技术提供的方法利用多光谱图像包含的丰富光谱信息对HNS进行机器学习分类，解决了单一波段图像无法区分类间差异极小的不同HNS这一关键问题。3、本专利技术提供的方法采用构建数据库方式进行，便于在相应多种HNS的运输船发生的泄漏事故中，快速选择相应波段的多光谱成像系统进行，具有针对性强且图像获取效率高的特点。附图说明图1为本专利技术方法流程图；图2为示例样品的反射光谱曲线示意图；图3为特征反射波段优选示意图；图4为漂浮HNS样品多光谱图像示意图；图5为可视化检测结果示意图；图6为实现本专利技术方法的一种漂浮HNS检测系统示意图。具体实施方式下面结合附图和具体实施例对本专利技术作进一步详细说明。以对水上运输常见的高度透明HNS(苯、二甲苯、植物油)作为示例HNS进行检测为例，来详细说明本专利技术方法的实现过程(见图1)，具体检测操作步骤如下：(1)首先，在未发生事故时的数据库准备阶段，进行以下步骤的准备工作：S1-1、待检测HNS与水体的特征反射波段确定：使用本文档来自技高网...

【技术保护点】
1.一种结合多光谱图像与深度学习方法的漂浮HNS目标检测方法，其特征在于，该方法包括数据库准备、目标检测模型构建与模型应用检测阶段；(1)数据库准备阶段，需要建立的数据库如下：(1.1)HNS特征反射波段数据库：使用光谱反射率测量设备采集各类待检测HNS在自然水体下漂浮时的光谱反射率以及相应水体背景的光谱反射率，通过计算各类待检测HNS与水体的光谱反射率差值与夹角余弦计算得到各类待检测HNS与水体反射率差异最大的特征波段；(1.2)HNS多光谱图像数据库：使用多光谱成像设备获取各类待检测HNS多光谱图像构建其光谱图像数据库，测量的多光谱图像波段需包含步骤(1.1)中的特征反射波段；(1.3)HNS分类优选波段库：从步骤(1.2)中选取各类待检测HNS的多光谱图像中对应于步骤(1.1)中的特征反射波段作为区域分割提取波段，进行图像处理分割获取HNS区域后，以此区域为依据提取其余各个光谱波段图像的HNS区域的光谱数据，利用机器学习方法训练HNS类别组合的多光谱分类模型，并进一步确定分类的优选波段，优选波段中需包含步骤(1.1)中的特征反射波段；(2)目标检测模型构建阶段，包含如下步骤：(2.1)区域检测图像数据集构建：使用多光谱成像设备在太阳半平面下获取待检测区域对应步骤(1.3)中的优选波段图像，并从中选取其对应于步骤(1.1)中的特征反射波段图像构建区域检测图像数据集；(2.2)图像预处理与标注：对步骤(2.1)中的数据集进行统一的光照校正平滑处理后，对区域检测图像数据集的漂浮HNS区域进行区域标注，同时从所有优选波段区域图像选定相应的标注区域分割漂浮HNS区域，并提取HNS区域的光谱数据构成类别检测图像数据集，对每组类别检测图像数据集对应的HNS类别进行分类标签标注；(2.3)目标区域检测模型训练：将区域检测图像数据集及标注数据输入深度学习神经网络模型中进行模型训练，获得HNS深度学习区域检测模型；(2.4)目标类别检测模型训练：应用类别检测图像数据集及类别标签到机器学习方法中进行分类模型训练，获得HNS的机器学习分类模型；(3)模型应用检测阶段，包含如下步骤：(3.1)检测图像获取与预处理：使用带GPS模块的多光谱成像设备在太阳半平面下同时获取待检测区域对应步骤(1.3)中的优选波段图像以及GPS定位信息，并对获取图像进行统一的光照校正平滑处理；(3.2)目标区域分割：使用步骤(2.3)中获得的HNS深度学习目标区域检测模型对检测图像进行目标区域检测，并进一步获取分割的目标区域；(3.3)目标类别检测：从步骤(3.2)获得的目标分割区域中提取优选波段多光谱图像的光谱数据，并将数据输入步骤(2.4)中获得的机器学习分类模型进行目标HNS分类，得到相应HNS区域的类别标签，确定泄漏HNS的种类；(3.4)可视化检测：结合步骤(3.1)‑步骤(3.3)的检测结果，构建漂浮HNS泄漏区域、类别的可视化检测结果图。...

【技术特征摘要】
1.一种结合多光谱图像与深度学习方法的漂浮HNS目标检测方法，其特征在于，该方法包括数据库准备、目标检测模型构建与模型应用检测阶段；(1)数据库准备阶段，需要建立的数据库如下：(1.1)HNS特征反射波段数据库：使用光谱反射率测量设备采集各类待检测HNS在自然水体下漂浮时的光谱反射率以及相应水体背景的光谱反射率，通过计算各类待检测HNS与水体的光谱反射率差值与夹角余弦计算得到各类待检测HNS与水体反射率差异最大的特征波段；(1.2)HNS多光谱图像数据库：使用多光谱成像设备获取各类待检测HNS多光谱图像构建其光谱图像数据库，测量的多光谱图像波段需包含步骤(1.1)中的特征反射波段；(1.3)HNS分类优选波段库：从步骤(1.2)中选取各类待检测HNS的多光谱图像中对应于步骤(1.1)中的特征反射波段作为区域分割提取波段，进行图像处理分割获取HNS区域后，以此区域为依据提取其余各个光谱波段图像的HNS区域的光谱数据，利用机器学习方法训练HNS类别组合的多光谱分类模型，并进一步确定分类的优选波段，优选波段中需包含步骤(1.1)中的特征反射波段；(2)目标检测模型构建阶段，包含如下步骤：(2.1)区域检测图像数据集构建：使用多光谱成像设备在太阳半平面下获取待检测区域对应步骤(1.3)中的优选波段图像，并从中选取其对应于步骤(1.1)中的特征反射波段图像构建区域检测图像数据集；(2.2)图像预处理与标注：对步骤(2.1)中的数据集进行统一的光照校正平滑处理后，对区域检测图像数据集的漂浮HNS区域进行区域标注，同时从所有优选波段区域图像选定相应的标注区域分割漂浮HNS区域，并提取HNS区域的光谱数据构成类别检测图像数据集，对每组类别检测图像数据集对应的HNS类别进行分类标签标注；(2.3)目标区域检测模型训练：将区域检测图像数据集及标注数据输入深度学习神经网络模型中进行模型训练，获得HNS深度学习区域检测模型；(2.4)目标类别检测模型训练：应用类别检测图像数据集及类别标签到机器学习方法中进行分类模型训练，获得HNS的机器学习分类模型；(3)模型应用检测阶段，包含如下步骤：(3.1)检测图像获取与...

【专利技术属性】
技术研发人员：黄慧，孙泽浩，王超，王杭州，刘材材，蒋晓山，徐韧，
申请(专利权)人：浙江大学，国家海洋局东海环境监测中心，
类型：发明
国别省市：浙江,33