基于DANet的无人机海岸线漂浮垃圾巡检系统技术方案

本发明专利技术公开了基于DANet的无人机海岸线漂浮垃圾巡检系统，使用全景分割算法，不仅同时分割出图像中的背景和前景目标物体，还给每个前景目标独立的身份。通过精确的分割结果帮助无人机调整航向，实现自动规划飞行路径，同时检测海岸线中的漂浮垃圾情况，发现污染反馈定位及类别，帮助有关部门解决在长海岸线的场景下的污染巡检问题。

Floating garbage inspection system of UAV coastline based on Danet

【技术实现步骤摘要】
基于DANet的无人机海岸线漂浮垃圾巡检系统
本专利技术涉及巡检系统
，特别涉及基于DANet的无人机海岸线漂浮垃圾巡检系统。
技术介绍
随着海洋垃圾越来越严重，污染很可能随海洋生物进入人体，因此减少海洋垃圾变得尤为重要。由于海洋过大，现阶段清理的多为海岸漂浮垃圾。但是海岸线过长，边缘较为曲折，难以绘制精准的海岸线，就没有准确的清理路径。海岸线长且曲折，沿整个海岸线清理则更不现实，因此需要知道垃圾所在位置，选择性地清理。另外，有些海岸线人难以到达，影响了人工检测漂浮垃圾的效率。传统的巡检方法有人工巡逻，现场监控。人工巡逻一般只巡检平地，而像山崖、石岸，人都难以检查。巡检周期长，受视觉范围限制，耗费大量人力、物力；现场监控布置成本较高，无法覆盖整个流域，而且监控设备拍摄范围有限，容易漏检。监控视频需要人工分析，进一步加大人力成本、财力成本，另外人为分析效果因人而异，分析结果不稳定；总的来说现有技术存在的问题在于：人为巡检效率低、监控检测成本高。为解决该问题，近年来出现了一种无人机自动巡检方案，该方案解决的是河道巡检，使用无人机搭载摄像头拍摄河流视频，人为寻找视频中的污染情况。其特点是无人机的自动巡检，利用动态二值化检测海岸，自动调整飞行方向。虽然该方法无人机能自动寻路飞行，但依然需要投入大量人力观察。而且动态二值化的检测方式鲁棒性低，实际海岸线情况多变，很容易影响算法准确率，使得无人机偏移理想航线。
技术实现思路
本专利技术的目的在于至少解决现有技术中存在的技术问题之一，提供一种基于DANet的无人机海岸线漂浮垃圾巡检系统，其具有提高巡检智能度，优化无人机航线的优点，可达到低费用高效率的目标。根据本专利技术实施例的基于DANet的无人机海岸线漂浮垃圾巡检系统，包括：图像采集模块，通过无人机对需要巡检的海岸线进行视频拍摄，从视频中获取图像；特征提取模块，将图像输入到FPN网络提取浅层特征和深层特征，融合浅层特征和深层特征得到共享特征，共享特征分别通过区域生成网络分支、前景分支和背景分支，最终输出全景识别结果；网络训练模块，对图像进行标注并加入到数据集进行预训练，使得网络学习到边缘特征和颜色特征，根据海岸线巡检的要求修改分类器，对已标注的图像进行训练，使网络能够识别出海岸线以及漂浮垃圾；路径修正模块，用于调整无人机飞行方向，无人机以海岸线延伸方向为方向角向前飞行，计算所有海岸线坐标的平均值，作为无人机飞行起点，将海岸线和陆地相接的点进行排序、拟合成一条连续的曲线，计算曲线上的点的切线方向，从而确定飞行方向角。根据本专利技术实施例的基于DANet的无人机海岸线漂浮垃圾巡检系统，至少具有如下技术效果：本系统采用全景分割算法，不仅同时分割出图像中的背景和前景目标物体，还给每个前景目标独立的身份。通过精确的分割结果帮助无人机调整航向，实现自动规划飞行路径，同时检测海岸线中的漂浮垃圾情况，发现污染反馈定位及类别，帮助有关部门解决在长海岸线的场景下的污染巡检问题。本系统具有提高巡检智能度，优化无人机航线的优点，可达到低费用高效率的目标。根据本专利技术的一些实施例，所述图像采集模块从视频中每秒取五帧图像，图像分辨率为1920*1080。根据本专利技术的一些实施例，所述共享特征通过区域生成网络分支时，共享特征经过区域生成网络RPN，计算得到图像中每个可能是目标的推荐区域，推荐区域一一经过全连接层，通过softmax函数计算输出类别，经过区域回归计算出目标在图像中的位置坐标。根据本专利技术的一些实施例，所述共享特征通过前景分支分割前景目标时，共享特征通过感兴趣区域对齐算法(ROIAlign)，将区域生成网络得到的多个推荐区域先进行双线性插值，再池化成14×14和7×7的特征图，14×14的特征图进过掩膜生成网络，掩膜生成网络由残差网络ResNet50连接两层全连接层组成，输出带掩膜的特征图，得到前景目标掩膜；7×7的特征图经过分类定位网络，分类定位网络由两层连接层连接回归算法和softmax算法组成，输出获得前景目标的类别和图像中的位置坐标。根据本专利技术的一些实施例，所述共享特征通过背景分支分割图像的背景时，使用推荐区域注意力模块和掩膜注意力模块，首先共享特征和区域生成网络经过推荐区域注意力模块，特征进行对应元素乘积计算，然后与原特征元素对位相加，掩膜注意力模块融合前景特征图和背景特征图，利用前景的信息优化背景特征。根据本专利技术的一些实施例，所述网络训练模块使用强弱标签的方式对海岸图像进行标注，使用coco2014和coco2015数据集进行预训练，预训练使得网络学习到边缘特征和颜色特征，用该网络参数进行进一步训练，在使用数据集进行训练的过程中，先将预训练的分类器丢弃，保留前面隐藏层网络结构及参数，针对类别数量的不同需要根据海岸线巡检的要求修改分类器，使得输出类别数量和实际需要检测出的类别相同，修改分类器输出后将参数随机初始化，再使用已标注的海岸线图像进行训练，使得训练后的网络将能识别出海岸线以及漂浮垃圾。根据本专利技术的一些实施例，所述无人机内置图像实例分割算法和航向算法，图像实例分割算法识别海水区域，获得海水在画面中的所有x、y轴坐标保存为二维数组，取y轴坐标相同，x轴坐标最小作为海岸线坐标，计算所有海岸线坐标的平均值，作为无人机飞行起点，根据航向算法确定飞行方向角，无人机旋转调整至适合角度。根据本专利技术的一些实施例，所述无人机以海岸线所有坐标[{P1x，P1y}、{P2x，P2y}……{Pnx，Pny}]为输入，按照像素坐标x、y的平方和大小排序，计算两点欧式距离进行排序，获得相邻且连续的海岸线坐标组P，将P的坐标点拟合成曲线，分别求得偏移角度α，公式如下：α＝90°-Arctan(k)其中，k为曲线中点切线斜率，用于调整无人机飞行方向。根据本专利技术的一些实施例，还包括用于遥控无人机的终端控制模块，所述终端控制模块设有信息显示单元、无人机管理单元和信息管理单元。本专利技术还提供一种基于DANet的无人机海岸线漂浮垃圾巡检方法，包括：通过无人机对需要巡检的海岸线进行视频拍摄，从视频中获取图像；将图像输入到FPN网络提取浅层特征和深层特征，融合浅层特征和深层特征得到共享特征，共享特征分别通过区域生成网络分支、前景分支和背景分支，最终输出全景识别结果；对图像进行标注并加入到数据集进行预训练，使得网络学习到边缘特征和颜色特征，根据海岸线巡检的要求修改分类器，对已标注的图像进行训练，使网络能够识别出海岸线以及漂浮垃圾；调整无人机飞行方向，无人机以海岸线延伸方向为方向角向前飞行，计算所有海岸线坐标的平均值，作为无人机飞行起点，将海岸线和陆地相接的点进行排序、拟合成一条连续的曲线，计算曲线上的点的切线方向，从而确定飞行方向角。本专利技术的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。附图说明本专利技术的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将本文档来自技高网...

【技术保护点】
1.基于DANet的无人机海岸线漂浮垃圾巡检系统，其特征在于，包括：/n图像采集模块，通过无人机对需要巡检的海岸线进行视频拍摄，从视频中获取图像；/n特征提取模块，将图像输入到FPN网络提取浅层特征和深层特征，融合浅层特征和深层特征得到共享特征，共享特征分别通过区域生成网络分支、前景分支和背景分支，最终输出全景识别结果；/n网络训练模块，对图像进行标注并加入到数据集进行预训练，使得网络学习到边缘特征和颜色特征，根据海岸线巡检的要求修改分类器，对已标注的图像进行训练，使网络能够识别出海岸线以及漂浮垃圾；/n路径修正模块，用于调整无人机飞行方向，无人机以海岸线延伸方向为方向角向前飞行，计算所有海岸线坐标的平均值，作为无人机飞行起点，将海岸线和陆地相接的点进行排序、拟合成一条连续的曲线，计算曲线上的点的切线方向，从而确定飞行方向角。/n

【技术特征摘要】
1.基于DANet的无人机海岸线漂浮垃圾巡检系统，其特征在于，包括：
图像采集模块，通过无人机对需要巡检的海岸线进行视频拍摄，从视频中获取图像；
特征提取模块，将图像输入到FPN网络提取浅层特征和深层特征，融合浅层特征和深层特征得到共享特征，共享特征分别通过区域生成网络分支、前景分支和背景分支，最终输出全景识别结果；
网络训练模块，对图像进行标注并加入到数据集进行预训练，使得网络学习到边缘特征和颜色特征，根据海岸线巡检的要求修改分类器，对已标注的图像进行训练，使网络能够识别出海岸线以及漂浮垃圾；
路径修正模块，用于调整无人机飞行方向，无人机以海岸线延伸方向为方向角向前飞行，计算所有海岸线坐标的平均值，作为无人机飞行起点，将海岸线和陆地相接的点进行排序、拟合成一条连续的曲线，计算曲线上的点的切线方向，从而确定飞行方向角。


2.根据权利要求1所述的基于DANet的无人机海岸线漂浮垃圾巡检系统，其特征在于：所述图像采集模块从视频中每秒取五帧图像，图像分辨率为1920*1080。


3.根据权利要求1所述的基于DANet的无人机海岸线漂浮垃圾巡检系统，其特征在于：所述共享特征通过区域生成网络分支时，共享特征经过区域生成网络RPN，计算得到图像中每个可能是目标的推荐区域，推荐区域一一经过全连接层，通过softmax函数计算输出类别，经过区域回归计算出目标在图像中的位置坐标。


4.根据权利要求1所述的基于DANet的无人机海岸线漂浮垃圾巡检系统，其特征在于：所述共享特征通过前景分支分割前景目标时，共享特征通过感兴趣区域对齐算法(ROIAlign)，将区域生成网络得到的多个推荐区域先进行双线性插值，再池化成14×14和7×7的特征图，14×14的特征图进过掩膜生成网络，掩膜生成网络由残差网络ResNet50连接两层全连接层组成，输出带掩膜的特征图，得到前景目标掩膜；7×7的特征图经过分类定位网络，分类定位网络由两层连接层连接回归算法和softmax算法组成，输出获得前景目标的类别和图像中的位置坐标。


5.根据权利要求1所述的基于DANet的无人机海岸线漂浮垃圾巡检系统，其特征在于：所述共享特征通过背景分支分割图像的背景时，使用推荐区域注意力模块和掩膜注意力模块，首先共享特征和区域生成网络经过推荐区域注意力模块，特征进行对应元素乘积计算，然后与原特征元素对位相加，掩膜注意力模块融合前景特征图和背景特征图，利用前景的信息优化背景特征。


6.根据权利要求1所述的基于DANet的无人机海岸线漂浮垃...

【专利技术属性】
技术研发人员：翟懿奎，植一航，柯琪锐，余翠琳，周文略，应自炉，甘俊英，曾军英，梁艳阳，麦超云，秦传波，徐颖，
申请(专利权)人：五邑大学，
类型：发明
国别省市：广东;44