一种水面物体识别的系统、方法及基于5G MEC的应用技术方案

一种水面物体识别的系统、方法及基于5G MEC的应用，该方法预先利用边缘云端完成基于改进的Yolov4深度学习方法的水面物体自动检测和识别的模型模型并临时存储模型参数，并用回传的数据制作新的图像样本以更新模型达到迁移学习；最后识别的结果发送至无人艇控制系统和用户端；该系统包括：无人艇和边缘云模块；水面物体识别基于5G MEC的应用中，将视频数据转换成视频码流数据，采用5G网络通讯模块将视频码流数据上传至边缘云，利用边缘云进行水面运动目标的检测和识别。本方案结合了YOLOv4作为目标检测算法，达到了检测精度和效率的最佳平衡，结合深度和迁移学习的识别算法，增强了无人艇避障能力和提高了垃圾回收效率。

【技术实现步骤摘要】
一种水面物体识别的系统、方法及基于5GMEC的应用
本专利技术涉及智能识别
，尤其涉及一种水面物体识别的系统、方法及基于5GMEC的应用。
技术介绍
目前水面垃圾种类繁多，为了提高清洁无人船的功能性以及安全性，无人船在航行时需要判断是进行垃圾回收或是避障，而现有无人船缺少水面物体识别系统；现有清洁无人船的地面站缺失高清的视频回传系统以及可视化平台，无法实时直观地反馈周围环境信息给用户，导致用户部署配置等体验较差，因此如何较快地实现水面物体识别并直观反馈给用户非常必要；同时，在对视频进行识别时，将每帧画面视作单独存在的一整幅图进行输入，并分别进行独立的识别操作这种策略使每识别一帧画面都无法利用之前已经计算过的结果，在识别视频过程中做了大量的重复工作；另外，对水上物体的识别如果使用深度学习方法，虽然在检测精度上达到了不错的效果，但是需要大量数据，训练参数繁多，而针对无人艇来说，较难获取复杂的失败案例数据和进行训练流程。加上无人艇行驶过程中，对目标的检测和识别是基于动态背景，传统的图像识别算法存在大量的图片预处理和特征提取环节，将增加计算时间。
技术实现思路
本专利技术的目的在于提出一种水面物体识别的方法，其使用了YOLOv4作为目标检测算法，达到了检测精度和效率的最佳平衡，结合深度和迁移学习的识别算法。本专利技术还提出一种水面物体识别的系统，其包括：无人艇和边缘云模块，用于执行上述的水面物体识别的方法。本专利技术还提出一种水面物体识别的方法基于5GMEC的应用，其将视频数据转换成视频码流数据，采用5G网络通讯模块将视频码流数据上传至边缘云，利用边缘云进行水面运动目标的检测和识别。为达此目的，本专利技术采用以下技术方案：一种水面物体识别的方法，依次包括以下步骤：(1)水面移动载体采集视频数据并预处理；(2)将视频数据转换成视频码流数据，并将视频码流数据上传至边缘云，利用边缘云进行水面运动目标的检测和识别；(3)采用筛选目标集合算法，将运动目标以外的背景轮廓从图片中过滤，缩减图片中待处理面积，得运动目标的准确位置；(4)运动目标的识别分类，包括：步骤(4-1)～(4-4)；(4-1)收集运动目标数据，根据运动目标分类，并标准制作数据集；(4-2)Yolov4网络的输入端采用Mosaic数据增强、cmBN和SAT自对抗训练的三种方法；在训练过程中,一次同时处理多张图片，通过随机缩放、随机裁剪和/或随机排布的方式进行拼接，获得足够的训练参数；(4-3)对所有数据进行归一化处理，将多维表达式转换成无量纲；(4-4)通过在ImageNet大型数据集上对Yolov4模型进行训练，使模型的训练误差达到收敛，确定模型中的参数值，训练真正用到的数据集存放着每张图片的绝对路径和真实框的位置；当神经网络的loss值几乎不变时，则可停止训练，获得识别模型；(5)基于识别模型，根据回传的视频实时自动检测物体区域的水面运动目标，并进行识别，水面移动载体进行相对应的动作。优选地，所述步骤(1)包括以下步骤：(1-1)处理第k帧图像时，同时输入第k-1帧和第k帧图像；(1-2)使用FAST特征检测提取第k-1帧画面中的特征点并使用BRIEF算法进行特征点描述；(1-3)使用与步骤(1-2)同样的方式，提取第k帧图像特征，并对第k-1帧和第k帧作帧间的图像特征匹配；若第k帧画面中出现了无法匹配的区域，说明这些改变的区域会在第k-1帧画面中出现大量新增的无法匹配的特征点；(1-4)分析并判断是否需要重新识别这些无法匹配的特征点；所述步骤(1-4)中，包括以下判断步骤：(1-4-1)若第k帧图像的部分区域内出现超过特定数量而无法匹配的特征点，即认为该区域的内容出现了较大变化，需重新识别；此时预处理算法结束，并截取变化的区域作为新的单独的图像传入识别算法；(1-4-2)若两帧画面在某区域的特征点均匹配成功，说明该小区域内前后两帧画面无显著变化，因此无需再次识别，直接去掉；(1-5)对比两帧视频画面的特征，找出并储存画面中出现改变的部分。更优地，所述步骤(1-5)包括以下步骤：(1-5-1)使用FAST-9提取特征点，设定采样阈值为9，在提取全部特征点之后，使用BRIEF算法对特征点进行描述，然后在其周围按照高斯分布随机选取128对像素点作为采样点；(1-5-2)计算第k-1帧特征点和第k帧特征点模糊相似度A，A∈[0，1]；当A＝1时表示两个点的特征完全匹配，是对应点的概率高；当A＝0是表示两个点的特征完全不同，是对应点的概率低；(1-5-3)需要在第k帧中找到一组不重复的特征点集X，并在第k-1帧中找到另一组数量相同的不重复特征点集Y，若X与Y满足大小相同、特征点都是不重复且唯一的、序号相同的两个点之间的模糊匹配度应当大于0.5三个条件，则X和Y被定义为第k-1帧及第k帧的一个匹配方案，再通过对两帧中所有符合匹配条件的点集的匹配度进行累加得到总匹配度，总匹配度最大的组合视作第k帧和第k-1帧的最佳特征点匹配方案并输出；(1-5-4)得到多个D*D网格图像并计算内容发生较大变化的区域；依次计算网格中不匹配特征点占比，当占比P大于设定的阈值时认为该网格为大变动区域，再将所有相邻的大变动区域编为一组，计算其宽度和高度，然后用矩形切割该区域并储存。优选地，所述步骤(3)包括以下步骤：(3-1)对相邻的三帧图像进行帧间差分，针对动态背景的影响，对帧差图像进行加法运算以代替同类三帧差法中的逻辑“与”运算；然后对加法运算后的帧差图像进行灰度投影，通过对相邻帧的投影做互相关运算得到相邻图像中运动目标的准确位置，从而实现运动目标的检测识别；(3-2)对加法运算后的帧差图像进行灰度投影，以序列图像中第k帧图像作为参考坝，进行图像行和列像素灰度值的累加投影；通过对水平与垂直两个方向的投影进行互相关运算，得到相邻图像中运动目标的准确位置；(3-3)当边缘节点接收到不能检测的物体图像时，该图像被发送到边缘云，如果该边缘节点多次收到的不能检测的物体为同一个物体，则边缘云将这个物体相关的图像加入训练集重新训练，并将新的模型推送到边缘节点。优选地，所述(4-1)具体为：收集水面物体数据，根据水面物体分类标准制作数据集；使用Python将所有图片重命名；使用Labelimg给每个图片的object打上标签，生成的目标信息保存于对应的“.XML”文件里；所述(4-3)具体为：将水面移动载体收集到的图像像素范围转换为0-1之间，将多维表达式转换成无量纲；转化的公式为：其中，像素Y代表经过变换后的像素；像素X代表原始像素值；像素M代表样本像素的最大值；像素L代表样本像素的最小值。进一步优化地，所述步骤(4-4)包括以下步骤：(4-4-1)生成预测框:在训练数据之前，使用K-means算法对标注出来的目标框进行聚本文档来自技高网...

【技术保护点】
1.一种水面物体识别的方法，其特征在于，依次包括以下步骤：/n(1)水面移动载体采集视频数据并预处理；/n(2)将视频数据转换成视频码流数据，并将视频码流数据上传至边缘云，利用边缘云进行水面运动目标的检测和识别；/n(3)采用筛选目标集合算法，将运动目标以外的背景轮廓从图片中过滤，缩减图片中待处理面积，得运动目标的准确位置；/n(4)运动目标的识别分类，包括：步骤(4-1)～(4-4)；/n(4-1)收集运动目标数据，根据运动目标分类，并标准制作数据集；/n(4-2)Yolov4网络的输入端采用Mosaic数据增强、cmBN和SAT自对抗训练的三种方法；在训练过程中,一次同时处理多张图片，通过随机缩放、随机裁剪和/或随机排布的方式进行拼接，获得足够的训练参数；/n(4-3)对所有数据进行归一化处理，将多维表达式转换成无量纲；/n(4-4)通过在ImageNet大型数据集上对Yolov4模型进行训练，使模型的训练误差达到收敛，确定模型中的参数值，训练真正用到的数据集存放着每张图片的绝对路径和真实框的位置；当神经网络的loss值几乎不变时，则可停止训练，获得识别模型；/n(5)基于识别模型，根据回传的视频实时自动检测物体区域的水面运动目标，并进行识别，水面移动载体进行相对应的动作。/n...

【技术特征摘要】
1.一种水面物体识别的方法，其特征在于，依次包括以下步骤：
(1)水面移动载体采集视频数据并预处理；
(2)将视频数据转换成视频码流数据，并将视频码流数据上传至边缘云，利用边缘云进行水面运动目标的检测和识别；
(3)采用筛选目标集合算法，将运动目标以外的背景轮廓从图片中过滤，缩减图片中待处理面积，得运动目标的准确位置；
(4)运动目标的识别分类，包括：步骤(4-1)～(4-4)；
(4-1)收集运动目标数据，根据运动目标分类，并标准制作数据集；
(4-2)Yolov4网络的输入端采用Mosaic数据增强、cmBN和SAT自对抗训练的三种方法；在训练过程中,一次同时处理多张图片，通过随机缩放、随机裁剪和/或随机排布的方式进行拼接，获得足够的训练参数；
(4-3)对所有数据进行归一化处理，将多维表达式转换成无量纲；
(4-4)通过在ImageNet大型数据集上对Yolov4模型进行训练，使模型的训练误差达到收敛，确定模型中的参数值，训练真正用到的数据集存放着每张图片的绝对路径和真实框的位置；当神经网络的loss值几乎不变时，则可停止训练，获得识别模型；
(5)基于识别模型，根据回传的视频实时自动检测物体区域的水面运动目标，并进行识别，水面移动载体进行相对应的动作。


2.根据权利要求1所述的水面物体识别的方法，其特征在于，所述步骤(1)包括以下步骤：
(1-1)处理第k帧图像时，同时输入第k-1帧和第k帧图像；
(1-2)使用FAST特征检测提取第k-1帧画面中的特征点并使用BRIEF算法进行特征点描述；
(1-3)使用与步骤(1-2)同样的方式，提取第k帧图像特征，并对第k-1帧和第k帧作帧间的图像特征匹配；若第k帧画面中出现了无法匹配的区域，说明这些改变的区域会在第k-1帧画面中出现大量新增的无法匹配的特征点；
(1-4)分析并判断是否需要重新识别这些无法匹配的特征点；
所述步骤(1-4)中，包括以下判断步骤：
(1-4-1)若第k帧图像的部分区域内出现超过特定数量而无法匹配的特征点，即认为该区域的内容出现了较大变化，需重新识别；此时预处理算法结束，并截取变化的区域作为新的单独的图像传入识别算法；
(1-4-2)若两帧画面在某区域的特征点均匹配成功，说明该小区域内前后两帧画面无显著变化，因此无需再次识别，直接去掉；
(1-5)对比两帧视频画面的特征，找出并储存画面中出现改变的部分。


3.根据权利要求2所述的水面物体识别的方法，其特征在于，所述步骤(1-5)包括以下步骤：
(1-5-1)使用FAST-9提取特征点，设定采样阈值为9，在提取全部特征点之后，使用BRIEF算法对特征点进行描述，然后在其周围按照高斯分布随机选取128对像素点作为采样点；
(1-5-2)计算第k-1帧特征点和第k帧特征点模糊相似度A，A∈[0，1]；
当A＝1时表示两个点的特征完全匹配，是对应点的概率高；
当A＝0是表示两个点的特征完全不同，是对应点的概率低；
(1-5-3)需要在第k帧中找到一组不重复的特征点集X，并在第k-1帧中找到另一组数量相同的不重复特征点集Y，若X与Y满足大小相同、特征点都是不重复且唯一的、序号相同的两个点之间的模糊匹配度应当大于0.5三个条件，则X和Y被定义为第k-1帧及第k帧的一个匹配方案，再通过对两帧中所有符合匹配条件的点集的匹配度进行累加得到总匹配度，总匹配度最大的组合视作第k帧和第k-1帧的最佳特征点匹配方案并输出；
(1-5-4)得到多个D*D网格图像并计算内容发生较大变化的区域；依次计算网格中不匹配特征点占比，当占比P大于设定的阈值时认为该网格为大变动区域，再将所有相邻的大变动区域编为一组，计算其宽度和高度，然后用矩形切割该区域并储存。


4.根据权利要求2所述的水面物体识别的方法，其特征在于，所述步骤(3)包括以下步骤：
(3-1)对相邻的三帧图像进行帧间差分，针对动态背景的影响，对帧差图像进行加法运算...

【专利技术属性】
技术研发人员：郭雅婷，钟辰威，林伟群，徐雍，鲁仁全，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：广东;44