水上目标识别方法、装置、终端设备及存储介质制造方法及图纸

本申请适用于视觉检测技术领域，提供了一种水上目标识别方法、装置、终端设备及存储介质，所述水上目标识别方法包括：获取针对水上目标的视频流；将所述视频流中的参考视频帧输入至第一网络，得到所述参考视频帧中目标物体所在区域的图像，所述第一网络为剪枝处理后的YOLOv4网络，且所述YOLOv4网络的损失函数为Focal Loss；将所述目标物体所在区域的图像和所述视频流中所述参考视频帧的下一帧输入至第二网络，通过所述第二网络识别出所述参考视频帧的下一帧中的所述目标物体。通过本申请可解决现有目标识别方法容易造成漏检的问题。解决现有目标识别方法容易造成漏检的问题。解决现有目标识别方法容易造成漏检的问题。

【技术实现步骤摘要】
水上目标识别方法、装置、终端设备及存储介质


[0001]本申请属于视觉检测
，尤其涉及一种水上目标识别方法、装置、终端设备及存储介质。

技术介绍

[0002]传统的船只水面感知技术主要依靠船只上搭载的毫米波雷达、激光雷达和惯性测量单元、全球定位系统(Global Positioning System，GPS)等传感器。近年来计算机视觉技术发展迅速，视频流包含更丰富的目标物体细节信息，故基于视觉的感知技术更易于对水面上的目标物体进行有效地识别。
[0003]现有技术在对视频流进行目标识别时，通常是将每帧的目标识别视为独立事件，容易造成漏检。

技术实现思路

[0004]本申请实施例提供了一种水上目标识别方法、装置、终端设备及存储介质，以解决现有目标识别方法容易造成漏检的问题。
[0005]第一方面，本申请实施例提供了一种水上目标识别方法，所述水上目标识别方法包括：
[0006]获取针对水上目标物体的视频流；
[0007]将所述视频流中的参考视频帧输入至第一网络，得到所述参考视频帧中目标物体所在区域的图像，所述第一网络为剪枝处理后的YOLOv4网络，且所述YOLOv4网络的损失函数为Focal Loss；
[0008]将所述目标物体所在区域的图像和所述视频流中所述参考视频帧的下一帧输入至第二网络，通过所述第二网络识别出所述参考视频帧的下一帧中的所述目标物体。
[0009]第二方面，本申请实施例提供了一种水上目标识别装置，所述水上目标识别装置包括：
>[0010]视频流获取模块，用于获取针对水上目标物体的视频流；
[0011]视频帧输入模块，用于将所述视频流中的参考视频帧输入至第一网络，得到所述参考视频帧中目标物体所在区域的图像，所述第一网络为剪枝处理后的YOLOv4网络，且所述YOLOv4网络的损失函数为Focal Loss；
[0012]目标识别模块，用于将所述目标物体所在区域的图像和所述视频流中所述参考视频帧的下一帧输入至第二网络，通过所述第二网络识别出所述参考视频帧的下一帧中的所述目标物体。
[0013]第三方面，本申请实施例提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述水上目标识别方法的步骤。
[0014]第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储
介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述水上目标识别方法的步骤。
[0015]第五方面，本申请实施例提供了一种计算机程序产品，当所述计算机程序产品在终端设备上运行时，使得所述终端设备执行如上述第一方面所述水上目标识别方法的步骤。
[0016]由上可见，本申请在获取针对水上目标物体采集的视频流之后，可以先将视频流中的参考视频帧输入至第一网络，得到参考视频帧中目标物体所在区域的图像，再将目标物体所在区域的图像和视频流中参考视频帧的下一帧输入至第二网络，可以通过第二网络识别出参考视频帧的下一帧中的目标物体。本申请在基于第二网络识别参考视频帧的下一帧中的目标物体时，使用到目标物体在参考视频帧中的信息，即使用到目标物体的上下文动态信息，而不是将每帧的目标识别视为独立事件，可以改善目标物体的漏检问题。另外，本申请中的第一网络为剪枝处理后的YOLOv4网络，且该YOLOv4网络的损失函数为Focal Loss，通过该YOLOv4网络能够减少计算量，提高目标识别的运算速度，提升对部分较难识别的目标物体的识别能力。
附图说明
[0017]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0018]图1是本申请实施例一提供的水上目标识别方法的实现流程示意图；
[0019]图2是本申请实施例二提供的水上目标识别方法的实现流程示意图；
[0020]图3a是参考视频帧的示例图；
[0021]图3b是图3a所示参考视频帧中的目标物体所在区域的图像；
[0022]图3c是图3b所示目标物体的掩模图像；
[0023]图3d是图3b所示目标物体所在区域的图像的H分层的示例图；
[0024]图3e是图3b所示目标物体所在区域的图像的S分层的示例图；
[0025]图3f是图3b所示目标物体所在区域的图像的V分层的示例图；
[0026]图3g是图3d所示H分层中目标物体在各颜色的像素点数量的示例图；
[0027]图3h是图3e所示S分层中目标物体在各颜色的像素点数量的示例图；
[0028]图3i是图3f所示V分层中目标物体在各颜色的像素点数量的示例图；
[0029]图4是本申请实施例三提供的水上目标识别装置的结构示意图；
[0030]图5a是在湖边码头的场景下进行目标识别测试的示例图；
[0031]图5b是在湖边码头的场景下进行目标识别测试的另一示例图；
[0032]图5c是在内河水域的场景下进行目标识别测试的示例图；
[0033]图5d是在内河水域的场景下进行目标识别测试的另一示例图；
[0034]图5e是在入海口的场景下进行目标识别测试的示例图；
[0035]图5f是在入海口的场景下进行目标识别测试的另一示例图；
[0036]图5g是在无人机航拍的场景下进行目标识别测试的示例图；
Loss。
[0051]终端设备在将参考视频帧输入至第一网络之后，第一网络可以输出参考视频帧中目标物体的第一目标框位置。第一目标框中的图像即为参考视频帧中目标物体所在区域的图像。
[0052]其中，参考视频帧中需存在目标物体，以通过第一网络检测出参考视频帧中目标物体所在区域的图像，并将参考视频帧中的目标物体所在区域的图像作为目标物体的模板，通过第二网络进行后续视频帧中目标物体的识别，实现目标物体的精准跟踪。目标物体可以是视频帧中的任一物体，例如船只、航标、浮木等。
[0053]在一个实施例中，终端设备可以先将视频流中的首帧输入至第一网络，若通过第一网络检测到首帧中存在目标物体，则可以确定首帧为参考视频帧；若通过第一网络检测到首帧中不存在目标物体，则可以将首帧的下一帧输入至第一网络，通过第一网络检测首帧的下一帧中是否存在目标物体，直到检测到存在目标物体的视频帧，该视频帧即为参考视频帧。
[0054]以终端设备为边缘计算平台为例，第一网络和第二网络均可运行在边缘计算平台上。在第一网络和第二网络运行在边缘计算平台上之前，可以先在高性能计算机上对第一网络和第二网络进行训练，该训练可以基于稳定高效的PyTorch深度学习框架完成。在训练完成后，可以将训练后的网络由PyTorch深本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种水上目标识别方法，其特征在于，所述水上目标识别方法包括：获取针对水上目标物体的视频流；将所述视频流中的参考视频帧输入至第一网络，得到所述参考视频帧中目标物体所在区域的图像，所述第一网络为剪枝处理后的YOLOv4网络，且所述YOLOv4网络的损失函数为FocalLoss；将所述目标物体所在区域的图像和所述视频流中所述参考视频帧的下一帧输入至第二网络，通过所述第二网络识别出所述参考视频帧的下一帧中的所述目标物体。2.如权利要求1所述的水上目标识别方法，其特征在于，通过所述第二网络识别出所述参考视频帧的下一帧中的所述目标物体之后，还包括：输出所述目标物体的第一置信度；获取所述第二网络的已跟踪帧数；若所述目标物体的第一置信度小于第一置信度阈值，和/或所述第二网络的已跟踪帧数大于帧数阈值，则将所述参考视频帧的下一帧作为所述参考视频帧，并返回执行将参考视频帧输入至所述第一网络的步骤；若所述目标物体的第一置信度小于或者等于所述第一置信度阈值，且所述第二网络的已跟踪帧数小于或者等于所述帧数阈值，则将所述参考视频帧的下一帧作为所述参考视频帧，并返回执行所述将所述目标物体所在区域的图像和所述视频流中所述参考视频帧的下一帧输入至第二网络的步骤。3.如权利要求1所述的水上目标识别方法，其特征在于，在将所述视频流中的参考视频帧输入至所述第一网络之后，还包括：输出所述目标物体的第二置信度；所述将所述目标物体所在区域的图像和所述视频流中所述参考视频帧的下一帧输入至第二网络包括：在所述目标物体的第二置信度大于第二置信度阈值时，将所述目标物体所在区域的图像和所述视频流中所述参考视频帧的下一帧输入至所述第二网络。4.如权利要求1所述的水上目标识别方法，其特征在于，在将所述视频流中的参考视频帧输入至所述第一网络之后，还包括：输出所述目标物体的类别；所述将所述目标物体所在区域的图像和所述视频流中所述参考视频帧的下一帧输入至第二网络包括：若所述目标物体的类别为目标类别，则将所述目标物体所在区域的图像和所述视频流中所述参考视频帧的下一帧输入至所述第二网络。5.如权利要求1所述的水上目标识别方法，其特征在于，在将所述视频流中的参考视频帧输入至所述第一网络之后，还包括：输出所述目标物体的第二置信度和所述目标物体的类别；所述将所述目标物体所在区域的图像和所述视频流中所述参考视频帧的下一帧输入至...

【专利技术属性】
技术研发人员：程亮，张云飞，杨春利，王磊刚，杨士远，何赟泽，杨渊，邓堡元，马敏敏，吕继方，
申请(专利权)人：云洲盐城创新科技有限公司深圳市云洲创新科技有限公司，
类型：发明
国别省市：