一种水下动物的数量及其轨迹的检测方法及设备技术

本发明专利技术公开了一种水下动物的数量及其轨迹的检测方法及设备，其中，该方法包括：将拍摄水下动物的水下视频分割成若干个视频帧；通过图像目标检测算法对所述若干个视频帧的每一个视频帧中目标水下动物的数量及每一个目标水下动物的轨迹进行检测并获取若干个单帧检测结果；通过所述水下视频的时序信息和上下文信息对所述若干个单帧检测结果进行修正；根据修正后的所述若干个单帧检测结果，得到所述水下视频中目标水下动物的数量和每一个目标水下动物的轨迹；通过目标跟踪对所述水下视频中目标水下动物的数量和每一个目标水下动物的轨迹进行修正。通过本发明专利技术，能够快速且准确的识别出水下视频中水下动物的数量及其轨迹。

A Method and Equipment for Detecting the Number and Trajectory of Underwater Animals

The invention discloses a method and equipment for detecting the number and trajectory of underwater animals, which includes: dividing underwater video of underwater animals into several video frames; detecting the number of underwater animals and the trajectory of each underwater animal in each video frame of the several video frames by image target detection algorithm and acquiring if. Dry single-frame detection results; correct several single-frame detection results through the timing and context information of the underwater video; get the number of target underwater animals and the track of each target underwater animals in the underwater video according to the modified single-frame detection results; and track the target underwater animals in the underwater video through target tracking. The number and the trajectory of each target underwater animal are corrected. The invention can quickly and accurately identify the number and trajectory of underwater animals in underwater video.

【技术实现步骤摘要】
一种水下动物的数量及其轨迹的检测方法及设备
本专利技术涉及水下视频识别领域，特别涉及一种水下动物的数量及其轨迹的检测方法及设备。
技术介绍
对于水下视频中的水下动物的数量及其轨迹的识别一般采用深度学习神经网络系统，但是在实践中发现深度学习神经网络系统需要提前训练深度学习网络模型，且由于深度网络结构复杂并且涉及到大量的超参数导致该模型的训练极度耗时，无法及时快速的识别水下视频中水下动物的数量及其轨迹。
技术实现思路
本专利技术提供一种水下动物的数量及其轨迹的检测方法及设备，能够快速且准确的识别出水下视频中水下动物的数量及其轨迹。根据本专利技术的一个方面，提供了一种水下动物的数量及其轨迹的检测方法，包括以下步骤：将拍摄水下动物的水下视频分割成若干个视频帧；通过图像目标检测算法对所述若干个视频帧的每一个视频帧中目标水下动物的数量及每一个目标水下动物的轨迹进行检测并获取若干个单帧检测结果；通过所述水下视频的时序信息和上下文信息对所述若干个单帧检测结果进行修正；根据修正后的所述若干个单帧检测结果，得到所述水下视频中目标水下动物的数量和每一个目标水下动物的轨迹；通过目标跟踪对所述水下视频中目标水下动物的数量和每一个目标水下动物的轨迹进行修正。优选地，所述通过图像目标检测算法对所述若干个视频帧的每一个视频帧中目标水下动物的数量及每一个目标水下动物的轨迹进行检测并获取若干个单帧检测结果，包括以下步骤：构建图像目标检测模型；将所述若干个视频帧的每一个视频帧转换为数据输入至所述图像目标检测模型中；获取所述若干个视频帧的每一个视频帧中目标水下动物的数量及每一个目标水下动物的轨迹。优选地，所述将若干个视频帧的每一个视频帧转换为数据输入至所述图像目标检测模型中，包括以下步骤：将所述若干个视频帧的每一个视频帧作为独立的图像，并将若干个图像的每一个图像的像素都调整为M*N个；将若干个图像的每一个图像中的目标用点(x,y)表示，获取点(x,y)的像素数据F(x,y)以及灰度值f(x,y)；其中，F(x,y)为M*N的矩阵，表示点(x,y)处的像素数据，f(x,y)表示点(x,y)处的灰度值；将若干个图像的每一个图像中的目标(x,y)对应的F(x,y)和f(x,y)输入所述图像目标检测模型中。优选地，所述通过所述水下视频的时序信息和上下文信息对所述若干个单帧检测结果进行修正，包括以下步骤：根据所述水下视频的时序信息，将每一个视频帧的目标水下动物数量的检测结果都与其相邻的前一个视频帧和后一个视频帧的目标水下动物数量的检测结果进行比较；如果所述视频帧的目标水下动物数量的检测结果与其相邻的前一个视频帧和后一个视频帧的目标水下动物数量的检测结果不相同，则将所述视频帧的目标水下动物数量的检测结果修正为其相邻的前一个视频帧和后一个视频帧的目标水下动物数量的检测结果；根据所述水下视频的上下文信息，识别每一个视频帧中的目标水下动物，并对每一个视频帧中的目标水下动物数量的检测结果进行修正；根据所述水下视频的上下文信息，对每一个视频帧中的每一个目标水下动物的轨迹的检测结果进行修正。优选地，所述通过目标跟踪对所述水下视频中目标水下动物的数量和每一个目标水下动物的轨迹进行修正，包括以下步骤：从所述水下视频中的目标水下动物中选取检测得分最高的目标水下动物作为第一起始锚点进行跟踪；在所述水下视频中以所述第一起始锚点为跟踪起点分别向前和向后进行跟踪，生成第一跟踪轨迹；从所述水下视频中除所述检测得分最高的目标水下动物之外的剩余目标水下动物中选取检测得分最高的目标水下动物作为第二起始锚点进行跟踪；在所述水下视频中以所述第二起始锚点为跟踪起点分别向前和向后进行跟踪，生成第二跟踪轨迹；以此类推，得到所述水下视频中每一个目标水下动物的跟踪轨迹；根据所述水下视频中每一个目标水下动物的跟踪轨迹，对所述水下视频中目标水下动物的数量和每一个目标水下动物的轨迹进行修正。根据本专利技术的另一个方面，还提供了一种水下动物的数量及其轨迹的检测设备，包括：视频分割单元，用于将拍摄水下动物的水下视频分割成若干个视频帧；检测单元，用于通过图像目标检测算法对所述若干个视频帧的每一个视频帧中目标水下动物的数量及每一个目标水下动物的轨迹进行检测并获取若干个单帧检测结果；第一修正单元，用于通过所述水下视频的时序信息和上下文信息对所述若干个单帧检测结果进行修正；获取单元，用于根据修正后的所述若干个单帧检测结果，得到所述水下视频中目标水下动物的数量和每一个目标水下动物的轨迹；第二修正单元，用于通过目标跟踪对所述水下视频中目标水下动物的数量和每一个目标水下动物的轨迹进行修正。优选地，所述检测单元包括：模型构建子单元，用于构建图像目标检测模型；数据输入子单元，用于将所述若干个视频帧的每一个视频帧转换为数据输入至所述图像目标检测模型中；获取子单元，用于获取所述若干个视频帧的每一个视频帧中目标水下动物的数量及每一个目标水下动物的轨迹。优选地，所述数据输入子单元包括：像素调整模块，用于将所述若干个视频帧的每一个视频帧作为独立的图像，并将若干个图像的每一个图像的像素都调整为M*N个；目标采样模块，用于将若干个图像的每一个图像中的目标用点(x,y)表示，获取点(x,y)的像素数据F(x,y)以及灰度值f(x,y)；其中，F(x,y)为M*N的矩阵，表示点(x,y)处的像素数据，f(x,y)表示点(x,y)处的灰度值；数据输入模块，用于将若干个图像的每一个图像中的目标(x,y)对应的F(x,y)和f(x,y)输入所述图像目标检测模型中。优选地，所述第一修正单元包括：比较子单元，用于根据所述水下视频的时序信息，将每一个视频帧的目标水下动物数量的检测结果都与其相邻的前一个视频帧和后一个视频帧的目标水下动物数量的检测结果进行比较；第一修正子单元，用于当所述比较子单元比较所述视频帧的目标水下动物数量的检测结果与其相邻的前一个视频帧和后一个视频帧的目标水下动物数量的检测结果不相同时，将所述视频帧的目标水下动物数量的检测结果修正为其相邻的前一个视频帧和后一个视频帧的目标水下动物数量的检测结果；第二修正子单元，用于根据所述水下视频的上下文信息，识别每一个视频帧中的目标水下动物，并对每一个视频帧中的目标水下动物数量的检测结果进行修正；轨迹修正子单元，用于根据所述水下视频的上下文信息，对每一个视频帧中的每一个目标水下动物的轨迹的检测结果进行修正。优选地，所述第二修正单元包括：第一起点选取子单元，用于从所述水下视频中的目标水下动物中选取检测得分最高的目标水下动物作为第一起始锚点进行跟踪；第一轨迹生成子单元，用于在所述水下视频中以所述第一起始锚点为跟踪起点分别向前和向后进行跟踪，生成第一跟踪轨迹；第二起点选取子单元，用于从所述水下视频中除所述检测得分最高的目标水下动物之外的剩余目标水下动物中选取检测得分最高的目标水下动物作为第二起始锚点进行跟踪；第二轨迹生成子单元，用于在所述水下视频中以所述第二起始锚点为跟踪起点分别向前和向后进行跟踪，生成第二跟踪轨迹；跟踪轨迹生成子单元，用于根据第一跟踪轨迹和第二跟踪轨迹的生成方法，得到所述水下视频中每一个目标水下动物的跟踪轨迹；第三修正子单元，用于根据所述水下视频中每一个目标水下动物的跟踪轨迹，对所述水下视频中目本文档来自技高网...

【技术保护点】
1.一种水下动物的数量及其轨迹的检测方法，其特征在于，包括以下步骤：将拍摄水下动物的水下视频分割成若干个视频帧；通过图像目标检测算法对所述若干个视频帧的每一个视频帧中目标水下动物的数量及每一个目标水下动物的轨迹进行检测并获取若干个单帧检测结果；通过所述水下视频的时序信息和上下文信息对所述若干个单帧检测结果进行修正；根据修正后的所述若干个单帧检测结果，得到所述水下视频中目标水下动物的数量和每一个目标水下动物的轨迹；通过目标跟踪对所述水下视频中目标水下动物的数量和每一个目标水下动物的轨迹进行修正。

【技术特征摘要】
1.一种水下动物的数量及其轨迹的检测方法，其特征在于，包括以下步骤：将拍摄水下动物的水下视频分割成若干个视频帧；通过图像目标检测算法对所述若干个视频帧的每一个视频帧中目标水下动物的数量及每一个目标水下动物的轨迹进行检测并获取若干个单帧检测结果；通过所述水下视频的时序信息和上下文信息对所述若干个单帧检测结果进行修正；根据修正后的所述若干个单帧检测结果，得到所述水下视频中目标水下动物的数量和每一个目标水下动物的轨迹；通过目标跟踪对所述水下视频中目标水下动物的数量和每一个目标水下动物的轨迹进行修正。2.根据权利要求1所述的方法，其特征在于，所述通过图像目标检测算法对所述若干个视频帧的每一个视频帧中目标水下动物的数量及每一个目标水下动物的轨迹进行检测并获取若干个单帧检测结果，包括以下步骤：构建图像目标检测模型；将所述若干个视频帧的每一个视频帧转换为数据输入至所述图像目标检测模型中；获取所述若干个视频帧的每一个视频帧中目标水下动物的数量及每一个目标水下动物的轨迹。3.根据权利要求2所述的方法，其特征在于，所述将若干个视频帧的每一个视频帧转换为数据输入至所述图像目标检测模型中，包括以下步骤：将所述若干个视频帧的每一个视频帧作为独立的图像，并将若干个图像的每一个图像的像素都调整为M*N个；将若干个图像的每一个图像中的目标用点(x,y)表示，获取点(x,y)的像素数据F(x,y)以及灰度值f(x,y)；其中，F(x,y)为M*N的矩阵，表示点(x,y)处的像素数据，f(x,y)表示点(x,y)处的灰度值；将若干个图像的每一个图像中的目标(x,y)对应的F(x,y)和f(x,y)输入所述图像目标检测模型中。4.根据权利要求1所述的方法，其特征在于，所述通过所述水下视频的时序信息和上下文信息对所述若干个单帧检测结果进行修正，包括以下步骤：根据所述水下视频的时序信息，将每一个视频帧的目标水下动物数量的检测结果都与其相邻的前一个视频帧和后一个视频帧的目标水下动物数量的检测结果进行比较；如果所述视频帧的目标水下动物数量的检测结果与其相邻的前一个视频帧和后一个视频帧的目标水下动物数量的检测结果不相同，则将所述视频帧的目标水下动物数量的检测结果修正为其相邻的前一个视频帧和后一个视频帧的目标水下动物数量的检测结果；根据所述水下视频的上下文信息，识别每一个视频帧中的目标水下动物，并对每一个视频帧中的目标水下动物数量的检测结果进行修正；根据所述水下视频的上下文信息，对每一个视频帧中的每一个目标水下动物的轨迹的检测结果进行修正。5.根据权利要求1所述的方法，其特征在于，所述通过目标跟踪对所述水下视频中目标水下动物的数量和每一个目标水下动物的轨迹进行修正，包括以下步骤：从所述水下视频中的目标水下动物中选取检测得分最高的目标水下动物作为第一起始锚点进行跟踪；在所述水下视频中以所述第一起始锚点为跟踪起点分别向前和向后进行跟踪，生成第一跟踪轨迹；从所述水下视频中除所述检测得分最高的目标水下动物之外的剩余目标水下动物中选取检测得分最高的目标水下动物作为第二起始锚点进行跟踪；在所述水下视频中以所述第二起始锚点为跟踪起点分别向前和向后进行跟踪，生成第二跟踪轨迹；以此类推，得到所述水下视频中每一个目标水下动物的跟踪轨迹；根据所述水下视频中每一个目标水下动物的跟踪轨迹，对所述水下视频中目标水下动物的数量和每一个目标水下动物的轨迹进行修正。6.一种水下动物的数量及其轨迹的检测设备，其特征在于，...

【专利技术属性】
技术研发人员：熊建斌，岑健，梁琼，班勃，杨大富，杨宇强，卢江涛，徐锦华，林佳超，
申请(专利权)人：广东技术师范学院，
类型：发明
国别省市：广东,44