目标检测与追踪方法、装置、系统、介质和设备制造方法及图纸

本发明专利技术公开了一种目标追踪方法、装置、系统、介质和设备，包括：搭建多目标检测器模型和多目标追踪器模型，然后训练得到多目标检测器和多目标追踪器；将采集到的图像输入到多目标检测器中，检测出目标；将多目标检测器的输出输入到多目标追踪器，对目标进行追踪；上述用于搭建多目标检测器模型卷积神经网络包括依次连接的输入层、第一卷积层、第一最大汇合层、第二卷积层、第二最大汇合层、第三卷积层、第三最大汇合层、第四卷积层、第四最大汇合层、第五卷积层、第六卷积层、全连接层和输出层，本发明专利技术适用于小型无人车、移动机器人等含有低算力嵌入式设备的自动驾驶设备，能够有效提高这些自动驾驶设备完成多目标检测与追踪任务的准确度和速度。

Target detection and tracking methods, devices, systems, media and equipment

【技术实现步骤摘要】
目标检测与追踪方法、装置、系统、介质和设备
本专利技术涉及计算机视觉
，特别涉及一种目标检测与追踪方法、装置、系统、介质和设备。
技术介绍
随着时代的进步和科技的发展，智能移动机器人越来越多的出现在人们的视野中，计算机视觉是当代机器人的重要组成部分之一，相机是机器人感知外界环境、获取信息的重要传感元件，通过对相机获取到的图像信息中的物体进行检测及追踪是智能机器人最重要和基础的技术之一。在计算机视觉领域，传统的目标检测算法通常包含三个阶段：首先在输入图像上选择一些不同尺度的候选区域，然后对这些候选区域使用Harr、HOG等方法进行特征提取，最后通过SVM等机器学习分类算法对结果进行分类预测。这些检测方法的效果很大程度上取决于背景模型获取质量的好坏及人工选择特征质量的高低，它们费时费力的同时识别效果欠佳，模型通用性较差，对于复杂情况下多目标检测与追踪任务更是感到力不从心。近些年，得益于硬件性能的提升及卷积神经网络算法的突破，深度学习成为一个越来越热门的领域。深度学习的概念由Hinton等人于2006年提出。基于深度置信网络提出本文档来自技高网...

【技术保护点】
1.一种目标检测与追踪方法，应用于自动驾驶设备，其特征在于，所述方法包括：/n基于卷积神经网络搭建多目标检测器模型；/n按照马尔科夫决策规则构建卷积神经网络，作为多目标追踪器模型；/n使用训练数据集分别对多目标检测器模型和多目标追踪器模型进行训练，得到训练好的多目标检测器和多目标追踪器；/n获取待检测目标图像，并且输入到多目标检测器中，检测出待检测目标图像中的目标；/n将多目标检测器的输出输入到多目标追踪器中，通过多目标追踪器对多目标检测器中检测到的目标进行追踪；/n其中，用于搭建多目标检测器模型的卷积神经网络结构如下：包括依次连接的输入层、第一卷积层、第一最大汇合层、第二卷积层、第二最大汇合...

【技术特征摘要】
1.一种目标检测与追踪方法，应用于自动驾驶设备，其特征在于，所述方法包括：
基于卷积神经网络搭建多目标检测器模型；
按照马尔科夫决策规则构建卷积神经网络，作为多目标追踪器模型；
使用训练数据集分别对多目标检测器模型和多目标追踪器模型进行训练，得到训练好的多目标检测器和多目标追踪器；
获取待检测目标图像，并且输入到多目标检测器中，检测出待检测目标图像中的目标；
将多目标检测器的输出输入到多目标追踪器中，通过多目标追踪器对多目标检测器中检测到的目标进行追踪；
其中，用于搭建多目标检测器模型的卷积神经网络结构如下：包括依次连接的输入层、第一卷积层、第一最大汇合层、第二卷积层、第二最大汇合层、第三卷积层、第三最大汇合层、第四卷积层、第四最大汇合层、第五卷积层、第六卷积层、全连接层和输出层。


2.根据权利要求1所述的目标检测与追踪方法，其特征在于，用于搭建多目标检测器模型的卷积神经网络中：
所述第一卷积层包括32个3x3大小的卷积核；在第一卷积层中，针对于输入，使用32个3x3大小的卷积核进行卷积计算；
所述第一最大汇合层包括大小为2x2以及步长为2的卷积核；
所述第二卷积层包括64个3x3大小的卷积核以及32个1x1的卷积核；在第二卷积层中，针对于输入首先使用64个3x3大小的卷积核进行卷积计算，然后使用32个1x1的卷积核进行卷积计算；
所述第二最大汇合层包括大小为2x2以及步长为2的卷积核；
所述第三卷积层包括64个3x3大小的卷积核以及32个1x1的卷积核；在第三卷积层中，针对于输入依次进行以下步骤卷积计算：步骤1、使用64个3x3大小的卷积核进行卷积计算；使用32个1x1的卷积核进行卷积计算；步骤2、针对于步骤1处理后的结果，使用64个3x3大小的卷积核进行卷积计算；使用32个1x1的卷积核进行卷积计算；步骤3、针对于步骤2处理后的结果，使用64个3x3的卷积核进行卷积计算；
所述第三最大汇合层包括大小为2x2以及步长为2的卷积核；
所述第四卷积层包括128个3x3大小的卷积核和64个1x1的卷积核；在第四卷积层中，针对于输入依次进行以下步骤卷积计算：步骤1、首先使用128个3x3大小的卷积核进行卷积计算，然后使用64个1x1的卷积核进行卷积计算；步骤2、针对于步骤1处理后的结果，首先使用128个3x3大小的卷积核进行卷积计算，然后使用64个1x1的卷积核进行卷积计算；步骤3、针对于步骤2处理后的结果，首先使用128个3x3大小的卷积核进行卷积计算；然后使用64个1x1的卷积核进行卷积计算；步骤4、针对于步骤3处理后的结果，首先使用128个3x3大小的卷积核进行卷积计算；然后使用64个1x1的卷积核进行卷积计算；步骤5、针对于步骤4处理后的结果，使用128个3x3的卷积核进行卷积计算；
所述第四最大汇合层包括大小为2x2以及步长为2的卷积核；
所述第五卷积层包括256个3x3大小的卷积核和128个1x1的卷积核；在第五卷积层中，针对于输入依次进行以下步骤卷积计算：步骤1、首先使用256个3x3大小的卷积核进行卷积计算，然后使用128个1x1的卷积核进行卷积计算；步骤2、针对于步骤1处理后的结果，首先使用256个3x3大小的卷积核进行卷积计算，然后使用128个1x1的卷积核进行卷积计算；步骤3、针对于步骤2处理后的结果，首先使用256个3x3大小的卷积核进行卷积计算，然后使用128个1x1的卷积核进行卷积计算；步骤4、针对于步骤3处理后的结果，首先使用256个3x3大小的卷积核进行卷积计算，然后使用128个1x1的卷积核进行卷积计算；步骤5、针对于步骤4处理后的结果，使用128个大小为3x3以及步长为2的卷积核进行卷积计算；
所述第六卷积层包括512个3x3大小的卷积核和512个1x1的卷积核；在第六卷积层中，针对于输入依次进行以下步骤卷积计算：步骤1、首先使用512个3x3大小的卷积核进行卷积计算，然后使用256个1x1的卷积核进行卷积计算；步骤2、针对于步骤1处理后的结果，首先使用512个3x3大小的卷积核进行卷积计算，然后使用256个1x1的卷积核进行卷积计算；步骤3、针对于步骤2处理后的结果，使用512个1x1的卷积核进行卷积计算...

【专利技术属性】
技术研发人员：屈盛官，王圣杰，吕继亮，赵馨雨，李小强，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东;44