一种基于YOLOv3的目标检测和特征提取一体化网络制造技术

本发明专利技术公开了一种基于YOLOv3的目标检测和特征提取一体化网络，目标检测模块运行YOLOv3算法，输出3个分支检测结果，根据非极大值抑制算法对3个分支数据进行整合，得到目标检测的输出结果，网络中目标检测结果和原始图像信息输入到解码模块，解码模块根据输入信息提取出目标区域的图像并送入特征提取模块，特征提取模块运行卷积神经网络提取图像的特征信息，将每个目标的特征信息投射到超球面上，目标检测模块输出的目标信息和特征提取模块输出的特征信息一一对应，最后对目标检测的输出和特征提取的输出进行合并，得到网络的最终输出。本发明专利技术提供的一体化网络能够提供目标检测信息的同时，为跟踪网络提供目标的特征信息，能够有效提升跟踪算法的性能。

【技术实现步骤摘要】
一种基于YOLOv3的目标检测和特征提取一体化网络
本专利技术涉及计算机视觉
，尤其涉及一种基于YOLOv3的目标检测和特征提取一体化网络。
技术介绍
基于视觉的目标检测和跟踪是计算机视觉领域的重要研究课题，在视频监控、虚拟现实、人机交互、自主导航等领域具有重要的研究和实用价值。目标检测任务能够提供目标的类别、位置和大小信息，在连续帧序列目标追踪过程中，目标检测的性能好坏将直接影响后续的目标跟踪任务性能。为了实现高效的目标跟踪，期望得到目标更多的准确信息，包括目标类别、目标位置、目标大小、以及目标颜色、纹理、边缘等表现特征，丰富的目标特征是实现目标鲁棒跟踪的关键。目前的目标检测算法能够输出目标的类别、位置和大小信息，但不能够输出目标的表现特征信息，由于检测算法输出的信息有限，限制了跟踪算法的性能。
技术实现思路
为解决现有技术存在的局限和缺陷，本专利技术提供一种基于YOLOv3的目标检测和特征提取一体化网络，包括目标检测模块、解码模块和特征提取模块，所述目标检测模块运行YOLOv3算法，输出3个分支检测结果，使用非极大值抑制算法对3个分支数据进行整合，获得目标检测的输出结果；所述解码模块接收所述目标检测的输出结果和原始图像信息，通过解码提取出目标区域的图像，将所述目标区域的图像送至所述特征提取模块；所述特征提取模块运行卷积神经网络提取所述目标区域图像的特征信息，将图像特征投射到超球面上，所述超球面的坐标为所述目标的特征信息，所述特征检测模块输出的特征信息与所述目标检测模块输出的目标信息一一对应；对所述特征检测模块输出的特征信息与所述目标检测模块输出的目标信息进行合并，获得所述目标检测和特征提取一体化网络的最终输出，所述最终输出包括每个目标的类别、位置、大小以及图像特征信息。可选的，还包括：目标检测模块运行YOLOv3算法，输出3分支结果，分别为D1、D2和D3，其中通过非极大值抑制算法对3个分支数据进行整合，得到目标检测的输出结果D，其中极大值M为图像中目标数；所述解码模块提取出目标区域的图像送入所述特征提取模块，所述特征提取模块运行卷积神经网络提取图像的特征信息，获得一个特征图，计算公式如下：对提取的特征图通过全连接层，将信息转化为维度为(M×10)的特征向量f，计算公式如下：对所述特征向量f进行操作，将每个目标的特征投射到超球面上，得到特征提取网络的最终输出F，计算公式如下：其中，对所述目标检测模块和所述特征提取模块的结果进行合并，获得最终输出output，所述最终输出output包含每个目标的类别、位置、大小以及图像特征信息，计算公式如下：其中，可选的，所述超球面为一个10维的超球面。本专利技术具有下述有益效果：本专利技术提供一种基于YOLOv3的目标检测和特征提取一体化网络，目标检测模块运行YOLOv3算法，输出3个分支检测结果，根据非极大值抑制算法对3个分支数据进行整合，得到目标检测的输出结果，将目标检测结果和原始图像信息输入到解码模块，解码模块提取出目标区域的图像送入特征提取模块，特征提取模块运行卷积神经网络提取图像的特征信息，并将每个目标的特征信息投射到超球面上，超球面的坐标即为该目标的特征信息。目标检测模块输出的目标信息和特征检测模块输出的特征信息一一对应，对目标检测的输出和特征提取的输出进行合并，得到网络的最终输出。本专利技术提供的一体化网络能够提供目标检测信息的同时，为跟踪网络提供目标的特征信息，能够有效提升跟踪算法的性能。本专利技术提供的一体化网络的输出不仅包括目标检测结果，还包括目标的图像特征信息，丰富的信息输出为更高层任务奠定了基础。本专利技术提供的一体化网络的特征提取依托检测结果，只对有效的目标进行特征提取，降低了计算量，提高了算法的效率。本专利技术提供的一体化网络使用卷积神经网络，对目标特征进行提取，能够提取更多的图像细节信息，与传统方法相比具有优势。本专利技术提供的一体化网络将特征信息映射到一个10维的超球面上，便于对目标进行关联。本专利技术提供的一体化网络进行模块化设计，有利于网络的部署实现，而且能够利用YOLOv3原始网络数据进行迁移学习，降低训练的难度和成本。附图说明图1为本专利技术实施例一提供的基于YOLOv3的目标检测和特征提取一体化网络的结构示意图。具体实施方式为使本领域的技术人员更好地理解本专利技术的技术方案，下面结合附图对本专利技术提供的基于YOLOv3的目标检测和特征提取一体化网络进行详细描述。实施例一图1为本专利技术实施例一提供的基于YOLOv3的目标检测和特征提取一体化网络的结构示意图。如图1所示，本实施例提供的一种基于YOLOv3的目标检测和特征提取一体化网络，主要包括三个功能模块：目标检测模块、解码模块和特征提取模块。在工作过程中，目标检测模块运行YOLOv3算法，输出3分支检测结果，然后通过非极大值抑制算法(Non-MaximumSuppression，NMS)对3个分支数据进行整合，得到目标检测的输出结果，目标检测结果和原始图像信息输入到解码模块，解码模块提取出目标区域的图像并送入特征提取模块，特征提取模块运行卷积神经网络提取图像的特征信息，并将每个目标的特征信息投射到一个10维的超球面上，超球面的坐标即为该目标的特征信息。由于解码模块的作用，网络中目标检测模块输出的目标信息和特征检测模块输出的特征信息一一对应，最后对目标检测输出和特征提取输出进行合并，得到网络的最终输出，最终输出包含每个目标的类别、位置、大小以及图像特征信息。本实施例提供的一体化网络能够提供目标检测信息的同时，为跟踪网络提供目标的特征信息，能够有效提升跟踪算法的性能。一体化网络的输出不仅包括目标检测结果，还包括目标的图像特征信息，丰富的信息输出为更高层任务奠定了基础。一体化网络的特征提取依托检测结果，只对有效的目标进行特征提取，降低了计算量，提高了算法的效率。一体化网络使用卷积神经网络，对目标特征进行提取，能够提取更多的图像细节信息，与传统方法相比具有优势。一体化网络将特征信息映射到一个10维的超球面上，便于对目标进行关联。一体化网络进行模块化设计，有利于网络的部署实现，而且能够利用YOLOv3原始网络数据进行迁移学习，降低训练的难度和成本。本实施例提供一种基于YOLOv3的目标检测和特征提取一体化网络，目标检测模块运行YOLOv3算法，输出3个分支检测结果，根据非极大值抑制算法对3个分支数据进行整合，得到目标检测的输出结果，将目标检测结果和原始图像信息输入到解码模块，解码模块提取出目标区域的图像送入特征提取模块，特征提取模块运行卷积神经网络提取图像的特征信息，并将每个目标的特征信息投射到超球面上，超球面的坐标即为该目标的特征信息。目标检测模块输出的目标信息和特征检测模块输出的特征信息一一对应，对目标检测的输出和特征提取的输出进行合并，得到网络的最终输出。与现有技术本文档来自技高网...

【技术保护点】
1.一种基于YOLOv3的目标检测和特征提取一体化网络，其特征在于，包括目标检测模块、解码模块和特征提取模块，所述目标检测模块运行YOLOv3算法，输出3个分支检测结果，使用非极大值抑制算法对3个分支数据进行整合，获得目标检测的输出结果；/n所述解码模块接收所述目标检测的输出结果和原始图像信息，通过解码提取出目标区域的图像，将所述目标区域的图像送至所述特征提取模块；/n所述特征提取模块运行卷积神经网络提取所述目标区域图像的特征信息，将图像特征投射到超球面上，所述超球面的坐标为所述目标的特征信息，所述特征检测模块输出的特征信息与所述目标检测模块输出的目标信息一一对应；/n对所述特征检测模块输出的特征信息与所述目标检测模块输出的目标信息进行合并，获得所述目标检测和特征提取一体化网络的最终输出，所述最终输出包括每个目标的类别、位置、大小以及图像特征信息。/n

【技术特征摘要】
1.一种基于YOLOv3的目标检测和特征提取一体化网络，其特征在于，包括目标检测模块、解码模块和特征提取模块，所述目标检测模块运行YOLOv3算法，输出3个分支检测结果，使用非极大值抑制算法对3个分支数据进行整合，获得目标检测的输出结果；
所述解码模块接收所述目标检测的输出结果和原始图像信息，通过解码提取出目标区域的图像，将所述目标区域的图像送至所述特征提取模块；
所述特征提取模块运行卷积神经网络提取所述目标区域图像的特征信息，将图像特征投射到超球面上，所述超球面的坐标为所述目标的特征信息，所述特征检测模块输出的特征信息与所述目标检测模块输出的目标信息一一对应；
对所述特征检测模块输出的特征信息与所述目标检测模块输出的目标信息进行合并，获得所述目标检测和特征提取一体化网络的最终输出，所述最终输出包括每个目标的类别、位置、大小以及图像特征信息。


2.根据权利要求1所述的基于YOLOv3的目标检测和特征提取一体化网络，其特征在于，还包括：
目标检测模块运行YOLOv3算法，输出3分支结果，分别为D1...

【专利技术属性】
技术研发人员：李利华，韩勇强，刘泳庆，张路成，魏晨晨，余清鲜，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：北京;11