基于深度神经网络的目标检测定位系统技术方案

本发明专利技术公开了一种基于深度神经网络的目标检测定位系统，具体涉及计算机视觉技术领域，包括数据预处理模块、目标检测模块、目标定位预测模块、可视化展示模块，所述目标检测模块接收图像后，通过目标检测模型对图片数据进行检测，检测图片中目标的存在位置和目标的类别信息，同时对检测得到的信息进行标注，并通过二次标注将检测得到的信息标注到图片数据中，将经过二次标注的信息传输至目标定位预测模块；所述目标定位预测模块通过分析目标检测模块传输的数据预测目标在下一帧的位置，实现对目标位置的预测，根据预测值得到目标候选框，并对预测的结果进行修正，最后将修正的结果传输至运动特征提取模块。果传输至运动特征提取模块。果传输至运动特征提取模块。

【技术实现步骤摘要】
基于深度神经网络的目标检测定位系统


[0001]本专利技术涉及计算机视觉
，更具体地说，本专利技术涉及基于深度神经网络的目标检测定位系统。

技术介绍

[0002]人们在观看运动物体时眼球会随时聚焦运动中的物体，能够及时观测到目标的状况，如今人们通过视频实现对环境进行监视，但是现有的监控系统只能够存储和回放视频，无法对目标进行实时监控，如何让机器达到人眼类似的视觉效果，需要通过目标检测定位系统快速识别目标提取视觉信息，传统的视觉信息提取主要是利用手工特征来提取目标视频特征，卷积神经网络则是通过将多个卷积操作传统计算机视觉方法使用成熟的CV技术处理目标检测问题，从每张图像中选择重要特征是必要步骤，而随着类别数量的增加，特征提取变得越来越麻烦。要确定哪些特征最能描述不同的目标类别，取决于CV工程师的判断和长期试错。此外，每个特征定义还需要处理大量参数，所有参数必须由CV工程师进行调整。
[0003]当前深度学习引入了端到端学习的概念，即向机器提供的图像数据集中的每张图像均已标注目标类别。因而深度学习模型基于给定数据训练得到，其中神经网络发现图像类别中的底层模式，并自动提取出对于目标类别最具描述性和最显著的特征。随着CV领域中最优秀的方法纷纷使用深度学习，CV工程师的工作流程出现巨大改变，手动提取特征所需的知识和专业技能被使用深度学习架构进行迭代所需的知识和专业技能取代。
[0004]当前深度学习算法有很多，都可实现目标的检测与定位，但实时性、准确性往往不令人满意。

技术实现思路

[0005]为了克服现有技术的上述缺陷，本专利技术提供基于深度神经网络的目标检测定位系统，该系统在神经网络框架下，建立目标检测模型，通过该模型实现对检测目标的快速识别定位，以解决上述
技术介绍
中提出的现有目标检测准确度低、实时性差的问题。
[0006]该基于深度神经网络的目标检测定位系统可应用于交通、安防、医疗、工业、生活领域。
[0007]为实现上述目的，本专利技术提供如下技术方案：一种基于深度神经网络的目标检测定位系统，包括数据预处理模块、目标检测模块、目标定位预测模块、可视化展示模块，所述数据预处理模块用于将采集的监控视频转化为图片并加深图片中目标特征，再利用标注工具对处理后的图片标注，将预处理后的图片数据传输至目标检测模块；所述目标检测模块接收图像后，通过目标检测模型对图片数据进行检测，检测图片中目标的存在位置和目标的类别信息，同时对检测得到的信息进行标注，并通过二次标注将检测得到的信息标注到图片数据中，将经过二次标注的信息传输至目标定位预测模块；所述目标定位预测模块通过分析目标检测模块传输的数据预测目标在下一帧的位置，实现对目标位置的预测，根据预测值得到目标候选框，并对预测的结果进行修正，最后将修正的结果传输至可视化展示
模块；所述可视化展示模块经过目标检测和定位操作，将监控图像中的目标投影展示在背景图中，用户通过界面查看监控视频中目标的实时位置并分析其运动状态，包括运动特征提取单元和数据通讯单元，所述运动特征提取单元用于提取目标运动和外形关键特征，并将特征传输至数据通讯单元；所述数据通讯单元通过数据传输接口将目标关键特征实时性传输至可视化模块。
[0008]在一个优选地实施方式中，所述数据预处理模块包括抽帧提取单元、目标加深单元、信息标注单元，数据预处理包括下列步骤：
[0009]步骤S01、视频文件的抽帧提取：先得到含有目标的视频文件，然后从视频文件中抽取关键帧图片，生成图片数据文件集；
[0010]步骤S02、加深目标特征：通过对图片数据增强操作，加深目标特征，将处理后的图片传输至图片信息标注步骤；
[0011]步骤S04、信息标注：通过框标注和点标注进行数据标注，所述框标注指框选图片中需要监控的目标，并标注目标类别，所述点标注在框标注后，对框选内目标的关键点进行标注，所述关键点为目标的特征点，通过识别关键点得到目标；
[0012]步骤S05、数据分类：将数据按照比例分为训练集、验证集和测试集。
[0013]在一个优选地实施方式中，所述数据增强包括数据归一化处理单元和目标样本增强单元，所述数据归一化处理单元先通过灰度化处理将图片数据得到反映图片整体和局部特征的二值化图像，然后计算图像数据的均值和方差使二值化图像的分布满足正态分布；所述目标样本增强单元在数据归一化处理的基础上对数据进行旋转裁剪增加目标样本数量，所述旋转方式为根据标注信息选择目标框，以目标中心位置为中心进行旋转，以45
°
的间隔旋转为旋转结果，得到包括目标的多个训练集图片数据。
[0014]在一个优选地实施方式中，所述目标检测模块包括图片输入单元、检测尺度选择单元、特征图提取单元、预候选框处理单元，目标检测模块通过卷积神经网络、残差连接和注意力机制完成对目标的检测，所述神经网络中的特征层上包含用于增强特征的全连接层，目标检测模块基于路径聚合网络算法实现，包括下列步骤：
[0015]步骤S11、图片数据的输入：将经过数据预处理的图片数据作为目标检测模型的输入，输入前通过填充边框保持图片的长宽比一致；
[0016]步骤S12、检测尺度的选择：根据目标的大小选择合适的检测尺度，所述检测尺度采用4个尺度检测结构，通过4个尺度满足大、中、小目标的检测，四个检测尺度分别为200
×
200、100
×
100、50
×
50和25
×
25，其中200
×
200用于检测小目标，25
×
25用于检测大目标，其余用于检测中等目标；
[0017]步骤S13、特征图提取：将图片输入改进的路径聚合网络得到卷积后的特征图，所述改进方式为将特征金字塔A和特征金字塔B串联通过跨层连接结构构成，实现多尺度的上下文特征融合，每个特征金字塔包括自下而上和自上而下的结构，每个结构包括4个上下卷积阶段，每个卷积阶段将输出的特征图输入下一卷积阶段，最终得到目标特征图；
[0018]步骤S14、预候选框的处理：根据目标特征图检测得到M个预候选框，若预候选框没有重叠，取置信度最高的预候选框为边界框，若预候选框重叠则通过注意力机制筛选重叠的预候选框，得到1个包含目标的最优边界框，完成目标的检测。
[0019]在一个优选地实施方式中，所述注意力机制通过计算预候选框交并比和置信度得
到最优边界框，包括下列步骤：
[0020]步骤S21、先计算每个预候选框的置信度，再按照置信度大小对M个预测框进行排序；
[0021]步骤S22、选择置信度最大的预测框，计算它与其他预测框之间的交并比值；
[0022]步骤S23、交并比值与预测框的置信度相乘，得到预测框的最终得分；
[0023]步骤S24、根据最终得分的大小，选择分数最高的预候选框为最优边界框。
[0024]在一个优选地实施方式中，所述目标定位预测模块，用于判断目标的运动状态，包括下列步骤：
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于深度神经网络的目标检测定位系统，包括数据预处理模块、目标检测模块、目标定位预测模块、可视化展示模块，其特征在于：所述数据预处理模块用于将采集的监控视频转化为图片并加深图片中目标特征，再利用标注工具对处理后的图片标注，将预处理后的图片数据传输至目标检测模块；所述目标检测模块接收图像后，通过目标检测模型对图片数据进行检测，检测图片中目标的存在位置和目标的类别信息，同时对检测得到的信息进行标注，并通过二次标注将检测得到的信息标注到图片数据中，将经过二次标注的信息传输至目标定位预测模块；所述目标定位预测模块通过分析目标检测模块传输的数据预测目标在下一帧的位置，实现对目标位置的预测，根据预测值得到目标候选框，并对预测的结果进行修正，最后将修正的结果传输至可视化展示模块；所述可视化展示模块经过目标检测和定位操作，将监控图像中的目标投影展示在背景图中，用户通过界面查看监控视频中目标的实时位置并分析其运动状态，包括运动特征提取单元和数据通讯单元，所述运动特征提取单元用于提取目标运动和外形关键特征，并将特征传输至数据通讯单元；所述数据通讯单元通过数据传输接口将目标关键特征实时性传输至可视化模块。2.根据权利要求1所述的基于深度神经网络的目标检测定位系统，其特征在于：所述数据预处理模块包括抽帧提取单元、目标加深单元、信息标注单元，数据预处理包括下列步骤：步骤S01、视频文件的抽帧提取：先得到含有目标的视频文件，然后从视频文件中抽取关键帧图片，生成图片数据文件集；步骤S02、加深目标特征：通过对图片数据增强操作，加深目标特征，将处理后的图片传输至图片信息标注步骤；步骤S04、信息标注：通过框标注和点标注进行数据标注，所述框标注指框选图片中需要监控的目标，并标注目标类别，所述点标注在框标注后，对框选内目标的关键点进行标注，所述关键点为目标的特征点，通过识别关键点得到目标；步骤S05、数据分类：将数据按照比例分为训练集、验证集和测试集。3.根据权利要求2所述的基于深度神经网络的目标检测定位系统，其特征在于：所述数据增强包括数据归一化处理单元和目标样本增强单元，所述数据归一化处理单元先通过灰度化处理将图片数据得到反映图片整体和局部特征的二值化图像，然后计算图像数据的均值和方差使二值化图像的分布满足正态分布；所述目标样本增强单元在数据归一化处理的基础上对数据进行旋转裁剪增加目标样本数量，所述旋转方式为根据标注信息选择目标框，以目标中心位置为中心进行旋转，以45
°
的间隔旋转为旋转结果，得到包括目标的多个训练集图片数据。4.根据权利要求1所述的基于深度神经网络的目标检测定位系统，其特征在于：所述目标检测模块包括图片输入单元、检测尺度选择单元、特征图提取单元、预候选框处理单元，目标检测模块通过卷积神经网络、残差连接和注意力机制完成对目标的检测，所述神经网络中的特征层上包含用于增强特征的全连接层，目标检测模块基于路径聚合网络算法实现，包括下列步骤：步骤S11、图片数据的输入：将经过数据预处理的图片数据作为目标检测模型的输入，输入前通过填充边框...

【专利技术属性】
技术研发人员：蒋春蕾，熊仕林，褚晓锐，唐飞龙，张瑞龙，
申请(专利权)人：西昌学院，
类型：发明
国别省市：