一种基于深度学习的监控图像多类物体检测与识别方法技术

本发明专利技术公开了一种基于深度学习的监控图像多类物体检测与识别方法。本发明专利技术通过利用已公开的SSD深度学习检测框架，在此框架上重新设计网络结构及相应的各种参数，使其能够快速地检测到监控视频图像中受关注的物体。相对传统的图像处理方法来说，本发明专利技术采用深度学习能够自动学习更有效更丰富的特征，从而具有较高的鲁棒性。相对其他深度学习方法来说，本发明专利技术利用采用一些轻量的网络模块，重新设计目标函数，并引入了残差模块及概率热力图，从而保持了速度与性能上的优势。总得说来，本发明专利技术的方法能高效快速检测到图像中的感兴趣物体，并且能够被推广到更通用的物体检测领域。

A monitoring image based on deep learning of the multi class object detection and recognition method

The invention discloses a multi object detection and recognition method for monitoring images based on deep learning. This invention uses detection framework for SSD deep learning has been open, this framework re design the network structure and the various parameters, so that it can quickly detect concern surveillance video objects in images. Compared with the traditional image processing methods, the proposed method uses deep learning to automatically learn more efficient and richer features, and thus has higher robustness. Relative to other deep learning method, the invention uses some lightweight network module, re design the objective function, and the introduction of the module and the residual probability thermodynamic diagram, thus maintaining the speed and performance advantage. Generally speaking, the proposed method can detect objects of interest in images efficiently and quickly, and can be extended to more general field of object detection.

【技术实现步骤摘要】
一种基于深度学习的监控图像多类物体检测与识别方法
本专利技术属于视频监控
，涉及一种基于深度学习的监控图像多类物体检测与识别方法。
技术介绍
随着中国汽车数量的逐年增加以及国家对道路，小区的监控设备的持续投入，如何有效利用与解析如此大数量监控视频或图像成为目前亟需解决的问题。对这些图像内容的分析与理解无论是在交通、安防，或是在视频侦查方面都具有重要的应用。图像物体检测作为理解与解析图像的第一个步骤，其性能直接影响了后续步骤的效果。在监控图像中，人，机动车，非机动车这几类作为关注的主要主体，如何更好的检测这类物体是本专利技术主要解决的问题。目前已有的技术从路线上讲，主要有基于传统的图像处理方法或机器学习方法，比如《对图像中的车辆的检测-200980137706.X》，《一种基于图像的车辆检测方法-201310259434.9》，《一种基于图像的夜间车辆检测方法-201410104987.1》等，此类方法存在的缺点包括对环境及场景严重依赖，对时间依赖以及只能实现单类检测，检测性能低下等，这严重制约了这些技术的真正实用性。第二种路线是基于深度学习方法，比如《一种基于快速R-CNN深度本文档来自技高网...

【技术保护点】
一种基于深度学习的监控图像多类物体检测与识别方法，其特征在于该方法包括以下步骤：步骤1、收集不同地方的道路、小区监控视频图像数据，标注感兴趣的物体；步骤2、把步骤1中标注信息转成SSD支持的xml标注格式并准备训练所需要labelmap.prototxt以及val_name_size.txt，按一定的比例分为训练集与验证集；步骤3、设计训练网络：3a).结合VGG，SqueezeNet, ResNet网络重新设计网络：用SqueezeNet的网络替换原VGG网络Conv1～Conv5；用1x3, 3x1的网络取代原始VGG网络3x3的部分；在原始VGG网络Conv6～Conv8中非提取框的卷积...

【技术特征摘要】
1.一种基于深度学习的监控图像多类物体检测与识别方法，其特征在于该方法包括以下步骤：步骤1、收集不同地方的道路、小区监控视频图像数据，标注感兴趣的物体；步骤2、把步骤1中标注信息转成SSD支持的xml标注格式并准备训练所需要labelmap.prototxt以及val_name_size.txt，按一定的比例分为训练集与验证集；步骤3、设计训练网络：3a).结合VGG，SqueezeNet,ResNet网络重新设计网络：用SqueezeNet的网络替换原VGG网络Conv1～Conv5；用1x3,3x1的网络取代原始VGG网络3x3的部分；在原始VGG网络Conv6～Conv8中非提取框的卷积层引入ResNet模块；3b).统计所有标注的信息，设置不同提取框的特征层的aspect_ratio；步骤4、根据步骤3b的统计及实际应用需求，按WxH的大小生成leveldb/lmdb的数据库格式用于训练；步骤5、设计loss函数：其中：分别表示属于某个类别的概率、预测框、真实框以及预测框与真实框匹配的标记；N表示与标注框匹配的数量；为定位损失函数；表示分类损失函数；定义分类损失函数如下：表示不同类别的...

【专利技术属性】
技术研发人员：尚凌辉，王弘玥，张兆生，刘小扬，郑永宏，丁连涛，
申请(专利权)人：浙江捷尚视觉科技股份有限公司，
类型：发明
国别省市：浙江,33