一种基于卷积神经网络的监控视频中人的自动识别方法技术

本发明专利技术公开了一种基于卷积神经网络的监控视频中人的自动识别方法。该识别方法采集到的视频信息进行处理训练，将视频转成一帧帧图像，本发明专利技术提出了一种卷积神经网络，针对图像中存在着人的信息，通过本发明专利技术的卷积神经网络抽取出人的轮廓信息，针对抽取出的人的信息抽取特征值形成数据库，并且对数据库中信息打上标签，然后对被测试图像特征与服务器数据库中的信息进行比对分类，对分类结果进行计算相似度。其识别方法依次是：图像采集，图像分割，图像特征提取，构建数据库，图像匹配实现一次识别过程。本发明专利技术具有设计灵活，功能强大，系统可裁减，能满足未来对各种新增功能的需求等优点，可应用于网络安全监控各种场合。

【技术实现步骤摘要】
一种基于卷积神经网络的监控视频中人的自动识别方法
本专利技术涉及一种监控视频中人的识别方法，更具体是涉及一种基于深度学习中卷积神经网络的视频监控中人的轮廓、形状(包括正面、侧面和背面)等特征的比对和识别方法，属于网络安全

技术介绍
随着人们的安防意识的增强，视频监控作为安全防范系统的重要组成部分，是一种打击犯罪、维护人们正常生活秩序的有效手段，拥有广阔的市场前景。传统的视频监控系统获取的是整个监控画面，包括人和背景图像。需要监控管理员花费时间和人力去分析采集到的视频监控图像中具体的信息。需要采用必要的技术手段来节省图像识别的时间，以及提高图像识别的精确度。因此，如何自动识别出视频中的人是一件非常重要的工作，找出其中包含的人,对于场景分析和实现人联网具有重要意义。随着网络安全及物联网发展需要，本专利技术利用摄像头实现网络监控，同时对网络摄像头监控到的视频能进行处理，划分成一帧一帧的图像，对图像进行分析，找出其中包含的人。针对人识别采用的常用的方法有：基于几何特征的方法、模板匹配方法、子空间方法、隐马尔可夫方法、神经网络方法、弹性图匹配方法和柔性模型方法等。现有的公安安全识别技术基本都是对人脸的识别，如申请号“201510471210.3”一种基于深度学习的实时人脸识别方法及系统，申请号“201510063023.1”监控场景下基于深度学习的人脸识别系统等专利，这些专利都采用了深度学习来进行人脸识别。但在实际中，通过视频监控能采集到人脸比较困难，需要人特意而为之，综上，影响因素还有年龄增长、遮挡物影响等因素，都会使得人脸检测和识别的困难度大大提高。而在很多视频中，很容易捕捉到包含人的视频段，可以分解视频段成一帧帧图像，根据图像包含的人的信息，可以把人的形状或轮廓等信息给提取出来。相对于人脸识别只针对的人脸部分，而本专利技术针对的整个人的检测识别，根据整个人的轮廓、步态或动作进行人的识别过程。
技术实现思路
为克服上述现有专利技术技术存在的不足，本专利技术的主要目的在于提供一种基于卷积神经网络的网络摄像头监控中人的识别方法，本专利技术提出一种深度学习中新的卷积神经网络来实现图像中人的分割和识别，并构建成数据库的方法。为达到上述目的，采用如下技术方案：本专利技术的基于卷积神经网络的网络摄像头监控中人的识别方法，关于最终实现设计内容主要分为四部分：第一部分为基于卷积神经网络进行人的语义分割，采用本专利技术提出的卷积神经网络模型进行图像语义分割，将图像中的人像分割出来；第二部分为基于人抽取深度学习特征，这个特征可表示成某人的特征向量，本专利技术运用VGG模型提取图像特征；第三部分构建数据库，把某张图的人对应的一个特征向量作为一条记录，保存到数据库；第四部分为对人识别时，提取到该人的深度学习特征，并且与数据库中保存的各种人的深度学习特征进行匹配，进行配对识别，把类似的人都自动显示出来。其中，所述的第一部分基于卷积神经网络进行人的语义分割，对于摄像头采集到的视频，首先将视频转化为一帧一帧的图像。为了能够有效的提取图像中的人，本专利技术采用预先训练好的卷积神经网络模型，对摄像头拍摄的视频中的一帧一帧图像进行分割，采用本专利技术的卷积网络得到分割结果，然后将图像中除了人以外的背景像素点值全部设置为0，只保留人的那部分的像素点的值。其中，所述的第二部分基于人提取深度学习特征，采用改进的卷积神经网络VGG模型来提取图像的深度学习特征。如上所述，对卷积神经网络分割出来的人的图像，作为第二部分深度学习特征提取的输入。将图像输入到VGG模型中，将该模型作为一个特征提取器。在该模型的全连接层，提取维度为4096的图像特征，将一幅图像中人的信息转化成一行特征向量。其中，所述的第三部分人的特征数据库的构建。本专利技术将第二部分得到的一个人对应的一个特征向量，作为一条记录数据保存在数据库中，并且在对应的数据上打上标签类别，方便以后的对比匹配，数据库采用专用数据库系统软件构建，数据库存放在专用服务器里面，以确保数据安全和保密，并且该服务器与网络监控联网。其中，所述的第四部分人的识别匹配。选取任意的被测试视频，首先将视频转化为一帧一帧的图像。再通过卷积神经网络模型进行语义分割，提取图像中的人。然后通过卷积神经网络VGG模型，提取图像的深度学习特征，得到每一帧图像中人的一个特征向量。最后对获取到的特征向量与所述的第三部分中构建的特征数据库中的信息进行比对分类，对分类结果进行计算相似度，本专利技术使用欧氏距离计算实现。对于欧式距离计算的结果数值的范围在0到1之间，约接近1则说明距离越近，也就是越匹配，反之则差异度越高。对相似度大于某个阈值的匹配的人信息都输出来。本专利技术的有益效果：本专利技术主要提供一种卷积神经网络及基于该卷积神经网络的人的识别方法，区别于传统的人脸识别。本专利技术引入深度学习技术，通过本专利技术设计的卷积神经网络语义分割模型，卷积神经网络和改进VGG模型相结合，分别对视频中一帧一帧的人的图像进行分割，提取深度学习特征。并且与数据库中的信息进行比对。本专利技术能利用摄像头实现网络监控，同时对网络摄像头监控到的视频能进行处理，划分成一帧一帧的图像，对图像进行分析。找出其中包含的人。世界上没有两个完全一模一样的人，每一个具体的人都包含有一个独立的特征向量，可从人的轮廓、形状(包括正面、侧面和背面)等构建出人的特征向量数据库。为网络摄像安全的进一步发展奠定基础。附图说明图1为本专利技术提出的卷积神经网络。图2为本专利技术使用方法实现流程图；具体实施方式下面结合附图对本专利技术作进一步说明。图1为本专利技术提出的一种实现人的分割的卷积神经网络模型。该模型包含有3个池化层和卷积层，通过跳跃结构融合层间的特征，在特征图谱上进行融合，得到最终的置信图谱，即分割输出。在本模型输入图像的预处理方面，利用预训练好的残差网络ResNet-18模型，并去掉除输出层以外的后7层网络，对原始图像进行特征提取，得到一个(维度channel×高度height×宽度width)的特征图，然后再将预训练好的ResNet-18除输出层以外的倒数第7层(ResNet18[-7])、倒数第6层(ResNet18[-6])、倒数第5层(ResNet18[-5])作为后续的池化层，也就是pool3、pool4和pool5三个池化层分别对应ResNet18[-7]、ResNet18[-6]和ResNet18[-5]层，最终得到3个大小不同的中间特征图谱。随后对不同中间图谱进行卷积和采样操作，得到最终的不同层的特征图谱，实施过程包括：模型输入端是一张原始图像，以输入原始图片大小为3×320×480为例，pool3、pool4，pool5为3个池化层，首先采用对pool3池化后的特征21×10×15进行一次32倍上采样，得到21×320×480的置信图谱；其次还对pool4池化后的特征通过一次1×1卷积得到的特征图21×20×30进行一次16倍的上采样，得到21×320×480的置信图谱；最后还对pool5池化后的特征通过一次1×1卷积得到的特征图21×20×30进行一次8倍的上采样，得到21×320×480的置信图谱；最终将三张特征图谱进行融合，得到最终的特征图谱输出，得到相应区域的分割结果，实现基于卷积神经网络的人的分割。图2为本专利技术整体功能本文档来自技高网...

【技术保护点】
1.一种基于卷积神经网络的监控视频中人的自动识别方法，其特征在于，包括四个部分：第一部分为基于卷积神经网络进行人的语义分割，将图像中的人像分割出来；第二部分为基于人抽取深度学习特征，所述深度学习特征可表示成某人的特征向量；第三部分为构建数据库，把某张图的人对应的一个特征向量作为一条记录，保存到数据库；第四部分为对人识别，提取到该人的深度学习特征，并且与数据库中保存的各种人的深度学习特征进行匹配识别，把类似的人都自动显示出来。

【技术特征摘要】
1.一种基于卷积神经网络的监控视频中人的自动识别方法，其特征在于，包括四个部分：第一部分为基于卷积神经网络进行人的语义分割，将图像中的人像分割出来；第二部分为基于人抽取深度学习特征，所述深度学习特征可表示成某人的特征向量；第三部分为构建数据库，把某张图的人对应的一个特征向量作为一条记录，保存到数据库；第四部分为对人识别，提取到该人的深度学习特征，并且与数据库中保存的各种人的深度学习特征进行匹配识别，把类似的人都自动显示出来。2.根据权利要求1所述的一种基于卷积神经网络的监控视频中人的自动识别方法，其特征在于，所述第一部分是采用卷积神经网络模型进行图像中人的语义分割，具体包括：对于摄像头采集到的视频，首先将视频转化为一帧一帧的图像；然后采用预先训练好的卷积神经网络模型对摄像头拍摄的视频中的一帧一帧图像进行分割，然后将图像中除了人以外的背景像素点值全部设置为0，只保留人的那部分的像素点的值。3.根据权利要求2所述的一种基于卷积神经网络的监控视频中人的自动识别方法，其特征在于，所述卷积神经网络模型的构造包括如下：该模型包含有3个池化层和卷积层，利用预训练好的残差网络ResNet-18模型，对原始图像进行特征提取，得到一个维度channel×高度height×宽度width的特征图，通过3个池化层后分别得到大小不同的中间特征图谱，分别对中间特征图谱进行卷积和采样操作后得到三张特征图谱进行融合，得到最终的特征图谱输出。4.根据权利要求1所述的一种基于卷积神经网络的监控视频中人的自动识别方法，其特征在于，所述第二部分是采用改进的卷积神经网络VGG模型来提取图像的深度学习特征，具体包括：对第一部分利用卷积神经网络分割出来的人的图像，作为第二部分深度学习特征提取的输入，将图像输入到改进的卷积神经网络VGG模型中，将该模型作为一个特征提取器，在该模型的全连接层，提取维度为4096的图像特征，将一幅图像中人的信息转化成一行特征向量。5.根据权利要求1所述的一种基于卷积神经网络的监控视频中人的自动识别方法，其特征在于，所述第三部分中的每条记录都打上标签类别，所述数据库存放在专用服务器里面，并且该服务器与网络监控联网。6.根据权利要求1所述的一种基于卷积...

【专利技术属性】
技术研发人员：陆虎，
申请(专利权)人：江苏大学，
类型：发明
国别省市：江苏,32