基于深度神经网络和图卷积网络的视频行人识别方法技术

本发明专利技术属于计算机视觉的技术领域，具体涉及基于深度神经网络和图卷积网络的视频行人识别方法，引入了一种图卷积网络的模型来捕获多标签图像识别的标签相关性，这种模型将对象分类器视为要学习的一组独立参数向量，通过基于图卷积网络的映射函数从先前的标签表示中学习相互依赖的对象分类器，然后，将生成的分类器应用于另一个子网生成的图像表示，以实现端到端训练。本发明专利技术能利用视频的时序特征，提高了行人属性识别的准确率。

【技术实现步骤摘要】
基于深度神经网络和图卷积网络的视频行人识别方法
本专利技术属于计算机视觉的
，具体涉及基于深度神经网络和图卷积网络的视频行人识别方法。
技术介绍
随着世界范围内对社会公共安全需求的日益增长，成千上万的监控摄像头被安装在各式各样的公众聚集场所，如公园、体育场馆、大型广场、学校、医院、商业街、住宅小区等，并由此产生了海量的监控图像和视频数据。同时，硬件存储能力的提升以及互联网云计算、云存储的崛起也加速了视频技术的发展和更新。如何自动地对这些海量图像、视频数据进行有效的管理、解释和利用，实现对数据语义的理解，已引起众多科研工作者和厂商的广泛关注，视频语义挖掘技术应运而生。视频语义挖掘，就是从海量视频中探索蕴含的高层结构，提取潜在的、引起人们兴趣的、相互关联的、可以理解的语义信息和模式知识的过程。行人属性是人类可以直接予以描述的行人特征，例如“性别”、“发型”、“穿衣风格”和“携带物”等等，可以同时被机器和人所理解。行人属性作为视觉属性，因其在智能监控系统中得到广泛应用而引起了极大的关注。该算法可用于检索行人并协助完成其他计算机视本文档来自技高网...

【技术保护点】
1.基于深度神经网络和图卷积网络的视频行人识别方法，其特征在于，包括如下步骤：/n步骤一、输入行人图像序列；/n步骤二、选择ResNet-50作为骨干模型，提取帧级空间特征；/n步骤三、识别是否为运动姿态属性或ID属性，若是运动姿态属性，则进行步骤四；若是ID属性，则进行步骤五；/n步骤四、将空间特征向量作为每个属性分类器中的时间注意模块的输入，并生成时间注意向量，然后，将时间注意力向量加权每个帧的空间特征，并且将生成用于识别特定属性的图像序列的最终特征向量，最后，将最终特征向量馈入全连接层以实现属性分类结果。/n步骤五、将空间特征向量作为每个属性分类器中的时间注意模块的输入，并生成大小为n×...

【技术特征摘要】
1.基于深度神经网络和图卷积网络的视频行人识别方法，其特征在于，包括如下步骤：
步骤一、输入行人图像序列；
步骤二、选择ResNet-50作为骨干模型，提取帧级空间特征；
步骤三、识别是否为运动姿态属性或ID属性，若是运动姿态属性，则进行步骤四；若是ID属性，则进行步骤五；
步骤四、将空间特征向量作为每个属性分类器中的时间注意模块的输入，并生成时间注意向量，然后，将时间注意力向量加权每个帧的空间特征，并且将生成用于识别特定属性的图像序列的最终特征向量，最后，将最终特征向量馈入全连接层以实现属性分类结果。
步骤五、将空间特征向量作为每个属性分类器中的时间注意模块的输入，并生成大小为n×1的时间注意向量，然后，将时间注意力向量加权每个帧的空间特征，并且将生成用于识别特定属性的图像序列的最终特征向量，最后，将图卷积网络引入到属性分类器中，以执行半监督分类。


2.如权利要求1所述的基于深度神经网络和图卷积网络的视频行人识别方法，其特征在于，所述步骤二中，还包括：
使用空间特征提取器，每个帧由大小为2048×4×7的张量表示，空间特征向量通过两个通道中的卷积和合并单元分别处理，采用全局最大池化来获得图像级特征；
通过属性分类器处理合并空间特征向量。


3.如权利要求1所述的基于深度神经网络和图卷积网络的视频行人识别方法，其特征在于：所述步骤五中，将图卷积网络引入到属性分类器中，以执行半监督分类，包括：
将每个图卷积网络节点的最终输出设计为属性识别任务中相应标签的分类器；
基于图卷积网络的分类器学习，通过基于图卷积网络的...

【专利技术属性】
技术研发人员：张诗晨，胡清华，朱鹏飞，钱宇浛，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津;12