基于强化学习的软注意力行人重识别模型、方法、装置和系统制造方法及图纸

本发明专利技术提供了一种基于强化学习的软注意力行人重识别模型、方法、装置及系统。所述模型和方法包含初级特征提取模块、局部特征提取模块、特征掩码模块、高级特征提取模块、模型训练和测试方法，旨在通过基于轻量化模型提取的全局特征与基于强化学习提取的局部特征相结合的方式来获取更为全面且具有辨识度的行人特征信息。所述装置是一种可以运行上述模型代码的电子设备。所述系统是将该模型与道路监控设备或穿戴式警用执法记录仪、目标检测算法、多目标跟踪算法相结合形成行人重识别系统。上述模型、方法、装置和系统能够对行人全局特征与局部特征全面考虑和利用，在提升性能的同时，减少网络参数量，从而实现对行人图像的快速检索和精准识别。索和精准识别。索和精准识别。

【技术实现步骤摘要】
基于强化学习的软注意力行人重识别模型、方法、装置和系统


[0001]本专利技术涉及行人重识别技术，属于计算机视觉领域，具体是指一种基于强化学习的软注意力行人重识别模型、方法、装置和系统。

技术介绍

[0002]行人重识别(Person re
‑
identification)是利用计算机视觉技术判断图像或者视频序列中是否存在特定行人的技术。具体来讲，就是给定一个监控行人图像，然后检索跨设备下的该行人图像，旨在弥补固定摄像头的视觉局限，可广泛应用于智能安防、智能寻人系统以及智能超市等领域。近年来，行人重识别技术因为其学术价值和应用前景而广泛引起研究者们的关注。行人重识别的目标是建立起不同摄像机拍摄到的图像或视频中的人类外貌特征之间的对应关系。然而，行人图像的获取不可避免地会受到光照变化、姿态变化、视点变化、部分遮挡和周围杂波等因素的影响，这些因素在很大程度上阻碍了重识别性能的提升。
[0003]传统的行人重识别系统大多是手工提取图像特征(如纹理特征、颜色特征等)，其主要包括特征表示和距离测量两个阶段，有一定的局限性，很难处理不同摄像头拍摄的行人存在的姿态、背景、光线、尺度不同等问题。而深度学习(Deep Learning)的出现，特别是卷积神经网络(Convolutional Neural Network,CNN)的引入，使得行人重识别系统能够通过端到端的网络框架实现特征提取和分类的联合优化，深度学习方法不仅克服了传统方法在特征设计方面的困难，而且其获得的表征信息更加适用于分类目标，从而大大提升了行人重识别的性能。近年来，强化学习(Reinforcement Learning,RL)的快速发展，又为行人重识别问题带来新的解决思路。强化学习能够自适应地进行策略调整，挑选出有价值的信息加以利用，删除那些冗余或者无用的信息，从而选择最优的策略方案。目前，强化学习在行人重识别任务中的功能主要包括：选择合适的视频帧、提取关键特征、寻找最优的时空上下文信息、选择合适的距离度量方法、优化注意力模型、对图像描述符进行加权以及确定合适的算法等。这些基于强化学习的行人重识别方法表明，强化学习可以有效提升行人重识别的性能和效率，对重识别技术的发展起到了推动作用，因此利用强化学习实现局部特征提取具有十分重要的科学意义。
[0004]行人重识别目前存在的难点问题主要有如下几个方面：1)视角差异：行人重识别一般是基于跨摄像头下的任务。由于摄像头的放置位置、高度有所差异，很难得到视角一致的行人图片；2)分辨率不同：不同相机具有不同的型号和参数，所以拍摄图片的分辨率存在差异；3)姿态差异：同一行人在不同的时刻会出现如行走、站立、骑车等不同的姿态；4)光照变换：由于对行人的拍摄是一个时序性过程，不同时间段的关照强度会有所不同；5)遮挡问题：由于障碍物的出现造成图片中行人身体的部分区域不可见，使得同一行人的特征信息出现很大偏差；6)背景杂波：相同行人因为背景不同可能会导致特征差异较大，而不同行人因为背景相似可能会使特征差别很小。现有的行人重识别方法一般是针对上述难点问题而设计的，主要包含以下几类方法：基于表征学习、基于度量学习、基于视频序列、基于局部特
征、基于GAN生成图片的行人重识别方法。
[0005]上述方法中，基于局部特征的行人重识别方法受到了研究界的广泛重视，尤其是联合全局特征和局部特征的处理方法，相比于仅仅基于全局或局部的方法，取得了更为显著的效果。局部特征可以通过关注图片中具有辨识度的区域来提取更多有效的信息用于重识别，以此提升网络精度。不同于目前研究中分别计算全局和局部特征损失的方法，本专利技术将局部特征以特征掩码的方式对全局特征进行加权，以得到带有局部特征加权的行人全局特征，可以更全面地建立起局部特征和全局特征之间的关联，解决现有模型或方法普遍存在对行人特征考虑不充分的问题。除此之外，为了提升网络训练速度和检索效率，本专利技术利用了轻量化模型处理全局特征以提升计算速度，利用强化学习模型来自适应地选择行人图片中的关键局部区域，以提高行人重识别性能。因此，本专利技术在创新性和研究价值上都具有重要的现实意义。

技术实现思路

[0006]本专利技术提供了一种基于强化学习的软注意力行人重识别模型、方法、装置及系统，旨在解决现有行人重识别方法对行人特征考虑不充分，利用不全面的问题。本专利技术使用深度学习提取行人图像的全局特征，使用强化学习方法提取行人图像的局部特征，再将全局特征和局部特征进行融合，形成最终的图像特征；最后结合分类损失、奖励值函数和排序损失进行模型的训练和测试。本专利技术所采用的技术方案具体如下：
[0007]一种基于强化学习的软注意力行人重识别模型，包括：初级特征提取模块(Primary Network,PN)，局部特征提取模块(Local Network,LN)，特征掩码模块(Mask Module,MM)，高级特征提取模块(Senior Network,SN)。
[0008]其中，初级特征提取模块是由卷积层、标准化层和激活层构成，其功能是对输入图片进行预处理，并学习一些低层次的图像表征，并为后续的网络模块提供数据输入。
[0009]其中，局部特征提取模块主要包括由位置网络和LSTM网络构成的强化学习环境模块和由动作网络构成的强化学习智能体模块，通过智能体和环境之间的迭代优化，学习图像的局部特征信息。位置网络以上述低层次的图像表征作为输入，以此为选定的局部区域进行编码，然后生成相应的局部特征向量。LSTM网络则可以结合当前和以前时间步得到的局部特征向量，生成环境状态向量。动作网络根据当前环境状态以及奖励值来确定之后的最佳局部区域。因此，可以将局部特征提取模块看作一个强化学习模块。
[0010]其中，特征掩码模块的功能是将上述局部特征转换为一个特征掩码，然后对低层特征进行加权处理。该模块接收局部特征提取模块生成的局部特征，并使之通过一个转换器，该转换器将对输入的局部特征做相应的矩阵变换以及指数操作，使其形状和尺寸与低层特征保持一致，然后利用其对低层特征重新赋予权重，最后将加权后的低层特征输入至高层特征提取模块中。由于此模块可以利用更具区分度的行人局部特征，对低层特征中重要的鉴别区域赋予更高的关注度，因此可以将此模块看作一个软注意力模型。
[0011]其中，高级特征提取模块的功能在于学习一个带有局部特征加权的行人全局特征，从而优化最终的图像特征表示。此模块的输入是初级特征提取模块和特征掩码模块输出的特征经过混合之后形成的。高级特征提取模块是由MobileNetV2网络中的倒残差块(Inverted Residual Blocks)、卷积标准激活层(Conv Norm Activation Layer)以及分类
器(Classifier)构成。MobileNetV2是一种非常有效的特征提取器，常用于图像分类、目标检测和图像分割任务。与行人重识别任务最常使用的特征提取器ResNet相比，MobileNetV2具有参数量小、训练速度快等特点。ResNet的残差结构是先用1x1的卷积降维，然本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于强化学习的软注意力行人重识别模型，其特征在于，包括初级特征提取模块、局部特征提取模块、特征掩码模块和高级特征提取模块。初级特征提取模块是由卷积层、标准化层和激活层构成，其功能是对输入的图片进行预处理，并学习一些低层次的图像表示；所述局部特征提取模块是利用强化学习模型实现行人局部特征提取功能，该模块分别由位置网络、长短期记忆LSTM网络和动作网络三个部分组成，其中，所述位置网络根据输入的低层次图像表征生成局部观测区域并将其编码为一个局部特征向量，所述LSTM网络结合当前观测的局部特征向量和以前的历史向量来构建环境状态，所述动作网络根据当前的环境状态选定下一个局部区域位置，通过不断迭代确定一系列最优的行人局部特征；所述特征掩码模块由一个转换器和一个特征掩码构成，其功能是将局部特征转换为形状和尺寸与低层特征一致的掩码，并对低层特征赋予相应的权重；所述高级特征提取模块是由倒残差块、卷积标准激活层以及分类器构成，其功能在于学习一个带有局部特征加权的行人全局特征，从而优化最终的图像特征表示。2.一种基于强化学习的软注意力行人重识别方法，其特征在于，包括以下步骤：对基于强化学习的软注意力行人重识别模型进行结构搭建；获取行人重识别数据集，并将其按比例划分为训练集和测试集；将训练集图片输入模型，结合分类损失函数、奖励值函数和排序损失函数对所述行人重识别模型进行训练；最后将测试集数据输入所述模型，完成模型的测试并记录结果。3.根据权利要求2所述的一种基于强化学习的软注意力行人重识别方法，其特征在于，所述模型的训练采用的是分阶段、多任务的方式进行，先后对初级特征提取网络、局部特征提取网络、特征掩码模块和高级特征提取网络进行训练。4.根据权利要求3所述的一种基于强化学习的软注意力行人重识别方法，其特征在于，用MobileNetV2网络在ImageNet上的预训练权重对初级特征提取网络PN和高级特征提取网络SN的参数进行初始化，对局部特征提取网络LN和特征掩码模块MM的参数进行随机初始化。5.根据权利要求4所述的一种基于强化学习的软注意力行人重识别方法，...

【专利技术属性】
技术研发人员：李潍，陈楚艺，李小雨，柳军，
申请(专利权)人：东南大学，
类型：发明
国别省市：