一种基于深度学习和强化学习的行人重识别方法及系统技术方案

本发明专利技术公开了一种基于深度学习和强化学习的行人重识别方法及系统，其中方法包括如下步骤：接收视频获取行人图片，行人图片数据中包括身份标签和坐标信息，通过光流算法和行人坐标信息计算不同帧图片中同一行人的运动方向得到行人朝向数据，行人训练数据集包含了行人身份标签和朝向标签；利用多任务学习方法构建深度神经网络，训练行人朝向及身份识别模型；按照朝向设置决策基，根据不同决策基的组合设定决策类别，所有的决策类别构成决策空间，并根据预设的强化学习模型对决策空间中决策类别进行训练计算最优决策模型。对行人进行检索时，调用深度模型获得朝向信息，然后调用强化学习模型获得最优决策方案，进而比对行人库中的行人，得到更准确的检索结果，本发明专利技术有效利用行人朝向信息做出匹配决策，从而提高了行人重识别的准确率。

Method and system for identifying pedestrians based on depth learning and reinforcement learning

The invention discloses a method and a system for re identification of deep learning and reinforcement learning based on pedestrian, wherein the method comprises the following steps: receiving video for pedestrian pictures, including identity tags and coordinate information of pedestrian image data, through the optical flow algorithm and pedestrian coordinate information for computing motion direction in the picture frame with a different pedestrian pedestrian to get the data set contains training data, pedestrian pedestrian identification tag and orientation labels; build a deep neural network using multi task learning methods, training and identification towards the pedestrian model; according to the orientation set based decision, according to the different combinations of the decision base set decision categories, all decision categories constitute the decision space, and according to the preset reinforcement learning the model for training the decision space category calculation optimal decision model. Retrieval of the pedestrian, call the depth model get the information, and then call the reinforcement learning model to obtain the optimal decision scheme, and then on the pedestrian in the library, get more accurate retrieval results, the effective use of pedestrians towards the information to make the matching decision, to improve the precision of heavy pedestrian recognition.

【技术实现步骤摘要】
一种基于深度学习和强化学习的行人重识别方法及系统
本专利技术属于视频监控
，具体而言，涉及一种基于深度学习和强化学习的行人重识别方法及系统。
技术介绍
为了识别不同视角的非重叠监控场景下的行人身份，行人重识别技术得到广泛发展，尤其是在监控视频领域。由于不同监控场景下同一行人存在背景、光照、朝向等差异大的问题，因此如何解决背景、光照、朝向等因素的影响，从而快速检测行人并进行跟踪是当前亟待解决的技术问题。现有的行人重识别技术主要存在如下问题：目前的研究主要集中在如何有更好地表达特征以及如何更好地进行距离度量学习上。特征表达多集中在行人外表，比如整体或者子区域的衣着颜色，纹理特征等，运用这些特征虽然在识别上带来了提升，但对于衣着不对称和朝向变化带来的差异，现有的方法尚不够好，对于正面和背面差异较大的重识别，常常会造成匹配失败，带来了较多识别误差。现有的基于朝向的行人重识别匹配策略多是专家系统式的决策。例如，匹配决策时,每个人都使用相同的朝向进行比对,在没有相同朝向的情况下选择相邻或者过渡的朝向。这样的决策方法依赖于人为设计，对充分考虑的朝向或外表情况可以有很好的效果，但行人外表，朝向的多样性决定了匹配准则的复杂性，也说明了这种方法的不足。三、基于无朝向信息的匹配方法：这种方法中所有图片没有朝向信息，其中包括很多中匹配方法，比如(1)：首先计算probe和gallery中所有图片的匹配距离/相似度，对于probe和gallery的每一个人(包括与其多张图片匹配的距离)，选择类内距离最小的/相似度最大的值，再对所有类进行排序；(2)：计算所有probe和gallery中图像的可能组合得到所有匹配距离/相似度，将probe和gallery中同个人的所有距离/相似度求平均值，再进行排序。论文[1]在匹配过程中，从不同类别的图片中选取所有可能的匹配组合，通过计算权重直方图，最大化稳定的颜色区域等方法对距离进行加权归一化，再应用了方法3(1)，选取其中最小匹配距离。四、主要关注在如何用更好的方法来提取行人的特征上，如CN201410070931.9公开了一种行人重识别特征提取方法，该方法先进行行人检测和行人轮廓的提取，后根据人体对称性把行人的轮廓分为头部、左躯干、右躯干、左腿和右腿五个感兴趣区域来提取特征。
技术实现思路
为解决现有上述技术问题，本专利技术利用多任务的方法构建深度神经网络实现一次操作提取行人行为特征及朝向信息，并对其进行整理，同时对决策进行强化训练快速选择最优的决策模型实现对待识别图片的处理，完成行人的重识别。本专利技术提供了一种基于深度学习和强化的行人重识别方法，其特征在于，包括如下步骤：接收视频获取行人图片，根据行人图片获取行人坐标信息，通过光流算法和行人坐标信息计算不同帧图片中同一行人的运动方向得到行人朝向信息，并在标注行人身份信息后得到行人训练数据集，行人训练数据集包含行人的朝向信息据和身份标签；以行人训练数据集为基础，利用多任务学习方法构建并训练深度神经网络，获得行人朝向和身份识别的双任务模型；按照朝向设置决策基，根据不同决策基的组合设定决策类别，按照朝向设置决策基，根据不同决策基的组合设定决策类别，将所有的决策类别建立为决策空间，并根据预设的强化学习模型对决策空间中决策类别进行训练计算最优决策模型；接收待识别行人图片，调用双任务模型获得该行人的朝向信息后，调用最优决策模型获得最优决策，查询行人库输出对该行人识别的检索结果。进一步，所述利用多任务学习方法构建深度神经网包括分别构建数据输入层、卷积层、批规范化层、非线性层、池化层、全连接层和softmax损耗层，其中，数据输入层，用于接收行人图片，对行人图片进行预处理；卷积层，用于提取对预处理后的行人图片的图像特征；批规范化层，用于对图像特征进行规划化处理；非线性层，用于图像特征或规范化处理的图像特征进行非线性变换；池化层，用于将图像特征与行人进行映射操作；全连接层，用于对图像特征进行线性变换；softmax损耗层，用于计算预测类别和标签类别的误差。进一步，所述按照朝向设置决策基，根据不同决策基的组合设定决策类别，将所有的决策类别建立为决策空间，并根据预设的强化学习模型对决策空间中决策类别进行训练计算最优决策模型包括选择决策基组成新的决策；根据行人朝向训练行人朝向数据集，获取行人朝向匹配权重，根据匹配权重确定新的决策的种类；利用强化学习算法函数对新的决策的种类进行训练，获取最优决策模型。进一步，所述利用强化学习算法函数对决策种类计算训练，获取最优决策模型包括选择新的决策计算同一行人的行人图片预设的行人重识别库的相似度，判断相似度是否大于阈值T；如果相似度大于阈值T，计算该行人图片的回报值R，统计该行人图片的累积回报值V(S)；最大化折算累积回报函数最大化识别率对累积回报值V(S)进行计算获取最优决策模型π*。本专利技术还提供了一种基于深度学习的行人重识别系统，包括合并数据标签模块，用于接收视频获取行人图片，根据行人图片获取行人坐标信息，通过光流算法和行人坐标信息计算不同帧图片中同一行人的运动方向得到行人朝向信息，并在标注行人身份信息后得到行人训练数据集，行人训练数据集包括行人的朝向信息和身份标签；行人朝向计算模块，用于以行人训练数据集为基础，利用多任务学习方法构建并深度神经网络，获得行人朝向和身份识别的双任务模型；决策计算模块，用于按照朝向设置决策基，根据不同决策基的组合设定决策类别，将所有的决策类别建立为决策空间，并根据预设的强化学习模型对决策空间中决策类别进行训练计算最优决策模型；识别模块，用于接收待识别行人图片，调用双任务模型获得该行人的朝向信息后，调用决策学习模型获得最优决策，查询行人库输出对该行人识别的检索结果。进一步，所述行人朝向计算模块构建子模块，用于构建数据输入层、卷积层、批规范化层、非线性层、池化层、全连接层和softmax损耗层。进一步，所述决策计算模块包括决策设定子模块，用于选择决策基组成新的决策；分类子模块，用于根据行人朝向训练行人朝向数据集，获取行人朝向匹配权重，根据匹配权重计确定新的决策的种类；强化训练子模块，用于利用强化学习算法函数对新的决策的种类进行训练，获取最优决策模型。进一步，强化训练子模块包括相似度计算单元，用于选择新的决策计算同一行人的行人图片预设的行人重识别库的相似度，判断相似度是否大于阈值T；回报值计算单元，用于如果相似度大于阈值T，计算该行人图片的回报值R，统计该行人图片的累积回报值V(S)；最优决策计算单元，用于最大化折算累积回报函数最大化识别率对累积回报值V(S)进行计算获取最优决策模型π*。进一步，进一步，V(S)＝R1+γR2+γ2R3+…，其中，γ为衰减项。进一步，综上，本专利技术包括如下有益效果：1、采用深度神经网络一次完成了行人行为特征的提取和朝向识别；2、首次将强化学习应用于行人重识别中的朝向匹配策略学习上；3、强化学习更高效地利用朝向信息做出匹配决策；4、使用强化学习得到的决策模型能更充分地考虑不同的场景和数据，而且这种方法可以细化到每一类都具备决策差异，更好地做到具体问题具体决策。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，本文档来自技高网...

【技术保护点】
一种基于深度学习和强化学习的行人重识别方法，其特征在于，包括如下步骤：接收视频获取行人图片，根据行人图片获取行人坐标信息，通过光流算法和行人坐标信息计算不同帧图片中同一行人的运动方向得到行人朝向信息，并在标注行人身份信息后得到行人训练数据集，行人训练数据集包含行人的朝向信息据和身份标签；以行人训练数据集为基础，利用多任务学习方法构建并训练深度神经网络，获得行人朝向和身份识别的双任务模型；按照朝向设置决策基，根据不同决策基的组合设定决策类别，按照朝向设置决策基，根据不同决策基的组合设定决策类别，将所有的决策类别建立为决策空间，并根据预设的强化学习模型对决策空间中决策类别进行训练计算最优决策模型；接收待识别行人图片，调用双任务模型获得该行人的朝向信息后，调用最优决策模型获得最优决策，查询行人库输出对该行人识别的检索结果。

【技术特征摘要】
1.一种基于深度学习和强化学习的行人重识别方法，其特征在于，包括如下步骤：接收视频获取行人图片，根据行人图片获取行人坐标信息，通过光流算法和行人坐标信息计算不同帧图片中同一行人的运动方向得到行人朝向信息，并在标注行人身份信息后得到行人训练数据集，行人训练数据集包含行人的朝向信息据和身份标签；以行人训练数据集为基础，利用多任务学习方法构建并训练深度神经网络，获得行人朝向和身份识别的双任务模型；按照朝向设置决策基，根据不同决策基的组合设定决策类别，按照朝向设置决策基，根据不同决策基的组合设定决策类别，将所有的决策类别建立为决策空间，并根据预设的强化学习模型对决策空间中决策类别进行训练计算最优决策模型；接收待识别行人图片，调用双任务模型获得该行人的朝向信息后，调用最优决策模型获得最优决策，查询行人库输出对该行人识别的检索结果。2.根据权利要求1所述的基于深度学习和强化学习的行人重识别方法，其特征在于，所述利用多任务学习方法构建深度神经网包括分别构建数据输入层、卷积层、批规范化层、非线性层、池化层、全连接层和softmax损耗层，其中，数据输入层，用于接收行人图片，对行人图片进行预处理；卷积层，用于提取对预处理后的行人图片的图像特征；批规范化层，用于对图像特征进行规划化处理；非线性层，用于图像特征或规范化处理的图像特征进行非线性变换；池化层，用于将图像特征与行人进行映射操作；全连接层，用于对图像特征进行线性变换；softmax损耗层，用于计算预测类别和标签类别的误差。3.根据权利要求1所述的基于深度学习和强化学习的行人重识别方法，其特征在于，所述按照朝向设置决策基，根据不同决策基的组合设定决策类别，将所有的决策类别建立为决策空间，并根据预设的强化学习模型对决策空间中决策类别进行训练计算最优决策模型包括选择决策基组成新的决策；根据行人朝向训练行人朝向数据集，获取行人朝向匹配权重，根据匹配权重确定新的决策的种类；利用强化学习算法函数对新的决策的种类进行训练，获取最优决策模型。4.根据权利要求4所述的基于深度学习和强化学习的行人重识别方法，其特征在于，所述利用强化学习算法函数对决策种类计算训练，获取最优决策模型包括选择新的决策计算同一行人的行人图片预设的行人重识别库的相似度，判断相似度是否大于阈值T；如果相似度大于阈值T，计算该行人图片的回报值R，统计该行人图片的累积回报值V(S)；最大化折算累积回报函数最大化识别率对累积回报值V(S)进行计算获取最优决策模型π*。5.根据权利要...

【专利技术属性】
技术研发人员：王泽楷，赵瑞，徐静，
申请(专利权)人：深圳市深网视界科技有限公司，
类型：发明
国别省市：广东,44