基于动态拟合多任务推理网络的多行人识别方法及系统技术方案

本发明专利技术公开了基于动态拟合多任务推理网络的多行人识别方法及系统，包括：获取待识别的视频流，对待识别的视频帧进行解码生成待识别的视频帧序列；将待识别的视频帧序列，输入到训练后的动态拟合多任务推理神经网络，得到行人检测结果、行人属性识别结果和行人的重识别结果。采用多任务网络将行人检测、行人属性识别、行人重识别集成为一个端到端的神经网络，在多行人属性识别任务中，大大提高了检测速度。速度。速度。

【技术实现步骤摘要】
基于动态拟合多任务推理网络的多行人识别方法及系统


[0001]本专利技术涉及视频处理、人工智能、深度学习
，特别是涉及基于动态拟合多任务推理网络的多行人识别方法及系统。

技术介绍

[0002]本部分的陈述仅仅是提到了与本专利技术相关的
技术介绍
，并不必然构成现有技术。
[0003]近些年来，随着GPU等硬件设备的的发展，深度学习技术开始崛起。在众多之领域中，包括图像分类，图像分割，图像识语音识别等，深度神经网络都取得了目前最好的效果。然而随着实际应用中的需求越来越多元化，人们不单单满足于单纯的检测功能，多任务神经网络应运而生。在机器学习中，通常关心优化某一特定指标，不管这个指标是一个标准值，还是企业KPI。为了达到这个目标，训练单一模型或多个模型集合来完成指定得任务。然后，通过精细调参，来改进模型直至性能不再提升。
[0004]尽管这样做可以针对一个任务得到一个可接受得性能，但是可能忽略了一些信息，这些信息有助于在关心的指标上做得更好。具体来说，这些信息就是相关任务的监督数据。通过在相关任务间共享表示信息，模型在原始任务上泛化性能更好，这种方法称为多任务学习。
[0005]行人属性识别作为监控场景下的重要目标之一，对社区安防、人员监控等领域具有重要意义，除此之外，可以通过行人属性作为辅助信息用于描述社区居民人物识别，定位居民移动路径。在实际应用中，监控场景下的多行人属性识别需要配合行人检测和行人重识别。行人检测是人体属性识别的前提，行人重识别可以追踪行人轨迹，并且避免重复识别产生重复数据。当前的人体属性识别方案需要配合行人检测模型以及行人重识别模型才能完成针对监控场景中的多行人属性识别，最少需要经过三个模型处理，多次的特征提出，导致效率非常慢。

技术实现思路

[0006]为了解决现有技术的不足，本专利技术提供了基于动态拟合多任务推理网络的多行人识别方法及系统；通过多任务网络将行人检测、行人属性识别、行人重识别集成到一个端到端的单任务神经网络。提出特征再提取模块对行人属性特征和行人重识别特征进行再提取，提出动态拟合策略抑制多任务损失产生的强震荡，防止梯度爆炸。该方法大大地提高了监控场景下多行人属性识别的效率。
[0007]第一方面，本专利技术提供了基于动态拟合多任务推理网络的多行人识别方法；
[0008]基于动态拟合多任务推理网络的多行人识别方法，包括：
[0009]获取待识别的视频流，对待识别的视频帧进行解码生成待识别的视频帧序列；
[0010]将待识别的视频帧序列，输入到训练后的动态拟合多任务推理神经网络，得到行人检测结果、行人属性识别结果和行人的重识别结果。
[0011]第二方面，本专利技术提供了基于动态拟合多任务推理网络的多行人识别系统；
[0012]基于动态拟合多任务推理网络的多行人识别系统，包括：
[0013]获取模块，其被配置为：获取待识别的视频流，对待识别的视频帧进行解码生成待识别的视频帧序列；
[0014]多行人识别模块，其被配置为：将待识别的视频帧序列，输入到训练后的动态拟合多任务推理神经网络，得到行人检测结果、行人属性识别结果和行人的重识别结果。
[0015]第三方面，本专利技术还提供了一种电子设备，包括：
[0016]存储器，用于非暂时性存储计算机可读指令；以及
[0017]处理器，用于运行所述计算机可读指令，
[0018]其中，所述计算机可读指令被所述处理器运行时，执行上述第一方面所述的方法。
[0019]第四方面，本专利技术还提供了一种存储介质，非暂时性地存储计算机可读指令，其中，当所述非暂时性计算机可读指令由计算机执行时，执行第一方面所述方法的指令。
[0020]与现有技术相比，本专利技术的有益效果是：
[0021]本专利技术通过视频流调度器获取摄像头视频流并进行解码生成视频帧序列，动态拟合多任务推理网络对视频帧序列进行处理，最终得到图像中的行人检测结果、行人属性识别结果、行人重识别结果。该网络通过特征重识别模块来将行人检测网络、行人属性识别网络、行人重识别网络集成到一个端到端的神经网络，并采用动态损失策略实现多任务损失的拟合。在多行人重识别领域相比于当前前沿算法形成的解决方案，该方法在实际应用中的检测效率和识别精度上均有显著优势。
[0022]采用多任务网络将行人检测、行人属性识别、行人重识别集成为一个端到端的神经网络，在多行人属性识别任务中，大大提高了检测速度。
[0023]本专利技术提出特征再提取模块对行人属性特征进行特征再提取，提高了行人属性识别的精度。
[0024]本专利技术提出动态拟合策略，抑制多任务损失的强烈震荡，防止梯度爆炸，这一策略可以很方便的迁移到其他多任务神经网络中。
[0025]本专利技术附加方面的优点将在下面的描述中部分给出，或通过本专利技术的实践了解到。
附图说明
[0026]构成本专利技术的一部分的说明书附图用来提供对本专利技术的进一步理解，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。
[0027]图1为本专利技术中多行人属性识别方法的流程图；
[0028]图2为本专利技术中动态拟合多任务推理网络的网络结构图；
[0029]图3为本专利技术中特征再提取模块的网络结构图；
[0030]图4为本专利技术中动态拟合策略的流程图。
具体实施方式
[0031]应该指出，以下详细说明都是示例性的，旨在对本专利技术提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本专利技术所属
的普通技术人员通常理解的相同含义。
[0032]需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本专利技术的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0033]在不冲突的情况下，本专利技术中的实施例及实施例中的特征可以相互组合。
[0034]本实施例所有数据的获取都在符合法律法规和用户同意的基础上，对数据的合法应用。
[0035]术语解释：ROI，region of interest感兴趣区域
[0036]实施例一
[0037]本实施例提供了基于动态拟合多任务推理网络的多行人识别方法；
[0038]如图1所示，基于动态拟合多任务推理网络的多行人识别方法，包括：
[0039]S101：获取待识别的视频流，对待识别的视频帧进行解码生成待识别的视频帧序列；
[0040]S102：将待识别的视频帧序列，输入到训练后的动态拟合多任务推理神经网络，得到行人检测结果、行人属性识别结果和行人的重识别结果。
[0041]进本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于动态拟合多任务推理网络的多行人识别方法，其特征是，包括：获取待识别的视频流，对待识别的视频帧进行解码生成待识别的视频帧序列；将待识别的视频帧序列，输入到训练后的动态拟合多任务推理神经网络，得到行人检测结果、行人属性识别结果和行人的重识别结果。2.如权利要求1所述的基于动态拟合多任务推理网络的多行人识别方法，其特征是，所述动态拟合多任务推理神经网络，包括：特征提取层，所述特征提取层的输入端用于输入待识别的视频帧序列；所述特征提取层的输出端分别与行人检测分支的输入端、行人属性识别分支的输入端和行人重识别分支的输入端连接；行人检测分支的输出端用于输出行人检测结果；行人属性识别分支的输出端用于输出行人属性识别结果；行人重识别分支的输出端用于输出行人重识别结果。3.如权利要求2所述的基于动态拟合多任务推理网络的多行人识别方法，其特征是，所述行人检测分支，包括：依次连接的第一区域生成网络RPN层和第一感兴趣区域ROI Align层；其中，第一区域生成网络RPN层与特征提取层连接；第一感兴趣区域ROIAlign层分别与第一特征分类层和第一边框回归层连接；所述行人检测分支，工作原理包括：经过第一RPN层提取候选框，经过第一ROI Align层进行特征对齐，最后在第一特征分类层实现行人的检测，在第一边框回归层实现行人的识别；识别类别包括：步行行人、骑行行人。4.如权利要求2所述的基于动态拟合多任务推理网络的多行人识别方法，其特征是，所述行人属性识别分支，包括：依次连接的第一特征再提取模块、第二区域生成网络RPN层和第二ROI Align层；其中，第一特征再提取模块与特征提取层连接；第一特征再提取模块与第二ROIAlign层连接，第二ROIAlign层分别与第二特征分类层和第二边框回归层连接；所述行人属性识别分支，工作原理包括：采用第一特征再提取模块提取行人属性特征，经过第二RPN层提取候选框，经过第二ROIAlign层进行特征对齐，最后在第二特征分类层和第二边框回归层实现行人属性的识别。5.如权利要求2所述的基于动态拟合多任务推理网络的多行人识别方法，其特征是，所述行人重识别分支，包括：依次连接的第二特征再提取模块和归一化层；其中，第二特征再提取模块与特征提取层连接；归一化模块与度量学习层连接；其中，度量学习层，其被配置为，计算特征之间的距离，以衡量特征之间的相似程度；...

【专利技术属性】
技术研发人员：管洪清，徐亮，王伟，孙浩云，张元杰，张庆涛，孙江涛，郝焕萍，
申请(专利权)人：青岛文达通科技股份有限公司，
类型：发明
国别省市：