【技术实现步骤摘要】
本专利技术涉及人工智能和计算机视觉，尤其是涉及一种多任务行人行为和属性识别方法。
技术介绍
1、智慧安防是利用先进的信息技术和人工智能技术来增强和改进安全监控和防护系统的概念，它综合运用传统的安防措施和现代技术，以提供更高效、智能化的安全保障，在某些场景下，识别行人的违规行为，如吸烟、打电话、玩手机等，成为重要的需求，此外，对经过的行人进行属性识别，有助于对监控信息进行更好的结构化；
2、目前的行人行为识别和属性分析通用做法是使用几个独立的模型，比如使用一个检测模型进行吸烟检测，一个模型进行打电话玩手机检测，一个模型进行行人属性识别，此类方法在服务端有较好性能，但是在边缘设备场景，通常设备的计算能力和内存较小，使用多个模型增加计算负担和内存负担，需要较多的设备才能完成这些任务。
3、上述中的现有技术方案存在以下缺陷：边缘ai盒子算力和存储空间有限，使用多任务模型可以减少算力和空间占用，同时多任务算法训练时各任务冲突，相对单任务模型精度下降。
技术实现思路
1、本专利技术的目的是提供一种占用更少计算资源和内存资源的多任务行人行为和属性识别方法。
2、为实现上述目的，本专利技术提供了如下技术方案：
3、一种多任务行人行为和属性识别方法，包括以下步骤：
4、步骤一：分别准备吸烟检测数据集，打电话、玩手机检测数据集，人体属性数据集；
5、步骤二：将步骤一中的3个数据集构建3个dataloader；
6、步骤
7、步骤四：训练模型，对于每一步进行训练；
8、步骤五：待模型收敛，停止训练，获得训练好的多任务模型；
9、步骤六：使用训练好的多任务模型进行推理。
10、作为本专利技术所述一种多任务行人行为和属性识别方法的一种优选方案，其中：所述步骤一中分别准备吸烟检测数据集，打电话、玩手机检测数据集，人体属性数据集，具体包括有：
11、吸烟检测数据集包括行人吸烟的照片，标注出香烟、人脸和手的矩形框。
12、作为本专利技术所述一种多任务行人行为和属性识别方法的一种优选方案，其中：所述步骤一中分别准备吸烟检测数据集，打电话、玩手机检测数据集，人体属性数据集，具体包括有：
13、吸烟检测数据集包括行人吸烟的照片，标注出香烟、人脸和手的矩形框。
14、作为本专利技术所述一种多任务行人行为和属性识别方法的一种优选方案，其中：所述步骤一中分别准备吸烟检测数据集，打电话、玩手机检测数据集，人体属性数据集，具体还包括有：
15、人体属性数据集标注出行人的朝向、性别、年龄、帽子、口罩、发型、眼镜、上衣、下装、背包和手提包的属性。
16、作为本专利技术所述一种多任务行人行为和属性识别方法的一种优选方案，其中：所述步骤四中的训练模型，对于每一步进行训练，具体包括有：
17、分别使用3个dataloader的数据输入多任务模型，只计算当前任务的loss,并将loss反向传播，若3个任务均已反向传播，使用优化器更新模型参数。
18、作为本专利技术所述一种多任务行人行为和属性识别方法的一种优选方案，其中：所述步骤四中的对于每一步进行训练，具体还包括有：
19、更新完参数后，调整学习率：三个任务的loss分别记为loss_0、loss_1、loss_2，三个任务的学习率分别记为lr_0、lr_1、lr_2，backbone的学习率为lr，lr的大小由学习率由scheduler控制，任务头的学习率为lr_i＝lr*loss_i/min(loss_0,loss_1,loss_2),其中i＝0,1,2，即loss最小的任务头学习率与backbone保持一致，其它任务头的学习率按和最小loss的比例进行调整，使得更大loss的任务有更大的学习率，小loss的任务有更小的学习率，有利于快速收敛。
20、作为本专利技术所述一种多任务行人行为和属性识别方法的一种优选方案，其中：所述步骤六中使用训练好的多任务模型进行推理，具体还包括以下子步骤：
21、s6.1：获取视频帧；
22、s6.2：使用行人检测算法(yolov5)检测视频帧中的行人，如果无行人，则回到s6.1。
23、作为本专利技术所述一种多任务行人行为和属性识别方法的一种优选方案，其中：所述步骤六中使用训练好的多任务模型进行推理，具体还包括以下子步骤：
24、s6.3：抠出行人框，预处理后输入到多任务模型；
25、s6.4：获得3个任务的结果；
26、s6.5：对模型推理结果进行后处理。
27、作为本专利技术所述一种多任务行人行为和属性识别方法的一种优选方案，其中：所述步骤s6.5中对模型推理结果进行后处理，具体包括有：
28、判断烟检测框和手检测框或头检测框是否相交，若相交判为吸烟；
29、判断手机检测框是否和头检测框相交，若相交为打电话；
30、判断手机检测框是否和手检测框相交，若相交为玩手机；
31、对人体属性结果按属性名进行结构化输出。
32、作为本专利技术所述一种多任务行人行为和属性识别方法的一种优选方案，其中：所述多任务模型，具体包括有：
33、多任务模型输入为抠出的行人图片，输入骨干网络，提取四个层级的图像特征，对于每个任务，都有一个任务头，在多层级特征输入任务头之前，会先经过一个任务专属的注意力模块，用于提取任务所需的特征，有利于更好训练各个任务。
34、综上，本专利技术的有益技术效果为：
35、1.本专利技术的单模型即可同时支持吸烟检测，打电话、玩手机检测，和行人属性识别，占用计算资源和内存资源小，可以更好应用在边缘盒子上；
36、2.本专利技术提出了任务专属注意力和自适应任务学习率调整，模型易于训练，各个任务都能取得很高的准确率，基于共享骨干网络的多任务结构，各任务数据单独标注，使用任务特有注意力机制和特征金字塔选取任务偏好特征，同时提出基于损失的动态学习率调整策略，可以解决不同任务梯度下降不一致的问题，更容易训练，精度更高；
37、3.本专利技术使用任务特有的注意力模块进行特征选取，每个任务的数据可独立收集标注，不需要为单张图标注所有任务标签，同时，提出了一种基于损失动态学习率调整的学习策略，网络结构更容易训练，同时准确率更高。
本文档来自技高网...【技术保护点】
1.一种多任务行人行为和属性识别方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的多任务行人行为和属性识别方法，其特征在于，所述步骤一中分别准备吸烟检测数据集，打电话、玩手机检测数据集，人体属性数据集，具体包括有：
3.根据权利要求1所述的多任务行人行为和属性识别方法，其特征在于，所述步骤一中分别准备吸烟检测数据集，打电话、玩手机检测数据集，人体属性数据集，具体还包括有：
4.根据权利要求1所述的多任务行人行为和属性识别方法，其特征在于，所述步骤一中分别准备吸烟检测数据集，打电话、玩手机检测数据集，人体属性数据集，具体还包括有：
5.根据权利要求1所述的多任务行人行为和属性识别方法，其特征在于，所述步骤四中的训练模型，对于每一步进行训练，具体包括有：
6.根据权利要求5所述的多任务行人行为和属性识别方法，其特征在于，所述步骤四中的对于每一步进行训练，具体还包括有：
7.根据权利要求1所述的多任务行人行为和属性识别方法，其特征在于，所述步骤六中使用训练好的多任务模型进行推理，具体还包括以下子步骤：>
8.根据权利要求1所述的多任务行人行为和属性识别方法，其特征在于，所述步骤六中使用训练好的多任务模型进行推理，具体还包括以下子步骤：
9.根据权利要求8所述的多任务行人行为和属性识别方法，其特征在于，所述步骤S6.5中对模型推理结果进行后处理，具体包括有：
10.根据权利要求1所述的多任务行人行为和属性识别方法，其特征在于，所述多任务模型，具体包括有：
...【技术特征摘要】
1.一种多任务行人行为和属性识别方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的多任务行人行为和属性识别方法，其特征在于，所述步骤一中分别准备吸烟检测数据集，打电话、玩手机检测数据集，人体属性数据集，具体包括有：
3.根据权利要求1所述的多任务行人行为和属性识别方法，其特征在于，所述步骤一中分别准备吸烟检测数据集，打电话、玩手机检测数据集，人体属性数据集，具体还包括有：
4.根据权利要求1所述的多任务行人行为和属性识别方法，其特征在于，所述步骤一中分别准备吸烟检测数据集，打电话、玩手机检测数据集，人体属性数据集，具体还包括有：
5.根据权利要求1所述的多任务行人行为和属性识别方法，其特征在于，所述步骤四中的训练模型，对于每一...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。