一种端到端的行人结构化信息及其从属关系的检测方法技术

本发明专利技术公开了一种端到端的行人结构化信息及其从属关系的检测方法，包括以下步骤：首先开发通用的结构化标注工具并进行数据标注，同步设计好网络结构，训练过程中需要对从属关系进行增强，并为预测框分配标签，然后模型执行推理，利用模型输出信息回归行人结构化信息矩形框的坐标，最后计算损失函数loss，用于更新模型。本发明专利技术适用于边缘设备；在边缘设备的计算资源有限的情况下，本发明专利技术通过端到端实现有效资源下的效果最大化，可以在检测行人矩形框和行人结构化信息矩形框的同时，直接输出从属关系，避免了后续的逻辑判断，准确率更高；同时开发了通用的属性标注工具，再标注检测框的同时，可标注框与框之间的从属关系，有效提高标注效率。标注效率。标注效率。

【技术实现步骤摘要】
一种端到端的行人结构化信息及其从属关系的检测方法


[0001]本专利技术涉及计算机视觉领域，特别涉及一种端到端的行人结构化信息及其从属关系的检测方法。

技术介绍

[0002]行人检测一直是视频智能监控领域的研究热点。行人检测可以获得图像和视频帧中的行人矩形框。在工业园区应用中，不仅需要获取到行人位置，还需要提取行人的有效信息，一般包括是否佩戴工帽、是否穿工衣、是否佩戴口罩等结构化信息。
[0003]目前这些结构化信息的获取方式通常有两种：一种是通过检测的方法，检测方法可以支持特定物品属性的检测功能，给出物品的矩形框，即利用目标检测算法，在检测行人的矩形框的同时，也检测结构化信息，给出结构化信息的矩形框位置；另一种是通过分类的方法，分类方法可以支持年龄、性别等非实体属性的识别功能。
[0004]对于第一种方式，行人矩形框和行人结构化信息矩形框都是独立检测，独立检测后需要确定行人结构化信息矩形框和行人矩形框的从属关系；目前通过计算两个框之间的交并比IOU，来确定两个框之间的从属关系；但如果出现多人交叠时，采用这种方法就可能出现混乱，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种端到端的行人结构化信息及其从属关系的检测方法，其特征在于，包括以下步骤：S1、对Yolox模型进行改进：将Yolox模型的解耦头Decoupled Head的obj_output分支、reg_output分支分别增加S、4*S个通道；其中S为行人结构化信息的类别个数；S2、在对改进后的Yolox模型进行训练前，通过标注工具对训练样本的图像进行数据标注，所标注的信息包括行人矩形框和行人结构化信息矩形框以及它们之间的从属关系信息；S3、对改进后的Yolox模型进行训练：对训练样本的图像数据进行增强，同时对行人矩形框和行人结构化信息矩形框之间的从属关系进行增强，并为预测框分配标签；输入增强后的图像，使用改进后的Yolox模型执行推理，利用改进后的Yolox模型的输出信息来回归行人结构化信息矩形框的坐标以及行人矩形框的坐标，同时能够直接获得行人矩形框和行人结构化信息矩形框之间的从属关系；计算损失函数loss，并更新改进后的Yolox模型，完成训练；S4、待检测的图像输入到改进后且完成训练的Yolox模型，所述模型端到端地直接输出行人结构化信息矩形框以及行人矩形框的坐标、行人矩形框和行人结构化信息矩形框之间的从属关系。2.根据权利要求1所述端到端的行人结构化信息及其从属关系的检测方法，其特征在于，所述对Yolox模型进行改进，具体是指：首先，将Yolox模型的解耦头Decoupled Head的obj_output分支增加S个通道输出，此时输出大小为H*W* (1+S); Yolox模型的解耦头Decoupled Head的reg_output分支增加4*S个通道，此时输出大小为H*W*(4+4*S)； Yolox模型的解耦头Decoupled Head的cls_output分支输出大小为H*W*1；其中，H为输出特征图高度， W为输出特征图宽度。3.根据权利要求2所述端到端的行人结构化信息及其从属关系的检测方法，其特征在于，所述使用改进后的Yolox模型执行推理，具体是指：Yolox模型的解耦头Decoupled Head的obj_output分支、reg_output分支、cls_output分支经过合并得到最后的特征信息，其大小为pred_num*dim_s；其中，pred_num=W*H，用于表征预测框个数；dim_s=1+1+S+4+4*S，用于表征每个预测框特征向量维度；这时每个预测框含有一个维度为dim_s的特征向量：[x y w h obj cls attr_1 ... attr_n x_1 y_1 w_1 h_1 ... x_n y_n w_n h_n]其中，x为目标框中心点的x坐标信息，y为目标框中心点的y坐标信息，w为目标框的宽度信息；h为目标框的高度信息；obj为目标框的得分信息；cls为目标框类别的得分信息；attr_n为结构化信息n的得分信息，[x_n y_n w_n h_n]为结构化信息n的框坐标信息；根据上述特征向量，行人结构化信息的判断过程如下：当obj*cls大小满足行人矩形框得分阈值时，认为当前预测框含有行人信息，[x y w h]为该行人矩形框坐标信息，此时如果结构化信息n的得分attr_n满足结构化信息概率阈值，则认为该行人含有结构化信息n，[x_n y_n w_n h_n]为行人结构化信息n的矩形框坐标信息；这时整个端到端行人结构化信息检测就完成了。4.根据权利要求1所述端到端的行人结构化信息及其从属关系的检测方法，其特征在于，标注所述行人矩形框和行人结构化信息矩形框以之间的从属关系信息是通过标注工具
直接连接行人矩形框和行人结构化信息矩形框之间的左上角连线而建立起来；通过连线获取行人矩形框和行人结构化信息矩形框自身的id配对信息，该配对信息会被保存至从属关系label文件中。5.根据权利要求1所述端到端的行人结构化信息及其从属关系的检测方法，其特征在于，所述训练样本的图像进行数据标注完成后，标注好的数...

【专利技术属性】
技术研发人员：区英杰，符桂铭，谭焯康，董万里，
申请(专利权)人：广州英码信息科技有限公司，
类型：发明
国别省市：