行为检测方法、装置、计算机设备和存储介质制造方法及图纸

本申请涉及一种行为检测方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括：将待检测图像输入至行为检测模型中，通过行为检测模型的特征提取层中的初始特征提取模块对待检测图像进行初始特征提取，得到初始特征图，并通过特征提取层对待检测图像进行全局特征提取，得到全局特征的特征图；通过行为检测模型中的跨层融合结构，将初始特征图和特征图进行特征融合，得到目标特征图；对目标特征图进行坐标转换和标定处理，输出携带标定框的标定图像；根据标定图像中标定框的标签和标定框间的位置关系，对标定图像中进行行为检测，确定标定图像中的行为结果。采用本方法能够提高行为检测方法的检测结果的准确率。够提高行为检测方法的检测结果的准确率。够提高行为检测方法的检测结果的准确率。

【技术实现步骤摘要】
行为检测方法、装置、计算机设备和存储介质


[0001]本申请涉及图像识别
，特别是涉及一种行为检测方法、装置、计算机设备、存储介质和计算机程序产品。

技术介绍

[0002]随着人工智能机器学习技术的发展，人们逐渐使用人工智能机器学习技术中的图像识别技术来自动检测特殊环境的安全情况。在加油站或能源园区等场景中，条例法规对于人员安全的管控越来越严格，因此，对于特殊环境中的人员违规行为，需要使用图像识别来进行检测与监控。
[0003]传统技术中，通过目标检测算法对目标场景中的人员违规行为进行检测，常规的目标检测算法有SSD、YOLO等技术，直接对待检测图像中的人员进行违规行为的识别。具体为对图像中的违规物品进行检测，当识别出存在违规物品时，确定图像中的人员存在违规行为。
[0004]然而，在进行违规行为的检测过程中，图像中包含的违规物品(例如，手机、香烟等)目标较小，使用目前的目标检测算法，违规行为检测的准确率较低。

技术实现思路

[0005]基于此，有必要针对上述技术问题，提供一种行为检测方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
[0006]第一方面，本申请提供了一种行为检测方法。所述方法包括：
[0007]将待检测图像输入至行为检测模型中，通过所述行为检测模型的特征提取层中的初始特征提取模块对所述待检测图像进行初始特征提取，得到初始特征图，并通过所述特征提取层对所述待检测图像进行全局特征提取，得到全局特征的特征图；
[0008]通过所述行为检测模型中的跨层融合结构，将所述初始特征图和所述特征图进行特征融合，得到目标特征图；
[0009]对所述目标特征图进行坐标转换和标定处理，输出携带标定框的标定图像；
[0010]根据所述标定图像中标定框的标签和标定框间的位置关系，对所述标定图像中进行行为检测，确定所述标定图像中的行为结果。
[0011]在其中一个实施例中，所述将待检测图像输入至行为检测模型中，通过所述行为检测模型的特征提取层中的初始特征提取模块对所述待检测图像进行初始特征提取，得到初始特征图之前，所述方法还包括：
[0012]获取初始行为检测模型；所述初始行为检测模型中包含初始特征提取模块、特征提取聚合模块和输出模块；
[0013]根据所述初始行为检测模型中初始特征提取模块包含的各卷积模块的元素信息，在所述各卷积模块中确定目标卷积模块；
[0014]将所述目标卷积模块对应输出层的输出维度通道与所述特征提取聚合模块对应
输出层的输出维度通道保持相同，完成所述目标卷积模块与所述特征提取聚合模块进行融合，得到跨层融合结构，并将具有所述跨层融合结构的所述初始行为检测模型作为行为检测模型。
[0015]在其中一个实施例中，所述对所述目标特征图进行坐标转换和标定处理，输出携带标定框的标定图像，包括：
[0016]对所述目标特征图进行坐标变换，并获取坐标变换后所述目标特征图中目标对象的多个坐标；
[0017]根据所述目标对象的坐标、所述坐标的置信度以及所述坐标对应的初始标定框，将满足置信度条件的初始标定框作为所述目标对象对应的标定框，输出携带标定框的标定图像。
[0018]在其中一个实施例中，所述根据所述目标对象的坐标、所述坐标的置信度以及所述坐标对应的初始标定框，将满足置信度条件的初始标定框作为所述目标对象对应的标定框，包括：
[0019]根据所述目标对象对应的每个所述坐标，确定每个所述坐标对应的初始标定框；
[0020]根据非极大值抑制方法与每个所述坐标的置信度，在每个所述坐标对应的所述初始标定框中确定目标标定框，将所述目标标定框作为所述目标对象对应的标定框。
[0021]在其中一个实施例中，所述标定图像中标定框的标签包括第一对象标签、第二对象标签与第三对象标签；所述根据所述标定图像中标定框的标签和标定框间的位置关系，对所述标定图像中进行行为检测，确定所述标定图像中的行为结果，包括：
[0022]检测所述标定图像中存在的标定框的标签；
[0023]当所述标定图像中标定框的标签包括第一对象标签时，确定所述标定图像中的行为结果为存在违规行为；
[0024]当所述标定图像中标定框的标签不包括第一对象标签时，根据所述第二对象标签对应的标定框与所述第三对象标签对应的标定框之间的位置关系，确定所述标定图像中的行为结果。
[0025]在其中一个实施例中，所述当所述标定图像中标定框的标签不包括第一对象标签时，根据所述第二对象标签对应的标定框与所述第三对象标签对应的标定框之间的位置关系，确定所述标定图像中的行为结果，包括：
[0026]当所述标定图像中标定框的标签不包括第一对象标签时，根据所述第三对象标签对应的标定框在所述第二对象标签对应的标定框内部的位置关系，确定所述标定图像中的行为结果为存在违规行为；
[0027]根据所述第三对象标签对应的标定框在所述第二对象标签对应的标定框外部或与所述第二对象标签对应的标定框相接的位置关系，基于所述第二对象标签对应的标定框与所述第三对象标签对应的标定框的相对距离与预设阈值，确定所述标定图像中的行为结果。
[0028]在其中一个实施例中，所述根据所述第三对象标签对应的标定框在所述第二对象标签对应的标定框外部或与所述第二对象标签对应的标定框相接的位置关系，基于所述第二对象标签对应的标定框与所述第三对象标签对应的标定框的相对距离与预设阈值，确定所述标定图像中的行为结果，包括：
[0029]若所述第二对象标签对应的标定框与所述第三对象标签对应的标定框的相对距离小于或等于预设阈值，则确定所述标定图像中的行为结果为存在违规行为；
[0030]若当所述第二对象标签对应的标定框与所述第三对象标签对应的标定框的相对距离大于预设阈值，则确定所述标定图像中的行为结果为不存在违规行为。
[0031]第二方面，本申请还提供了一种行为检测模型的训练方法。所述方法包括：
[0032]获取样本图像以及所述样本图像对应的行为检测模型；所述样本图像包括样本类别标签与样本标注框；
[0033]将所述样本图像输入至行为检测模型中，通过所述行为检测模型的特征提取层中的初始特征提取模块对所述样本图像进行初始特征提取，得到初始特征图，并通过所述特征提取层对所述样本图像进行全局特征提取，得到全局特征的特征图；
[0034]通过所述行为检测模型中的跨层融合结构，将所述初始特征图和所述特征图进行特征融合，得到目标特征图；
[0035]对所述目标特征图进行坐标转换和标定处理，输出携带标定框的标定图像；
[0036]根据所述样本标签以及所述携带标定框的标定图像确定所述行为检测模型的目标损失，当所述目标损失满足预设训练条件时，得到训练后的行为检测模型。
[0037]在其中一个实施例中，所述根据所述样本标签以及所述携带标定框的标定图像确定所述行为检测模型的目标损失，包括：
...

【技术保护点】

【技术特征摘要】
1.一种行为检测方法，其特征在于，所述方法包括：将待检测图像输入至行为检测模型中，通过所述行为检测模型的特征提取层中的初始特征提取模块对所述待检测图像进行初始特征提取，得到初始特征图，并通过所述特征提取层对所述待检测图像进行全局特征提取，得到全局特征的特征图；通过所述行为检测模型中的跨层融合结构，将所述初始特征图和所述特征图进行特征融合，得到目标特征图；对所述目标特征图进行坐标转换和标定处理，输出携带标定框的标定图像；根据所述标定图像中标定框的标签和标定框间的位置关系，对所述标定图像中进行行为检测，确定所述标定图像中的行为结果。2.根据权利要求1所述的方法，其特征在于，所述将待检测图像输入至行为检测模型中，通过所述行为检测模型的特征提取层中的初始特征提取模块对所述待检测图像进行初始特征提取，得到初始特征图之前，所述方法还包括：获取初始行为检测模型；所述初始行为检测模型中包含初始特征提取模块、特征提取聚合模块和输出模块；根据所述初始行为检测模型中初始特征提取模块包含的各卷积模块的元素信息，在所述各卷积模块中确定目标卷积模块；将所述目标卷积模块对应输出层的输出维度通道与所述特征提取聚合模块对应输出层的输出维度通道保持相同，完成所述目标卷积模块与所述特征提取聚合模块进行融合，得到跨层融合结构，并将具有所述跨层融合结构的所述初始行为检测模型作为行为检测模型。3.根据权利要求1所述的方法，其特征在于，所述对所述目标特征图进行坐标转换和标定处理，输出携带标定框的标定图像，包括：对所述目标特征图进行坐标变换，并获取坐标变换后所述目标特征图中目标对象的多个坐标；根据所述目标对象的坐标、所述坐标的置信度以及所述坐标对应的初始标定框，将满足置信度条件的初始标定框作为所述目标对象对应的标定框，输出携带标定框的标定图像。4.根据权利要求3所述的方法，其特征在于，所述根据所述目标对象的坐标、所述坐标的置信度以及所述坐标对应的初始标定框，将满足置信度条件的初始标定框作为所述目标对象对应的标定框，包括：根据所述目标对象对应的每个所述坐标，确定每个所述坐标对应的初始标定框；根据非极大值抑制方法与每个所述坐标的置信度，在每个所述坐标对应的所述初始标定框中确定目标标定框，将所述目标标定框作为所述目标对象对应的标定框。5.根据权利要求1所述的方法，其特征在于，所述标定图像中标定框的标签包括第一对象标签、第二对象标签与第三对象标签；所述根据所述标定图像中标定框的标签和标定框间的位置关系，对所述标定图像中进行行为检测，确定所述标定图像中的行为结果，包括：检测所述标定图像中存在的标定框的标签；当所述标定图像中标定框的标签包括第一对象标签时，确定所述标定图像中的行为结果为存在违规行为；
当所述标定图像中标定框的标签不包括第一对象标签时，根据所述第二对象标签对应的标定框与所述第三对象标签对应的标定框之间的位置关系，确定所述标定图像中的行为结果。6.根据权利要求5所述的方法，其特征在于，所述当所述标定图像中标定框的标签不包括第一对象标签时，根据所述第二对象标签对应的标定框与所述第三对象标签对应的标定框之间的位置关系...

【专利技术属性】
技术研发人员：杨恒，郑影，李志涛，王湾湾，王杨俊杰，杨艳鑫，
申请(专利权)人：中电金信软件有限公司，
类型：发明
国别省市：