一种行为识别方法、装置、电子设备和存储介质制造方法及图纸

本发明专利技术实施例提供了一种行为识别方法、装置、电子设备和存储介质，包括：获取连续的多个待识别图像；采用预先训练好的头肩检测模型，对待识别图像进行人物头肩检测，在待识别图像中选取初始检测区域；扩大初始检测区域，得到包含人物头肩姿态的目标检测区域；人物头肩姿态包括手机使用姿态和非手机使用姿态中的一种；采用预先训练好的行为识别模型，对多个待识别图像对应的目标检测区域中的人物行为进行识别，确定人物是否存在手机使用行为。本发明专利技术通过扩大初始检测区域，可以得到包含更完整的人物头肩姿态的目标检测区域，使得尺寸较小的手机尽可能包括在目标检测区域内，有利于提高识别待识别图像对应的目标检测区域中人物行为的准确率。行为的准确率。行为的准确率。

【技术实现步骤摘要】
一种行为识别方法、装置、电子设备和存储介质


[0001]本专利技术涉及计算机
，特别是涉及一种行为识别方法、一种行为识别装置、一种电子设备和一种计算机可读存储介质。

技术介绍

[0002]深度学习是人工智能领域的一个重要研究方向，近年来在各个领域取得了许多重要成果。在实际场景中，通常需要对人物的异常行为进行识别，例如，在办公场景中可以对人物的手机使用行为进行识别，具体通常需要采用目标检测算法来检测是否存在手机以识别手机使用行为。
[0003]然而手机尺寸较小，容易与场景中的其他物体混淆，因此在进行目标检测时，容易错判漏判人物行为，导致行为识别的误判率较高。

技术实现思路

[0004]鉴于上述问题，提出了本专利技术实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种行为识别方法、一种行为识别装置、一种电子设备和一种计算机可读存储介质。
[0005]为了解决上述问题，本专利技术实施例公开了一种行为识别方法，所述方法包括：
[0006]获取连续的多个待识别图像；
[0007]采用预先训练好的头肩检测模型，对所述待识别图像进行人物头肩检测，在所述待识别图像中选取初始检测区域；
[0008]扩大所述初始检测区域，得到包含人物头肩姿态的目标检测区域；所述人物头肩姿态包括手机使用姿态和非手机使用姿态中的一种；
[0009]采用预先训练好的行为识别模型，对所述多个待识别图像对应的目标检测区域中的人物行为进行识别，确定人物是否存在手机使用行为。
[0010]可选地，所述扩大所述初始检测区域，得到包含人物头肩姿态的目标检测区域，包括：
[0011]分别按照预设宽度增加倍数和预设高度增加倍数，增加所述初始检测区域的宽度和高度，得到包含人物头肩姿态的目标检测区域。
[0012]可选地，所述采用预先训练好的行为识别模型，对所述多个待识别图像对应的目标检测区域中的人物行为进行识别，确定人物是否存在手机使用行为，包括：
[0013]采用预先训练好的行为识别模型，对所述多个待识别图像对应的目标检测区域中的人物行为进行识别，得到所述多个待识别图像的手机使用行为分数；
[0014]根据所述多个待识别图像的手机使用行为分数，确定人物是否存在手机使用行为。
[0015]可选地，所述根据所述多个待识别图像的手机使用行为分数，确定人物是否存在手机使用行为，包括：
[0016]若预设数量的待识别图像的手机使用行为分数大于预设分数阈值，则确定人物存在手机使用行为；
[0017]若预设数量的待识别图像的手机使用行为分数不大于预设分数阈值，则确定人物不存在手机使用行为。
[0018]可选地，所述采用预先训练好的头肩检测模型，对所述待识别图像进行人物头肩检测，在所述待识别图像中选取初始检测区域，包括：
[0019]采用预先训练好的头肩检测模型，对所述待识别图像进行人物头肩检测；
[0020]若检测到人物头肩，则在所述待识别图像中选取初始检测区域；
[0021]若未检测到人物头肩，则确定人物在所述待识别图像中不存在手机使用行为。
[0022]可选地，所述行为识别模型通过以下方式训练：
[0023]获取训练数据集，所述训练数据集包括包含人物头肩姿态的样本检测区域，以及所述样本检测区域标注的行为类别标签；
[0024]采用所述样本检测区域和所述样本检测区域标注的行为类别标签，对行为识别模型进行训练，得到用于识别人物行为的所述行为识别模型。
[0025]可选地，所述头肩检测模型通过以下方式训练：
[0026]获取样本图像数据集，所述样本图像数据集包括样本图像以及所述样本图像标注的真实区域；
[0027]将所述样本图像输入所述头肩检测模型进行人物头肩区域检测，得到所述头肩检测模型输出的预测区域；
[0028]根据所述真实区域和所述预测区域，计算损失函数；
[0029]根据所述损失函数，调整所述头肩检测模型参数以对所述头肩检测模型进行训练。
[0030]可选地，所述根据所述真实区域和所述预测区域，计算损失函数，包括：
[0031]计算所述真实区域与所述预测区域之间交集区域面积和并集区域面积的比值；
[0032]根据所述真实区域和所述预测区域的中心坐标，确定中心坐标距离损失；
[0033]根据所述真实区域和所述预测区域的长度和宽度，确定尺寸损失；
[0034]根据所述交集和并集的比值、所述中心坐标距离损失和所述尺寸损失，计算损失函数。
[0035]可选地，所述头肩检测模型包括包含注意力模块的卷积神经网络，所述将所述样本图像输入所述头肩检测模型进行人物头肩区域检测，得到所述头肩检测模型输出的预测区域，包括：
[0036]对所述样本图像进行特征提取，得到初始特征图；
[0037]将所述特征图输入包含注意力模块的卷积神经网络进行卷积运算，得到目标特征图。
[0038]可选地，所述将所述特征图输入包含注意力模块的卷积神经网络进行卷积运算，得到目标特征图，包括：
[0039]将所述特征图输入包含注意力模块的卷积神经网络，采用注意力特征图与所述初始特征图进行运算，得到目标特征图。
[0040]本专利技术实施例还公开了一种行为识别装置，所述装置包括：
[0041]获取模块，用于获取连续的多个待识别图像；
[0042]检测模块，用于采用预先训练好的头肩检测模型，对所述待识别图像进行人物头肩检测，在所述待识别图像中选取初始检测区域；
[0043]扩大模块，用于扩大所述初始检测区域，得到包含人物头肩姿态的目标检测区域；所述人物头肩姿态包括手机使用姿态和非手机使用姿态中的一种；
[0044]识别模块，用于采用预先训练好的行为识别模型，对所述多个待识别图像对应的目标检测区域中的人物行为进行识别，确定人物是否存在手机使用行为。
[0045]可选地，所述扩大模块，包括：
[0046]比例增加子模块，用于分别按照预设宽度增加倍数和预设高度增加倍数，增加所述初始检测区域的宽度和高度，得到包含人物头肩姿态的目标检测区域。
[0047]可选地，所述识别模块，包括：
[0048]分数计算子模块，用于采用预先训练好的行为识别模型，对所述多个待识别图像对应的目标检测区域中的人物行为进行识别，得到所述多个待识别图像的手机使用行为分数；
[0049]行为识别子模块，用于根据所述多个待识别图像的手机使用行为分数，确定人物是否存在手机使用行为。
[0050]可选地，所述行为识别子模块，包括：
[0051]存在使用行为确定单元，用于若预设数量的待识别图像的手机使用行为分数大于预设分数阈值，则确定人物存在手机使用行为；
[0052]不存在使用行为确定单元，用于若预设数量的待识别图像的手机使用行为分数不大于预设分数阈值，则确定人物不存在手机使用行为。
[0053本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种行为识别方法，其特征在于，所述方法包括：获取连续的多个待识别图像；采用预先训练好的头肩检测模型，对所述待识别图像进行人物头肩检测，在所述待识别图像中选取初始检测区域；扩大所述初始检测区域，得到包含人物头肩姿态的目标检测区域；所述人物头肩姿态包括手机使用姿态和非手机使用姿态中的一种；采用预先训练好的行为识别模型，对所述多个待识别图像对应的目标检测区域中的人物行为进行识别，确定人物是否存在手机使用行为。2.根据权利要求1所述的方法，其特征在于，所述扩大所述初始检测区域，得到包含人物头肩姿态的目标检测区域，包括：分别按照预设宽度增加倍数和预设高度增加倍数，增加所述初始检测区域的宽度和高度，得到包含人物头肩姿态的目标检测区域。3.根据权利要求1所述的方法，其特征在于，所述采用预先训练好的行为识别模型，对所述多个待识别图像对应的目标检测区域中的人物行为进行识别，确定人物是否存在手机使用行为，包括：采用预先训练好的行为识别模型，对所述多个待识别图像对应的目标检测区域中的人物行为进行识别，得到所述多个待识别图像的手机使用行为分数；根据所述多个待识别图像的手机使用行为分数，确定人物是否存在手机使用行为。4.根据权利要求3所述的方法，其特征在于，所述根据所述多个待识别图像的手机使用行为分数，确定人物是否存在手机使用行为，包括：若预设数量的待识别图像的手机使用行为分数大于预设分数阈值，则确定人物存在手机使用行为；若预设数量的待识别图像的手机使用行为分数不大于预设分数阈值，则确定人物不存在手机使用行为。5.根据权利要求1所述的方法，其特征在于，所述采用预先训练好的头肩检测模型，对所述待识别图像进行人物头肩检测，在所述待识别图像中选取初始检测区域，包括：采用预先训练好的头肩检测模型，对所述待识别图像进行人物头肩检测；若检测到人物头肩，则在所述待识别图像中选取初始检测区域；若未检测到人物头肩，则确定人物在所述待识别图像中不存在手机使用行为。6.根据权利要求1所述的方法，其特征在于，所述行为识别模型通过以下方式训练：获取训练数据集，所述训练数据集包括包含人物头肩姿态的样本检测区域，以及所述样本检测区域标注的行为类别标签；采用所述样本检测区域和所述样本检测区域标注的行为类别标签，对行为识别模型进行训练，得到用于识别人物行为的所述行为识别模型。7.根据权利要求1所述的方法，其特征在于，所述头肩检测模型通过以下方式训练：获取样本图像数据集，所述样本图像数据集包括样本图像以及所述样本图像标注的真实区域；将所述样本图像输入所述头肩检测模型进行人物头肩区域检测，得到所述头肩检测模型输出的预测区域；
根据所述真实区域和所述预测区域，计算损失函数；根据所述损失函数，调整所述头肩检测模型参数以对所述...

【专利技术属性】
技术研发人员：陆嘉达，
申请(专利权)人：天翼云科技有限公司，
类型：发明
国别省市：