一种行为检测方法、装置及设备制造方法及图纸

本申请提供一种行为检测方法、装置及设备，该方法包括：获取待检测视频，待检测视频包括多个待检测图像；将待检测视频输入给已训练的目标图像行为检测模型，由目标图像行为检测模型输出多个候选待检测图像中的每个候选待检测图像中的对象位置；基于候选待检测图像中的对象位置，从多个候选待检测图像中选取出同一个目标对象的多个目标待检测图像，基于每个目标待检测图像中目标对象的对象位置确定目标对象的目标框位置；根据目标框位置获取待检测行为序列；将待检测行为序列输入给已训练的目标行为序列识别模型，由目标行为序列识别模型输出与待检测行为序列对应的目标行为类别。通过本申请的技术方案，视频行为检测的准确性高，检测方式简单。

【技术实现步骤摘要】
一种行为检测方法、装置及设备
本申请涉及图像处理
，尤其是一种行为检测方法、装置及设备。
技术介绍
视频是连续的图像序列，由连续的图像构成。由于人眼的视觉暂留效应，当视频以一定速率播放时，人眼看到的就是动作连续的图像序列。视频行为检测是从视频中定位出行为发生的时间区间(如何时开始，何时结束等)和空间位置(如行为发生的位置)，并进行行为类别分类的技术。视频行为检测可以广泛应用于安防监控领域、人机交互领域、智能园区、智慧课堂、智慧农场等应用场景，例如，可以检测监控视频中目标跌倒行为、目标攀爬行为以进行安全防护；可以检测课堂中学生举手行为、起立行为以分析课堂师生互动氛围；可以检测工业生产流程中是否符合标准行为规范等。目前，视频行为检测技术存在检测准确性不高，检测方式复杂等问题。
技术实现思路
本申请提供一种行为检测方法，所述方法包括：获取待检测视频，所述待检测视频包括多个待检测图像；将所述待检测视频输入给已训练的目标图像行为检测模型，由所述目标图像行为检测模型输出多个候选待检测图像中的每个候选本文档来自技高网...

【技术保护点】
1.一种行为检测方法，其特征在于，所述方法包括：/n获取待检测视频，所述待检测视频包括多个待检测图像；/n将所述待检测视频输入给已训练的目标图像行为检测模型，由所述目标图像行为检测模型输出多个候选待检测图像中的每个候选待检测图像中的对象位置；所述候选待检测图像是所述多个待检测图像中存在对象的待检测图像；/n基于候选待检测图像中的对象位置，从所述多个候选待检测图像中选取出同一个目标对象的多个目标待检测图像，并基于每个目标待检测图像中所述目标对象的对象位置确定所述目标对象的目标框位置；/n根据所述目标框位置获取待检测行为序列，所述待检测行为序列包括基于所述目标框位置从每个目标待检测图像中选取的目标...

【技术特征摘要】
1.一种行为检测方法，其特征在于，所述方法包括：
获取待检测视频，所述待检测视频包括多个待检测图像；
将所述待检测视频输入给已训练的目标图像行为检测模型，由所述目标图像行为检测模型输出多个候选待检测图像中的每个候选待检测图像中的对象位置；所述候选待检测图像是所述多个待检测图像中存在对象的待检测图像；
基于候选待检测图像中的对象位置，从所述多个候选待检测图像中选取出同一个目标对象的多个目标待检测图像，并基于每个目标待检测图像中所述目标对象的对象位置确定所述目标对象的目标框位置；
根据所述目标框位置获取待检测行为序列，所述待检测行为序列包括基于所述目标框位置从每个目标待检测图像中选取的目标框子图像；
将所述待检测行为序列输入给已训练的目标行为序列识别模型，由所述目标行为序列识别模型输出与所述待检测行为序列对应的目标行为类别。


2.根据权利要求1所述的方法，其特征在于，
所述基于候选待检测图像中的对象位置，从所述多个候选待检测图像中选取出同一个目标对象的多个目标待检测图像，包括：
基于候选待检测图像中的对象位置，采用跟踪算法确定出目标对象，并确定所述候选待检测图像中的对象位置是否存在所述目标对象的对象位置；
若是，则将所述候选待检测图像确定为所述目标对象的目标待检测图像。


3.根据权利要求1所述的方法，其特征在于，所述基于每个目标待检测图像中所述目标对象的对象位置确定所述目标对象的目标框位置，包括：
以目标待检测图像的左上角位置为坐标原点建立坐标系，以水平向右为横轴，以水平向下为纵轴时，所述对象位置包括左上角横坐标，左上角纵坐标，右下角横坐标和右下角纵坐标，基于每个目标待检测图像中所述目标对象的左上角横坐标选取左上角横坐标的最小值；基于每个目标待检测图像中所述目标对象的左上角纵坐标选取左上角纵坐标的最小值；基于每个目标待检测图像中所述目标对象的右下角横坐标选取右下角横坐标的最大值；基于每个目标待检测图像中所述目标对象的右下角纵坐标选取右下角纵坐标的最大值；
根据所述左上角横坐标的最小值，左上角纵坐标的最小值，右下角横坐标的最大值和右下角纵坐标的最大值确定所述目标对象的目标框位置；
或者，
以目标待检测图像的左下角位置为坐标原点建立坐标系，以水平向右为横轴，以水平向上为纵轴时，所述对象位置包括左下角横坐标，左下角纵坐标，右上角横坐标和右上角纵坐标，基于每个目标待检测图像中所述目标对象的左下角横坐标选取左下角横坐标的最小值；基于每个目标待检测图像中所述目标对象的左下角纵坐标选取左下角纵坐标的最小值；基于每个目标待检测图像中所述目标对象的右上角横坐标选取右上角横坐标的最大值；基于每个目标待检测图像中所述目标对象的右上角纵坐标选取右上角纵坐标的最大值；
根据所述左下角横坐标的最小值，左下角纵坐标的最小值，右上角横坐标的最大值和右上角纵坐标的最大值确定所述目标对象的目标框位置。


4.根据权利要求1所述的方法，其特征在于，所述将所述待检测行为序列输入给已训练的目标行为序列识别模型，由所述目标行为序列识别模型输出与所述待检测行为序列对应的目标行为类别之后，所述方法还包括：
根据所述目标行为类别进行报警处理；或，
若所述目标图像行为检测模型还输出与所述待检测视频对应的初始行为类别，则根据所述目标行为类别和所述初始行为类别进行报警处理。


5.根据权利要求1所述的方法，其特征在于，
所述目标图像行为检测模型的训练过程，包括：
获取样本训练视频，所述样本训练视频包括多个样本训练图像，所述多个样本训练图像包括发生指定行为的多个标定样本训练图像；
将所述标定样本训练图像和所述标定样本训练图像的标定信息输入给初始图像行为检测模型，以通过所述标定样本训练图像和所述标定信息对所述初始图像行为检测模型进行训练，得到已训练的目标图像行为检测模型；
其中，所述标定信息至少包括：所述标定样本训练图像中发生所述指定行为的对象所处的对象位置，所述指定行为的行为类别。


6...

【专利技术属性】
技术研发人员：赵飞，
申请(专利权)人：杭州海康威视数字技术股份有限公司，
类型：发明
国别省市：浙江;33