一种行为检测的方法、装置、电子设备及存储介质制造方法及图纸

本公开提供了一种行为检测的方法、装置、电子设备及存储介质，其中，该方法包括：获取待检测视频，并对待检测视频进行抽帧处理，得到抽帧后的视频帧序列；利用第一特征提取网络对待检测视频进行时序特征提取，得到待检测视频中第一视频帧的第一特征图，以及利用第二特征提取网络对视频帧序列进行空间特征提取，得到视频帧序列中第二视频帧的第二特征图；基于得到的第一特征图以及第二特征图对第一时间窗口进行更新，得到更新后的第二时间窗口；在第二时间窗口内对视频帧序列进行目标行为检测，得到行为检测结果。本公开的第一特征图表征的连续动作信息可以补充第二特征图所表征的空间场景信息，使得第二时间窗口更为准确，行为检测的准确性更高。检测的准确性更高。检测的准确性更高。

【技术实现步骤摘要】
一种行为检测的方法、装置、电子设备及存储介质


[0001]本公开涉及图像处理
，具体而言，涉及一种行为检测的方法、装置、电子设备及存储介质。

技术介绍

[0002]视频行为检测是从视频中定位出行为发生的时间区间和空间位置，并进行行为类别分类的技术，被广泛应用于各种应用场景，例如，安防领域、人机交互领域、智能园区、智慧课堂等。
[0003]现有的视频行为检测的建模比较复杂，同一类别的行为动作由于个体的区别，实际的运动过程会存在差异，导致动作的初始时刻和结束时刻难以有统一的定义，检测准确性不高。

技术实现思路

[0004]本公开实施例至少提供一种行为检测的方法、装置、电子设备及存储介质。
[0005]第一方面，本公开实施例提供了一种行为检测的方法，所述方法包括：
[0006]获取待检测视频，并对所述待检测视频进行抽帧处理，得到抽帧后的视频帧序列；
[0007]利用第一特征提取网络对所述待检测视频进行时序特征提取，得到所述待检测视频中第一视频帧的第一特征图，以及利用第二特征提取网络对所述视频帧序列本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种行为检测的方法，其特征在于，所述方法包括：获取待检测视频，并对所述待检测视频进行抽帧处理，得到抽帧后的视频帧序列；利用第一特征提取网络对所述待检测视频进行时序特征提取，得到所述待检测视频中第一视频帧的第一特征图，以及利用第二特征提取网络对所述视频帧序列进行空间特征提取，得到所述视频帧序列中第二视频帧的第二特征图；基于得到的所述第一特征图以及所述第二特征图，对第一时间窗口进行更新，得到更新后的第二时间窗口；在所述第二时间窗口内对所述视频帧序列进行目标行为检测，得到行为检测结果。2.根据权利要求1所述的方法，其特征在于，所述基于得到的所述第一特征图以及所述第二特征图，对第一时间窗口进行更新，得到更新后的第二时间窗口，包括：基于所述视频帧序列包括的视频帧的数量，对所述待检测视频包括的第一视频帧进行分组，得到多个第一视频帧组；针对所述视频帧序列中的每个第二视频帧，从所述多个第一视频帧组中选择与所述第二视频帧对应的第一目标视频帧组，并基于所述第二视频帧的第二特征图以及对应的第一目标视频帧组包括的各个第一视频帧的第一特征图，确定所述第二视频帧的融合特征图；基于每个第二视频帧的融合特征图，确定针对所述视频帧序列的融合特征图，并基于所述视频帧序列的融合特征图对第一时间窗口进行更新，得到更新后的第二时间窗口。3.根据权利要求2所述的方法，其特征在于，所述基于所述视频帧序列的融合特征图对第一时间窗口进行更新，得到更新后的第二时间窗口，包括：确定所述第一时间窗口包括的动作开始时刻指向的第二视频帧以及动作结束时刻指向的第二视频帧；从所述视频帧序列的融合特征图中，选取与确定的两个所述第二视频帧所对应的视频帧段或者扩展视频帧段匹配的融合特征子图；基于选取的所述融合特征子图对第一时间窗口进行更新，得到更新后的第二时间窗口。4.根据权利要求3所述的方法，其特征在于，按照如下步骤确定所述第一时间窗口：利用训练好的多个动作参数提取网络分别对所述视频帧序列的融合特征图进行动作参数提取，得到每个所述动作参数提取网络输出的每个第二视频帧的动作参数值；所述动作参数值包括属于动作开始节点的概率值、属于动作结束节点的概率值、以及对应属于候选动作的概率值；基于每个所述动作参数提取网络输出的动作参数值，确定第一时间窗口。5.根据权利要求4所述的方法，其特征在于，所述基于选取的所述融合特征子图对第一时间窗口进行更新，得到更新后的第二时间窗口，包括：将选取的所述融合特征子图输入到训练好的动作偏移量提取网络中，确定有关动作参数值的动作偏移量；基于所述动作偏移量对所述第一时间窗口进行调整，得到更新后的第二时间窗口。6.根据权利要求4或5所述的方法，其特征在于，按照如下步骤训练所述多个动作参数提取网络：获取视频样本，以及针对所述视频样本标注的动作参数信息；所述动作参数信息包括
动作开始节点信息、动作结束节点信息、动作时间窗口对应的候选动作信息；将所述视频样本作为所述待训练的多个动作参数提取网络的输入数据，将所述动作参数信息作为所述待训练的多个动作参数提取网络的输出结果的对比监督数据，对所述待训练的多个动作参数提取网络进行训练，得到训练好的多个动作参数提取网络。7.根据权利要求6所述的方法，其特征在于，所述获取视频样本按照如下至少一种方式实现：从其它视频中选取与所述视频样本所对应候选动作信息不同的视频段，并将选取的所述视频段插入至所述视频样本中，得到更新后的视频样本；对所述视频样本进行采样处理，得到处理后的视频样本；对所述视频样本标注的动作时间窗口添加噪声进行处理，得到处理后的视频样本。8.根据权利要求2
‑
7任一所述的方法，其特征在于，所述第二特征提取网络...

【专利技术属性】
技术研发人员：钱晨，林君仪，周嘉明，陈瑞祥，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：