一种基于时空上下文的行为检测方法、装置、设备及介质制造方法及图纸

本申请公开了一种基于时空上下文的行为检测方法、装置、设备及介质，涉及计算机技术领域，包括：对视频序列进行检测得到所有目标的位置信息；对视频序列进行特征提取得到第一特征图，并基于时间维度对其进行池化得到第二特征图，通过中间检测帧的位置信息及第二特征图确定所有目标的动作特征；基于位置信息确定所有目标的绝对位置特征及每两个目标间的相对位置特征；对所有目标的动作特征、绝对位置特征及每两个目标间的相对位置特征进行注意力运算得到所有目标的时空行为特征，并对其进行分类得到行为检测结果。由此可见，本申请通过学习多目标之间的位置信息的相关性，降低样本依赖以及运算复杂度。依赖以及运算复杂度。依赖以及运算复杂度。

【技术实现步骤摘要】
一种基于时空上下文的行为检测方法、装置、设备及介质


[0001]本专利技术涉及计算机
，特别涉及一种基于时空上下文的行为检测方法、装置、设备及介质。

技术介绍

[0002]行为检测的主要任务是检测出一段视频序列中行人的位置和动作，通常应用于监控相机、视频审核等应用场景，通过对视频数据中行人的异常行为及时上报，从而维护公共安全，保护人民财产，是目前的一个热点研究。
[0003]目前的行为检测方法分为单帧行为检测和时空行为检测，单帧行为检测具体为：输入一帧图像，以一帧图像的检测结果作为目标的行为类别；时空行为检测为：输入一整段视频序列，通过3D卷积、目标跟踪等技术，融合目标多帧的信息，相比于单帧行为检测，时空行为检测更鲁棒，准确性更高，是当前主流的方法。通常，3D卷积等方法主要提高单个目标的特征进行分析，而在实际应用中，目标的行为通常会与上下文环境发生交互，在不考虑其他目标状态的情况下，有些行为很难界定，如打架和健身，考虑单个目标时行为很难区分，只有考虑到目标和目标之间关系时，行为才容易判定。
[0004]有一现有技术提出了一种基于上下文关系的行为识别方法，主体思想是通过检测模型检测中间帧的目标，并用slowfast等网络提取目标区域前后帧的时空特征，然后对目标的特征之间做注意力运算，最后进行分类。该方案只用注意力运算去做特征之间相关性，如此一来需要依赖大量的数据才能学到好的效果。
[0005]还有一种方案与上述现有技术的主体思想类似，不同的是在做注意力运算时时候先做一次目标之间的相关性，作为一阶关系，再做一次关系和关系之间相关性，作为二阶关系。该方案考虑的关系更复杂，更依赖数据量，同时运算复杂度更高。
[0006]为此，在行为检测的过程中，如何降低样本依赖以及运算复杂度是本领域亟待解决的问题。

技术实现思路

[0007]有鉴于此，本专利技术的目的在于提供一种基于时空上下文的行为检测方法、装置、设备及介质，能够降低样本依赖以及运算复杂度，其具体方案如下：
[0008]第一方面，本申请公开了一种基于时空上下文的行为检测方法，包括：
[0009]基于预设的帧间隔对视频序列进行检测，得到与若干检测帧对应的所述视频序列中所有目标的位置信息；
[0010]对所述视频序列进行特征提取，得到与所述视频序列对应的第一特征图，并基于时间维度对所述第一特征图进行池化，得到与所述视频序列对应的第二特征图，然后通过所述视频序列的中间检测帧的位置信息以及所述第二特征图确定出所述所有目标的动作特征；其中，所述中间检测帧为所述若干检测帧中位于中间位置的检测帧；
[0011]基于所述所有目标的位置信息确定所述所有目标的绝对位置特征以及每两个所
述目标之间的相对位置特征；
[0012]对所述所有目标的动作特征、所述所有目标的绝对位置特征以及每两个所述目标之间的相对位置特征进行注意力运算，得到所有所述目标的时空行为特征，并对所述时空行为特征进行分类，得到相应的行为检测结果。
[0013]可选的，所述基于预设的帧间隔对视频序列进行检测，得到与若干检测帧对应的所述视频序列中所有目标的位置信息，包括：
[0014]基于预设的帧间隔对视频序列进行检测，得到与若干检测帧对应的所述视频序列中所有目标所在检测框的中心点坐标以及所述检测框的尺寸信息；其中，所述尺寸信息为所述检测框的宽高信息。
[0015]可选的，基于所述所有目标的位置信息确定所述所有目标的绝对位置特征，包括：
[0016]对每连续两个所述检测帧之间的各目标的变化速度的最大值、变化速度的最小值、变化速度的平均值以及变化速度经过多层感知机的输出结果均进行特征拼接，得到每连续两个所述检测帧之间的各目标的变化速度的拼接后特征；其中，所述变化速度包括第一变化速度、第二变化速度、第三变化速度以及第四变化速度；所述第一变化速度与所述第二变化速度为所述检测框的中心点坐标位置的变化速度，所述第三变化速度与所述第四变化速度为所述检测框的宽高的变化速度；
[0017]对每连续两个所述检测帧之间的各目标的第一变化速度的拼接后特征、第二变化速度的拼接后特征、第三变化速度的拼接后特征以及第四变化速度的拼接后特征分别均进行特征拼接，得到所述所有目标的绝对位置特征。
[0018]可选的，基于所述所有目标的位置信息确定所述所有目标的绝对位置特征之前，还包括：
[0019]基于每一所述检测帧上的各目标所在检测框的中心点坐标以及所述检测框的尺寸信息，确定出与每连续两个所述检测帧之间的各目标的变化速度；
[0020]从每连续两个所述检测帧之间的各目标的变化速度中确定出每连续两个所述检测帧之间的各目标的变化速度的最大值、变化速度的最小值、变化速度的平均值，并基于所述多层感知机对各目标的变化速度进行计算，得到每连续两个所述检测帧之间的各目标的变化速度经过所述多层感知机的输出结果。
[0021]可选的，基于所述所有目标的位置信息确定每两个所述目标之间的相对位置特征，包括：
[0022]对每连续两个所述检测帧之间的每两个目标间的相对变化速度的最大值、相对变化速度的最小值、相对变化速度的平均值以及相对变化速度经过多层感知机的输出结果均进行特征拼接，得到每连续两个所述检测帧之间的每两个目标间的相对变化速度的拼接后特征；其中，所述相对变化速度包括第一相对变化速度、第二相对变化速度、第三相对变化速度以及第四相对变化速度；所述第一相对变化速度与所述第二相对变化速度为所述检测框的中心点坐标位置的相对变化速度，所述第三相对变化速度与所述第四相对变化速度为所述检测框的宽高的相对变化速度；
[0023]对每连续两个所述检测帧之间的每两个目标间的第一相对变化速度的拼接后特征、第二相对变化速度的拼接后特征、第三相对变化速度的拼接后特征以及第四相对变化速度的拼接后特征分别均进行特征拼接，得到每连续两个所述检测帧之间的每两个目标间
的位置特征，并基于多层感知机对所述位置特征进行计算，得到每连续两个所述检测帧之间的每两个目标间的相对位置特征。
[0024]可选的，基于所述所有目标的位置信息确定每两个所述目标之间的相对位置特征之前，还包括：
[0025]基于每一所述检测帧上的各目标所在检测框的中心点坐标以及所述检测框的尺寸信息，确定出每连续两个所述检测帧之间的每两个目标间的相对变化速度；
[0026]从每连续两个所述检测帧之间的每两个目标间的相对变化速度中确定出相对变化速度的最大值、相对变化速度的最小值、相对变化速度的平均值，并基于所述多层感知机对每两个目标间的相对变化速度进行计算，得到每连续两个所述检测帧之间的每两个目标间的相对变化速度经过所述多层感知机的输出结果。
[0027]可选的，所述对所述所有目标的动作特征、所述所有目标的绝对位置特征以及每两个所述目标之间的相对位置特征进行注意力运算，得到所有所述目标的时空行为特征，包括：
[0028]基于预设的注意力运算公式对所述所有目标的动本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于时空上下文的行为检测方法，其特征在于，包括：基于预设的帧间隔对视频序列进行检测，得到与若干检测帧对应的所述视频序列中所有目标的位置信息；对所述视频序列进行特征提取，得到与所述视频序列对应的第一特征图，并基于时间维度对所述第一特征图进行池化，得到与所述视频序列对应的第二特征图，然后通过所述视频序列的中间检测帧的位置信息以及所述第二特征图确定出所述所有目标的动作特征；其中，所述中间检测帧为所述若干检测帧中位于中间位置的检测帧；基于所述所有目标的位置信息确定所述所有目标的绝对位置特征以及每两个所述目标之间的相对位置特征；对所述所有目标的动作特征、所述所有目标的绝对位置特征以及每两个所述目标之间的相对位置特征进行注意力运算，得到所有所述目标的时空行为特征，并对所述时空行为特征进行分类，得到相应的行为检测结果。2.根据权利要求1所述的基于时空上下文的行为检测方法，其特征在于，所述基于预设的帧间隔对视频序列进行检测，得到与若干检测帧对应的所述视频序列中所有目标的位置信息，包括：基于预设的帧间隔对视频序列进行检测，得到与若干检测帧对应的所述视频序列中所有目标所在检测框的中心点坐标以及所述检测框的尺寸信息；其中，所述尺寸信息为所述检测框的宽高信息。3.根据权利要求2所述的基于时空上下文的行为检测方法，其特征在于，基于所述所有目标的位置信息确定所述所有目标的绝对位置特征，包括：对每连续两个所述检测帧之间的各目标的变化速度的最大值、变化速度的最小值、变化速度的平均值以及变化速度经过多层感知机的输出结果均进行特征拼接，得到每连续两个所述检测帧之间的各目标的变化速度的拼接后特征；其中，所述变化速度包括第一变化速度、第二变化速度、第三变化速度以及第四变化速度；所述第一变化速度与所述第二变化速度为所述检测框的中心点坐标位置的变化速度，所述第三变化速度与所述第四变化速度为所述检测框的宽高的变化速度；对每连续两个所述检测帧之间的各目标的第一变化速度的拼接后特征、第二变化速度的拼接后特征、第三变化速度的拼接后特征以及第四变化速度的拼接后特征分别均进行特征拼接，得到所述所有目标的绝对位置特征。4.根据权利要求3所述的基于时空上下文的行为检测方法，其特征在于，基于所述所有目标的位置信息确定所述所有目标的绝对位置特征之前，还包括：基于每一所述检测帧上的各目标所在检测框的中心点坐标以及所述检测框的尺寸信息，确定出与每连续两个所述检测帧之间的各目标的变化速度；从每连续两个所述检测帧之间的各目标的变化速度中确定出每连续两个所述检测帧之间的各目标的变化速度的最大值、变化速度的最小值、变化速度的平均值，并基于所述多层感知机对各目标的变化速度进行计算，得到每连续两个所述检测帧之间的各目标的变化速度经过所述多层感知机的输出结果。5.根据权利要求2所述的基于时空上下文的行为检测方法，其特征在于，基于所述所有目标的位置信息确定每两个所述目标之间的相对位置特征，包括：
对每连续两个所述检测帧之间的每两个目标间的相对变化速度的最大值、相对变化速度的最小值、相对变化速度的平均值以及相对变化速度经过多层感知机的输出结果均进行特征拼接，得到每连续两个所述检测帧之间的每两个目标间的相对变化速度的拼接后特征；其中，所述相对变化速度包括第一相对变化速度、第二相对变化速度、第三相对变化速度以及第四相对变化速度；所述第一相对变化速度与所述第二相对变化速度为所述检测框的中心点坐标位置的相对变化速度，所述第三相对变化速度与所述第四相对变化速度...

【专利技术属性】
技术研发人员：韩泽，
申请(专利权)人：济南博观智能科技有限公司，
类型：发明
国别省市：