基于多模态数据分析的校园暴力行为识别方法技术

本发明专利技术提供了基于多模态数据分析的校园暴力行为识别方法，包括：采集校园区域内各监测点的数据信息进行预处理；对预处理的每个图像帧中的人物对象进行第一标定裁剪以及对场景对象进行第二标定裁剪，同时，对预处理中存在的人物对象的音频进行第一提取，对对应场景对象的音频进行第二提取；将第一标定裁剪结果与第二标定裁剪结果进行标定融合，得到若干融合图，同时将连续时刻的第一提取结果与第二提取结果进行声音融合；获取融合图的行为匹配参数以及匹配的第一提取结果和第二提取结果，并输入到暴力分析模型中，判断人物对象是否存在校园暴力行为。通过多模态的数据分析，采用人物加场景的方式来进行判断，提高校园暴力行为识别判断的准确性。识别判断的准确性。识别判断的准确性。

【技术实现步骤摘要】
基于多模态数据分析的校园暴力行为识别方法


[0001]本专利技术涉及校园暴力行为识别
，特别涉及基于多模态数据分析的校园暴力行为识别方法。

技术介绍

[0002]行为识别技术指的是识别真实环境中人的行为表现或动作，可以在各个场景中进行应用，常见的应用场景有：智能监控、智能家居、人机交互等。因为其广泛的应用场景，识别技术的准确率和效率也一直受到所有研究人员的关注。
[0003]然而，对于人物对象的行为识别，特别是对于校园暴力行为的识别经常会受到不同场景环境的限制，而出现判断错误的风险，同时仅基于一种方式对人物对象的行为进行识别也会出现识别错误或判断错误的风险。
[0004]因此，本专利技术提出了基于多模态数据分析的校园暴力行为识别方法。

技术实现思路

[0005]本专利技术提供基于多模态数据分析的校园暴力行为识别方法，用以通过对不同人物对象进行多模态的数据分析，同时采用人物对象与场景对象相融合的方式来进行校园暴力行为的判断，提高了校园暴力行为识别判断的准确性，降低了校园暴力行为识别错误的风险。
[0006]本专利技术提供了基于多模态数据分析的校园暴力行为识别方法，包括：步骤1：采集校园区域内各监测点的数据信息，并进行预处理；步骤2：对预处理结果中每个图像帧中的人物对象进行第一标定裁剪以及对每个图像帧中的场景对象进行第二标定裁剪，同时，对预处理结果中存在的人物对象的音频进行第一提取以及对存在的场景对象的音频进行第二提取；步骤3：对连续区域以及连续时刻中的第一标定裁剪结果与第二标定裁剪结果进行标定融合，构建得到若干融合图；步骤4：获取每个融合图的行为匹配参数以及匹配时刻段的第一提取结果和第二提取结果，并输入到暴力分析模型中，判断对应人物对象是否存在校园暴力行为。
[0007]优选地，所述采集校园区域内各监测点的数据信息，并进行预处理，包括：步骤11：采集所述校园区域内各监测点的数据信息，并分别提取出各监测点的视频数据信息以及音频数据信息；步骤12：基于音视频转换脚本程序将每个监测点所提取的视频数据全部转化为对应的图像帧集以及将每个监测点所提取的音频数据全部转化为对应的音频数据集；其中，所述预处理结果包括：图像帧集以及音频数据集。
[0008]优选地，所述对预处理结果中每个图像帧中的人物对象进行第一标定裁剪以及对每个图像帧中的场景对象进行第二标定裁剪，包括：步骤21：对所述图像帧集中每个图像帧中的每个人物对象进行第一标定；
步骤22：对所述图像帧集中每个图像帧中的每个场景对象进行第二标定；步骤23：对标定后的人物对象以及场景对象进行裁剪。
[0009]优选地，所述对所述图像帧集中每个图像帧中的每个人物对象进行第一标定，包括：步骤211：对同个监测点下的图像帧集中的每个图像帧的人物对象进行关键点检测，获得每个人物对象对应的预设关键点的位置坐标，并以所述位置坐标为基准，对对应人物对象进行轮廓标定；步骤212：对轮廓标定结果进行数值标准化处理，得到轮廓分析数值；步骤213：基于行为分类模型对所述轮廓分析数值进行分析，得到对应人物对象与所述行为分类模型中每个第一预设行为类别的第一匹配概率值，并将最大的第一匹配概率值所属的类别，作为对应人物对象的第一行为类别；步骤214：对同个监测点下的图像帧集中每个图像帧的人物对象进行长方形标定，并将长方形标定结果传输至预训练好的识别模型，得到对应人物对象与所述识别模型中每个第二预设行为类别的第二匹配概率值，并将最大的第二匹配概率值所属的类别，作为对应人物对象的第二行为类别；步骤215：当所述第一行为类别与第二行为类别一致时，将第一行为类别对应的轮廓标定结果作为第一标定结果；当所述第一行为类别与第二行为类别不一致时，筛选匹配概率高的类别所对应的标定结果作为第一标定结果。
[0010]优选地，所述对预处理结果中存在的人物对象的音频进行第一提取以及对存在的场景对象的音频进行第二提取，包括：步骤01：对所述音频数据集中涉及到的每个人物对象的音频进行第一提取；步骤02：对所述音频数据集中涉及到的每个场景对象的音频进行第二提取。
[0011]优选地，所述的基于多模态数据分析的校园暴力行为识别方法，包括：第一提取结果为音频数据中不同音色所对应人物对象的语言信息以及人物对象发出的行为动作声音，第二提取结果为基于人物对象发出的行为动作对场景对象所处环境造成的影响环境声音。
[0012]优选地，所述对连续区域以及连续时刻中的第一标定裁剪结果与第二标定裁剪结果进行标定融合，构建得到若干融合图，包括：步骤31：获取场景对象未受到行为动作影响下的基准图像帧；步骤32：获取每个监测点下的每个第一图像帧的第二标定裁剪结果，并分别与所述基准图像帧中对场景对象的关键点标定结果进行点对应分析，获取对应程度；步骤33：提取所述对应程度小于预设程度的第二图像帧以及提取所述对应程度不小于预设程度的第三图像帧；步骤34：按照每个第三图像帧的出现顺序，将每个第三图像帧匹配的对应程度进行依次排序，构建得到程度序列；步骤35：分析所述程度序列中每个序列的序列大小以及每个序列基于相邻序列的起伏状态，并基于序列分析模型，对所述程度序列进行序列拆分，来确定人物对象的行为动作对场景对象的影响次数；
步骤36：若所述影响次数为1次，确定所述程度序列中首序列的第一出现时刻，并基于所述第一出现时刻，步骤37：确定所述程度序列中的平稳序列的第二出现时刻，根据所述第一出现时刻与第二出现时刻的时刻差绝对值，预估对所述第一出现时刻的向前推测时间步长，来从所述第二图像帧中获取人物对象的具代表的行为动作时刻；步骤38：将具代表的行为动作时刻的图像帧的第一标定裁剪结果与对应第二出现时刻的图像帧的第二标定裁剪结果进行融合，得到对应的融合图；步骤39：若所述影响次数为多次，分别确定所述程度序列中的变化临界序列，并分别确定每个变化临界序列的第三出现时刻；步骤310：对第一个变化临界序列按照常规预估标准，预估第一推测步长，对剩余每个变化临界序列，按照常规预估标准以及在当下变化临界序列之前的变化临界序列对应的场景变化位置，预估第二推测步长；步骤320：根据所述第一推测步长与第二推测步长，从所述第二图像帧中匹配得到与每个变化临界序列相一致的具代表的行为动作的图像帧，并分别提取对应的第一标定裁剪结果与对应的变化临界序列相关的场景对象的图像帧所提取的第二标定裁剪结果进行融合，得到对应的融合图。优选地，获取每个融合图的行为匹配参数以及匹配时刻段的第一提取结果和第二提取结果，并输入到暴力分析模型中，判断对应人物对象是否存在校园暴力行为，包括：步骤41：根据每个融合图中包含的行为动作的第一发生时刻与第一结束时刻以及对应融合图像中包含的影响场景对象的第二发生时刻与第二结束时刻，来获取时刻范围；步骤42：获取所述时刻范围内的第一提取结果与第二提取结果，构建输入数组；步骤43：将所述输入数组输入到预设暴力分析模型，判断是否存在校园暴力行为。
[0013]优选地，所述判断是否存在校园暴力行为之后，还包括：当判断存在校园暴力行为时，锁定本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于多模态数据分析的校园暴力行为识别方法，其特征在于，包括：步骤1：采集校园区域内各监测点的数据信息，并进行预处理；步骤2：对预处理结果中每个图像帧中的人物对象进行第一标定裁剪以及对每个图像帧中的场景对象进行第二标定裁剪，同时，对预处理结果中存在的人物对象的音频进行第一提取以及对存在的场景对象的音频进行第二提取；步骤3：对连续区域以及连续时刻中的第一标定裁剪结果与第二标定裁剪结果进行标定融合，构建得到若干融合图；步骤4：获取每个融合图的行为匹配参数以及匹配时刻段的第一提取结果和第二提取结果，并输入到暴力分析模型中，判断对应人物对象是否存在校园暴力行为。2.如权利要求1所述的基于多模态数据分析的校园暴力行为识别方法，其特征在于，采集校园区域内各监测点的数据信息，并进行预处理，包括：步骤11：采集所述校园区域内各监测点的数据信息，并分别提取出各监测点的视频数据信息以及音频数据信息；步骤12：基于音视频转换脚本程序将每个监测点所提取的视频数据全部转化为对应的图像帧集以及将每个监测点所提取的音频数据全部转化为对应的音频数据集；其中，所述预处理结果包括：图像帧集以及音频数据集。3.如权利要求2所述的基于多模态数据分析的校园暴力行为识别方法，其特征在于，对预处理结果中每个图像帧中的人物对象进行第一标定裁剪以及对每个图像帧中的场景对象进行第二标定裁剪，包括：步骤21：对所述图像帧集中每个图像帧中的每个人物对象进行第一标定；步骤22：对所述图像帧集中每个图像帧中的每个场景对象进行第二标定；步骤23：对标定后的人物对象以及场景对象进行裁剪。4.如权利要求3所述的基于多模态数据分析的校园暴力行为识别方法，其特征在于，对所述图像帧集中每个图像帧中的每个人物对象进行第一标定，包括：步骤211：对同个监测点下的图像帧集中的每个图像帧的人物对象进行关键点检测，获得每个人物对象对应的预设关键点的位置坐标，并以所述位置坐标为基准，对对应人物对象进行轮廓标定；步骤212：对轮廓标定结果进行数值标准化处理，得到轮廓分析数值；步骤213：基于行为分类模型对所述轮廓分析数值进行分析，得到对应人物对象与所述行为分类模型中每个第一预设行为类别的第一匹配概率值，并将最大的第一匹配概率值所属的类别，作为对应人物对象的第一行为类别；步骤214：对同个监测点下的图像帧集中每个图像帧的人物对象进行长方形标定，并将长方形标定结果传输至预训练好的识别模型，得到对应人物对象与所述识别模型中每个第二预设行为类别的第二匹配概率值，并将最大的第二匹配概率值所属的类别，作为对应人物对象的第二行为类别；步骤215：当所述第一行为类别与第二行为类别一致时，将第一行为类别对应的轮廓标定结果作为第一标定结果；当所述第一行为类别与第二行为类别不一致时，筛选匹配概率高的类别所对应的标定结果作为第一标定结果。
5.如权利要求2所述的基于多模态数据分析的校园暴力行为识别方法，其特征在于，对预处理结果中存在的人物对象的音频进行第一提取以及对存在的场景对象的音频进行第二提取，包括：步骤01：对所述音频数据集中涉及到的每个人物对象的音频进行第一提取；步骤02：对所述音频数据集中涉及到的每个场景对象的音频进行第二提取。6.如权利要求5所述的基于多模态数据分析的校园暴力行为识别方法，其特征在于，第一提取结果为音频数据中不同音色所对应人物对象的语言信息以及人物对象发出的行为动作声音，第二提取结果为基于人物对象发出的行为动作对场景对象所处环境造成的影响环境声音。7.如权利要求4所述的基于多模态数据分析的校园暴力行为识别方法，其特征在于，对连续区域以及连续时刻中的第一标定裁剪结果与第二标定裁剪结果进行标定融合，构建得到若干融合图，包括：步骤31：获取场景对象未受到行为动作影响下的基准图像帧；步骤32：获取每个监测点下的每个第一图像帧的第二标定裁剪结果，并分别与所述基准图像帧中对场景对象的关键点标定...

【专利技术属性】
技术研发人员：杨雪，
申请(专利权)人：广东汇通信息科技股份有限公司，
类型：发明
国别省市：