【技术实现步骤摘要】
本申请涉及人工智能，具体而言，涉及一种基于人工智能算法的智慧校园管理系统。
技术介绍
1、智慧校园管理系统是一种基于图像数据处理的智能监控系统，该系统能够实时分析校园内的监控视频图像，自动识别和记录校园内的各种活动，从而提高校园安全管理水平。例如，可以通过该系统监控校园内的异常行为（如打架、盗窃、安全事故等），及时发出警报并通知相关人员进行处理。此外，该系统还可以用于学生考勤统计、教师教学评估、校园交通流量分析等多个方面，为智慧校园的建设提供强有力的技术支持。
2、但是，由于不同事件对应的识别方法存在一定差异，因此通常需要采用多种算法和处理逻辑来分别实现各个事件的识别。由此一来，不仅会增加系统的复杂性，也提高了系统的开发成本（例如，需要针对不同模型单独进行构建和训练）。
3、基于此，有必要研究一种更加智能的智慧校园管理系统，以简化系统结构，提高系统的整体性能，并降低系统的开发成本。
技术实现思路
1、为解决上述问题，本说明书实施例提供一种基于人工智能算法的智慧校园管理系统，该系统包括：
2、获取模块，用于获取针对目标区域采集得到的监控视频，以及针对目标事件类型进行监测的监测指令；
3、视频帧提取模块，用于对所述监控视频进行关键帧提取，得到一个或多个目标视频帧；
4、视频内容解析模块，用于将所述一个或多个目标视频帧和所述监测指令输入训练好的视频内容解析模型进行视频内容特征提取和事件分类，得到所述一个或多个目标视频帧对应的视频
5、其中，所述监测指令用于指示所述视频内容解析模型进行视频内容特征提取和事件分类的重点关注方向，所述视频内容解析模型包括视频帧特征提取网络、事件特征映射网络、内容解析网络和事件分类网络，所述视频内容解析模型通过图文样本训练集对初始视频内容解析模型的视频帧特征提取网络、事件特征映射网络和内容解析网络进行视频帧特征和帧特征描述文本对齐的第一监督训练，以及通过监测指令样本训练集对所述初始视频内容解析模型进行视频内容特征提取和事件分类的第二监督训练得到。
6、在一些实施例中，所述视频帧提取模块具体用于：基于所述监测指令将帧差大于对应的预设帧差阈值的视频帧作为关键帧。
7、在一些实施例中，所述视频帧特征提取网络用于对所述一个或多个目标视频帧进行特征提取，得到每一个目标视频帧对应的视频帧特征；所述事件特征映射网络用于将所述视频帧特征转换为文本嵌入空间的帧特征描述文本；所述内容解析网络基于预训练的生成式语言模型构建得到，用于基于所述帧特征描述文本和所述监测指令得到每一个目标视频帧对应的视频内容解析文本和事件内容特征；所述事件分类网络用于基于所述事件内容特征进行分类识别，得到所述事件分类结果。
8、在一些实施例中，所述事件特征映射网络包括第一映射层和第二映射层，所述事件特征映射网络具体用于：
9、将所述视频帧特征输入所述第一映射层进行切片级特征映射，以将所述视频帧特征以切片为单位映射至词嵌入空间，得到切片嵌入特征；
10、将所述切片嵌入特征输入所述第二映射层进行前后关联信息挖掘和提取，得到所述帧特征描述文本。
11、在一些实施例中，所述视频帧特征提取网络通过图文样本训练集对预先配置的指示信息特征提取单元和基于自注意力机制的视频帧特征提取单元进行图文匹配训练得到。
12、在一些实施例中，所述系统还包括训练模块，所述训练模块具体用于：
13、获取常规事件对应的第一图文样本训练集、关注事件对应的第二图文样本训练集以及由多种监测指令构成的指示信息训练集；
14、基于所述常规事件对应的第一图文样本训练集和所述关注事件对应的第二图文样本训练集对所述初始视频内容解析模型的视频帧特征提取网络、事件特征映射网络和内容解析网络进行视频帧特征和帧特征描述文本对齐的第一监督训练，在所述第一监督训练过程中固定所述内容解析网络的网络参数并调整所述视频帧特征提取网络和所述事件特征映射网络的网络参数，直至满足第一预设训练条件；
15、基于所述关注事件对应的第二图文样本训练集以及由所述指示信息训练集形成的监测指令样本训练集对满足所述第一预设训练条件的初始视频内容解析模型进行视频内容特征提取和事件分类的第二监督训练，在所述第二监督训练过程中固定所述视频帧特征提取网络和所述事件特征映射网络的网络参数并调整所述内容解析网络和所述事件分类网络的网络参数，直至满足第二预设训练条件；
16、将满足所述第二预设训练条件的初始视频内容解析模型作为所述训练好的视频内容解析模型。
17、在一些实施例中，所述常规事件对应的第一图文样本训练集包括第一样本视频帧、第一关注方向信息和所述第一样本视频帧对应的第一内容标签文本，所述关注事件对应的第二图文样本训练集包括第二样本视频帧、第二关注方向信息和所述第二样本视频帧对应的第二内容标签文本，所述第一关注方向信息和所述第二关注方向信息均用于引导所述内容解析网络在进行帧内容解析时的重点关注方向，所述第一内容标签文本为基于所述第一关注方向信息进行视频帧内容描述所对应的期望解析结果，所述第二内容标签文本为基于所述第二关注方向信息进行视频帧内容描述所对应的期望解析结果；所述第一监督训练过程包括以下步骤：
18、将所述第一样本视频帧和/或所述第二样本视频帧作为所述视频帧特征提取网络的输入进行视频帧特征提取，得到所述第一样本视频帧对应的第一样本视频帧特征和/或所述第二样本视频帧对应的第二样本视频帧特征；
19、将所述第一样本视频帧特征和/或所述第二样本视频帧特征作为所述事件特征映射网络的输入进行事件特征映射，从而将所述第一样本视频帧特征和/或所述第二样本视频帧特征映射至所述内容解析网络对应的文本嵌入空间，得到所述第一样本视频帧对应的第一帧特征描述文本和/或所述第二样本视频帧对应的第二帧特征描述文本；
20、将所述第一帧特征描述文本与所述第一关注方向信息构成的数据对和/或所述第二帧特征描述文本与所述第二关注方向信息构成的数据对作为所述内容解析网络的输入进行帧内容解析，得到所述第一样本视频帧对应的第一样本解析结果和/或所述第二样本视频帧对应的第二样本解析结果；
21、根据所述第一样本解析结果与所述第一内容标签文本之间的差异以及所述第二样本解析结果与所述第二内容标签文本之间的差异确定第一网络损失值；
22、将所述内容解析网络的网络参数固定，并根据所述第一网络损失值优化所述视频帧特征提取网络和所述事件特征映射网络的网络参数，直至满足所述第一预设训练条件时完成所述第一监督训练。
23、在一些实施例中，所述关注事件对应的第二图文样本训练集还包括所述第二样本视频帧对应的事件分类标签，所述指示信息训练集包括样本监测指令和所述样本监测指令对应的输出结果标注，所述第二监督训练过程包括以下步骤：
24、将所述第二样本视频帧作为满足所本文档来自技高网...
【技术保护点】
1.一种基于人工智能算法的智慧校园管理系统，其特征在于，包括：
2.如权利要求1所述的基于人工智能算法的智慧校园管理系统，其特征在于，所述视频帧提取模块具体用于：基于所述监测指令将帧差大于对应的预设帧差阈值的视频帧作为关键帧。
3.如权利要求1所述的基于人工智能算法的智慧校园管理系统，其特征在于，所述视频帧特征提取网络用于对所述一个或多个目标视频帧进行特征提取，得到每一个目标视频帧对应的视频帧特征；所述事件特征映射网络用于将所述视频帧特征转换为文本嵌入空间的帧特征描述文本；所述内容解析网络基于预训练的生成式语言模型构建得到，用于基于所述帧特征描述文本和所述监测指令得到每一个目标视频帧对应的视频内容解析文本和事件内容特征；所述事件分类网络用于基于所述事件内容特征进行分类识别，得到所述事件分类结果。
4.如权利要求3所述的基于人工智能算法的智慧校园管理系统，其特征在于，所述事件特征映射网络包括第一映射层和第二映射层，所述事件特征映射网络具体用于：
5.如权利要求3所述的基于人工智能算法的智慧校园管理系统，其特征在于，所述视频帧特征提取网
6.如权利要求1~5中任一项所述的基于人工智能算法的智慧校园管理系统，其特征在于，所述系统还包括训练模块，所述训练模块具体用于：
7.如权利要求6所述的基于人工智能算法的智慧校园管理系统，其特征在于，所述常规事件对应的第一图文样本训练集包括第一样本视频帧、第一关注方向信息和所述第一样本视频帧对应的第一内容标签文本，所述关注事件对应的第二图文样本训练集包括第二样本视频帧、第二关注方向信息和所述第二样本视频帧对应的第二内容标签文本，所述第一关注方向信息和所述第二关注方向信息均用于引导所述内容解析网络在进行帧内容解析时的重点关注方向，所述第一内容标签文本为基于所述第一关注方向信息进行视频帧内容描述所对应的期望解析结果，所述第二内容标签文本为基于所述第二关注方向信息进行视频帧内容描述所对应的期望解析结果；所述第一监督训练过程包括以下步骤：
8.如权利要求7所述的基于人工智能算法的智慧校园管理系统，其特征在于，所述关注事件对应的第二图文样本训练集还包括所述第二样本视频帧对应的事件分类标签，所述指示信息训练集包括样本监测指令和所述样本监测指令对应的输出结果标注，所述第二监督训练过程包括以下步骤：
9.如权利要求7所述的基于人工智能算法的智慧校园管理系统，其特征在于，所述第一关注方向信息和所述第二关注方向信息均包括至少一个方向的监测指令，其中，每一个方向的监测指令包括多个维度的指示信息，所述多个维度的指示信息包括帧内目标识别指示、帧画面内容属性提取指示和帧画面内容推导指示。
10.如权利要求9所述的基于人工智能算法的智慧校园管理系统，其特征在于，所述帧内目标识别指示用于引导所述内容解析网络进行帧内目标识别；
...【技术特征摘要】
1.一种基于人工智能算法的智慧校园管理系统，其特征在于，包括：
2.如权利要求1所述的基于人工智能算法的智慧校园管理系统，其特征在于，所述视频帧提取模块具体用于：基于所述监测指令将帧差大于对应的预设帧差阈值的视频帧作为关键帧。
3.如权利要求1所述的基于人工智能算法的智慧校园管理系统，其特征在于，所述视频帧特征提取网络用于对所述一个或多个目标视频帧进行特征提取，得到每一个目标视频帧对应的视频帧特征；所述事件特征映射网络用于将所述视频帧特征转换为文本嵌入空间的帧特征描述文本；所述内容解析网络基于预训练的生成式语言模型构建得到，用于基于所述帧特征描述文本和所述监测指令得到每一个目标视频帧对应的视频内容解析文本和事件内容特征；所述事件分类网络用于基于所述事件内容特征进行分类识别，得到所述事件分类结果。
4.如权利要求3所述的基于人工智能算法的智慧校园管理系统，其特征在于，所述事件特征映射网络包括第一映射层和第二映射层，所述事件特征映射网络具体用于：
5.如权利要求3所述的基于人工智能算法的智慧校园管理系统，其特征在于，所述视频帧特征提取网络通过图文样本训练集对预先配置的指示信息特征提取单元和基于自注意力机制的视频帧特征提取单元进行图文匹配训练得到。
6.如权利要求1~5中任一项所述的基于人工智能算法的智慧校园管理系统，其特征在于，所述系统还包括训练模块，所述训练模块具体用于：
7.如权利要求6所述的基于人工...
【专利技术属性】
技术研发人员：于运涛，
申请(专利权)人：华讯智慧科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。