一种基于跨模态的智能监控方法、系统与存储介质技术方案

本发明专利技术提供了一种基于跨模态的智能监控方法、系统与存储介质，构建并训练基于语义增强的跨模态融合模型；获取监控平台的视频流，并对所述视频流进行关键帧提取；根据所需预警的自定义场景描述，通过所述跨模态融合模型对视频关键帧进行检测，若检测到符合所述自定义场景描述的视频画面时，则对平台进行告警。有益效果：针对传统人工监控的不足和基于目标物的图像检测方案的局限性，提出了基于语义增强的跨模态融合模型，实现针对自定义描述场景对监控视频流进行识与智能监控；同时，对视频流进行关键帧的获取，可以快速准确地进行视频摘要，降低视频的冗余性和处理的复杂度，提高自定义描述场景识别的速度与准确度。

【技术实现步骤摘要】

本专利技术涉及智能安全监控，尤其涉及一种基于跨模态的智能监控方法、系统与存储介质。

技术介绍

1、在工地等复杂环境中往往需要对特定场景进行监控和告警。传统的方法主要是依靠人工进行判别，造成人力的浪费，而基于图像检测的监控方法需要对目标物进行预定义然后检测，而且标签信息所含有的信息量少，没有充分挖掘语言和图像信息的关联性，局限性较大。

2、即现有的解决方案，针对传统人工监控不足，且基于目标物的图像检测方案应用具有局限性。因此，如何在不依赖人工的情况下对自定义描述的场景进行捕捉和预警，是当前所要解决的问题。

技术实现思路

1、本专利技术所要解决的技术问题是：提供一种基于跨模态的智能监控方法、系统与存储介质，实现可自定义描述场景的监测和预警，以降低突发状况可能产生的严重影响。

2、为了解决上述技术问题，本专利技术采用的技术方案为：一种基于跨模态的智能监控方法，包括步骤：

3、s1、构建并训练基于语义增强的跨模态融合模型；

4、s2、获取监控平台的视频流，并对所述视频流本文档来自技高网...

【技术保护点】

1.一种基于跨模态的智能监控方法，其特征在于，包括步骤：

2.根据权利要求1所述的一种基于跨模态的智能监控方法，其特征在于，所述步骤S1包括步骤：

3.根据权利要求2所述的一种基于跨模态的智能监控方法，其特征在于，所述步骤S12中根据预设的跨模态数据集分别提取场景图像和文本描述的特征，包括：

4.根据权利要求2所述的一种基于跨模态的智能监控方法，其特征在于，所述步骤S12中基于编码特征语义增强对文本描述特征进行特征加强，包括：

5.根据权利要求2所述的一种基于跨模态的智能监控方法，其特征在于，所述步骤S13中构建基于语义增强的跨模态融合模型...

【技术特征摘要】

1.一种基于跨模态的智能监控方法，其特征在于，包括步骤：

2.根据权利要求1所述的一种基于跨模态的智能监控方法，其特征在于，所述步骤s1包括步骤：

3.根据权利要求2所述的一种基于跨模态的智能监控方法，其特征在于，所述步骤s12中根据预设的跨模态数据集分别提取场景图像和文本描述的特征，包括：

4.根据权利要求2所述的一种基于跨模态的智能监控方法，其特征在于，所述步骤s12中基于编码特征语义增强对文本描述特征进行特征加强，包括：

5.根据权利要求2所述的一种基于跨模态的智能监控方法，其特征在于，所述步骤s13中构建基于语义增强的跨模态融合模型对齐所述场景图像特征及所述文...

【专利技术属性】
技术研发人员：江世松，郑敏忠，林大甲，黄宗荣，
申请(专利权)人：金钱猫科技股份有限公司，
类型：发明
国别省市：