异常事件处理方法和装置、电子设备及可读存储介质制造方法及图纸

本发明专利技术提供一种异常事件处理方法和装置、电子设备及可读存储介质，其中所述方法包括：获取监控信息，所述监控信息包括声音信息和图像信息；对声音信息进行预处理，将预处理后的声音信息转换为语谱图；对图像信息进行处理，得到相邻两帧图像的差；将语谱图和相邻两帧图像的差分别输入至异常事件监控模型中，输出监控的信息中的事件分类结果；其中，所述异常事件监控模型是基于语谱图样本和图像差分图样本以及预先确定的事件属性标签进行训练后得到。本发明专利技术通过异常事件监控模型，实现了视频监控中图像信息与声音信息的融合，实现了对异常事件的监测，可以有效减少人力和物力的开销，同时也可以有效减少人工提取特征对异常事件判别的影响。件判别的影响。件判别的影响。

【技术实现步骤摘要】
异常事件处理方法和装置、电子设备及可读存储介质


[0001]本专利技术涉及异常事件监测领域，尤其涉及一种异常事件处理方法和装置、电子设备及可读存储介质。

技术介绍

[0002]现有的异常事件监控预警方法为：采用背景建模的混合高斯算法提取前景目标，然后使用金字塔迭代的L
‑
K特征点跟踪算法得到前景的光流运动信息，并通过分析前景的面积比例、速度方差、整体熵判断视频中是否有异常事件的发生。但是，该方法只对监控的视频画面信息进行了利用，完全抛弃了安防监控的声音信息，监测信息来源单一。由于光线传播的特性导致监控视频画面存在比较多的盲区，而且容易受到光线环境以及遮挡物的影响。诸如夜晚、雨天、雾天一类的场景会对视频监控采集到的信息造成极大的不良影响。这些因素都会直接导致异常监测质量的下降，影响预警效果。

技术实现思路

[0003]本专利技术提供一种异常事件处理方法和装置、电子设备及可读存储介质，用以解决现有技术中存在的技术缺陷。
[0004]本专利技术提供一种异常事件处理方法，包括：
[0005]获取监控信息，所述监控信息包括声音信息和图像信息；
[0006]对所述声音信息进行预处理，将预处理后的声音信息转换为语谱图；对所述图像信息进行处理，得到相邻两帧图像的差；
[0007]将所述语谱图和相邻两帧图像的差分别输入至异常事件监控模型中，输出所述监控的信息中的事件分类结果；
[0008]其中，所述异常事件监控模型是基于语谱图样本和图像差分图样本以及预先确定的事件属性标签进行训练后得到。
[0009]根据本专利技术所述的异常事件处理方法，所述获取监控信息，包括：
[0010]获取视频信息，从所述视频信息中提取出声音信息和图像信息。
[0011]根据本专利技术所述的异常事件处理方法，所述获取监控信息，还包括：
[0012]获取音频信息，从所述音频信息中提取出声音信息。
[0013]根据本专利技术所述的异常事件处理方法，所述获取视频信息和音频信息，包括：
[0014]获取t
‑
t1时刻到t时刻的视频信息和音频信息，其中t1表示获取信息时长，t表示当前时刻。
[0015]根据本专利技术所述的异常事件处理方法，所述对所述声音信息进行预处理，包括：
[0016]通过滤波、预加重、分帧、加窗对所述声音信息进行预处理。
[0017]根据本专利技术所述的异常事件处理方法，所述异常事件监控模型包括特征提取子模型以及分析子模型，所述将所述语谱图和相邻两帧图像的差分别输入至异常事件监控模型中，输出所述监控的信息中的事件分类结果，包括：
[0018]将所述语谱图和所述相邻两帧图像的差分别输入至所述特征提取子模型，得到语谱图特征、差特征相融合后的融合信息；
[0019]将所述融合信息输入至所述分析子模型中，输出所述监控的信息中的事件分类结果。
[0020]根据本专利技术所述的异常事件处理方法，所述异常事件监控模型采用以下损失函数进行训练：
[0021][0022]其中，L是损失函数，为预先确定的事件属性标签，p
c
(d)为输出的事件分类结果，T为语谱图样本和图像差分图样本，d表示T中的一个样本，N为异常事件分类类别的总数，c表示从1至N的变量，c为正整数。
[0023]本专利技术还提供了一种异常事件处理装置，包括：
[0024]监控信息获取模块，用于获取监控信息，所述监控信息包括声音信息和图像信息；
[0025]预处理模块，用于对所述声音信息进行预处理，将预处理后的声音信息转换为语谱图；对所述图像信息进行处理，得到相邻两帧图像的差；
[0026]事件监控模块，用于将所述语谱图和相邻两帧图像的差分别输入至异常事件监控模型中，输出所述监控的信息中的事件分类结果；
[0027]其中，所述异常事件监控模型是基于语谱图样本和图像差分图样本以及预先确定的事件属性标签进行训练后得到。
[0028]本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述异常事件处理方法的步骤。
[0029]本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述异常事件处理方法的步骤。
[0030]本专利技术提供的异常事件处理方法和装置、电子设备及可读存储介质，通过将所述语谱图和相邻两帧图像的差分别输入至异常事件监控模型中，输出所述监控的信息中的事件分类结果，实现了视频监控中图像信息与声音信息的融合，通过深度学习模型对视频监控的图像信息和声音信息进行了提取和分析，实现了对异常事件的监测，可以与现有的公共监控结合轻量化的用于城市安全预警，可以有效减少人力和物力的开销，同时也可以有效减少人工提取特征对异常事件判别的影响。
附图说明
[0031]为了更清楚地说明本专利技术或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0032]图1是本专利技术提供的异常事件处理方法的流程示意图；
[0033]图2是本专利技术提供的异常事件处理装置的结构示意图；
[0034]图3是本专利技术提供的电子设备的结构示意图。
具体实施方式
[0035]为使本专利技术的目的、技术方案和优点更加清楚，下面将结合本专利技术中的附图，对本专利技术中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0036]下面结合图1描述本专利技术的一种异常事件处理方法，该方法包括：
[0037]S1、获取监控信息，所述监控信息包括声音信息和图像信息；
[0038]图像信息可以采用视觉接收器采集，声音信息可以采用音频接收器采集，视觉接收器和音频接收器也可以是一体设置的摄像头等设备。
[0039]S2、对所述声音信息进行预处理，将预处理后的声音信息转换为语谱图；对所述图像信息进行处理，得到相邻两帧图像的差；
[0040]对所述声音信息进行预处理以及对所述图像信息进行处理可以采用GPU、CPU、硬盘等计算单元与存储单元这些信息处理模块。
[0041]相邻两帧图像的差可以是每相邻两帧图像的差，也可以是间隔一帧两图像的差、或间隔两帧两图像的差、或间隔多帧两图像的差均可，可以根据实际应用场景进行设置。
[0042]S3、将所述语谱图和相邻两帧图像的差分别输入至异常事件监控模型中，输出所述监控的信息中的事件分类结果；
[0043]输出的监控的信息中的事件分类结果可以包括该监控的信息中不存在异常事件、监控本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种异常事件处理方法，其特征在于，包括：获取监控信息，所述监控信息包括声音信息和图像信息；对所述声音信息进行预处理，将预处理后的声音信息转换为语谱图；对所述图像信息进行处理，得到相邻两帧图像的差；将所述语谱图和相邻两帧图像的差分别输入至异常事件监控模型中，输出所述监控的信息中的事件分类结果；其中，所述异常事件监控模型是基于语谱图样本和图像差分图样本以及预先确定的事件属性标签进行训练后得到。2.根据权利要求1所述的异常事件处理方法，其特征在于，所述获取监控信息，包括：获取视频信息，从所述视频信息中提取出声音信息和图像信息。3.根据权利要求2所述的异常事件处理方法，其特征在于，所述获取监控信息，还包括：获取音频信息，从所述音频信息中提取出声音信息。4.根据权利要求3所述的异常事件处理方法，其特征在于，所述获取视频信息和音频信息，包括：获取t
‑
t1时刻到t时刻的视频信息和音频信息，其中t1表示获取信息时长，t表示当前时刻。5.根据权利要求1所述的异常事件处理方法，其特征在于，所述对所述声音信息进行预处理，包括：通过滤波、预加重、分帧、加窗对所述声音信息进行预处理。6.根据权利要求1所述的异常事件处理方法，其特征在于，所述异常事件监控模型包括特征提取子模型以及分析子模型，所述将所述语谱图和相邻两帧图像的差分别输入至异常事件监控模型中，输出所述监控的信息中的事件分类结果，包括：将所述语谱图和所述相邻两帧图像的差分别输入至所...

【专利技术属性】
技术研发人员：翟葆朔，
申请(专利权)人：中移系统集成有限公司中国移动通信集团有限公司，
类型：发明
国别省市：