异常事件的监测方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术实施例涉及监测技术领域，公开了一种异常事件的监测方法、装置、电子设备及存储介质。本发明专利技术中采集声音信息并对声音信息进行特征提取，生成声音特征向量；采集图像信息并对图像信息进行特征提取，生成图像特征向量；对声音特征向量和图像特征向量进行加权合并处理，得到联合特征向量；将联合特征向量输入预先训练的联合判别模型中；根据联合判别模型的输出结果确定是否发生异常事件。综合了声音和图像两个因素判定异常事件发生的概率，较大程度避免了环境因素对监测结果的影响，提高了异常事件监测的精度。

Monitoring methods, devices, electronic equipment and storage media of abnormal events

【技术实现步骤摘要】
异常事件的监测方法、装置、电子设备及存储介质
本专利技术实施例涉及监测
，特别涉及一种异常事件的监测方法、装置、电子设备及存储介质。
技术介绍
随着社会发展与科技的进步，人们对公共安全的需求变得越来越大，需要在发生如抢劫，火灾，突发疾病等异常事件时，可以自动发现并做出预警，有效地辅助安全人员监控异常事件。当前异常事件的监测主要通过声音或图像两种方式，对监测范围内的声音或图像进行采集，在采集的声音或图像中出现特定特征时，说明此时监测范围内可能发生异常事件。专利技术人发现相关技术中至少存在如下问题：通过图像采集的方式监测异常事件，所采集的图像的质量受光线、天气影响较大，在光线不充足时会导致采集的图像中包含大量的噪音，导致异常事件定义复杂，无法准确的判定异常事件是否发生。另外，通过声音采集的方式监测异常事件，所采集的声音中同样会包含很多噪音，且采集声音会受事件发生的距离所影响，对于较远距离的声音采集困难，对异常事件的监控具有局限性导致无法准确的判定异常事件是否发生。
技术实现思路
本专利技术实施例的目的在于提供一种异常事件的监测方法、装置、电子设备及存储介质，提高异常事件的监测的精度。为解决上述技术问题，本专利技术的实施例提供了一种异常事件的监测方法，包括：采集声音信息并对声音信息进行特征提取，生成声音特征向量；采集图像信息并对图像信息进行特征提取，生成图像特征向量；对声音特征向量和图像特征向量进行加权合并处理，得到联合特征向量；将联合特征向量输入预先训练的联合判别模型中；根据联合判别模型的输出结果确定是否发生异常事件。本专利技术的实施例还提供了一种异常事件的监测装置，包括：声音采集模块，图像采集模块，合并模块，输入模块和确定模块；声音采集模块用于采集声音信息并对声音信息进行特征提取，生成声音特征向量；图像采集模块用于采集图像信息并对图像信息进行特征提取，生成图像特征向量；合并模块用于对声音特征向量和图像特征向量进行合并处理，得到联合特征向量；输入模块用于将联合特征向量输入预先训练的联合判别模型中；确定模块用于根据联合判别模型的输出结果确定是否发生异常事件。本专利技术的实施例还提供了一种电子设备，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行异常事件的监测方法。本专利技术的实施例还提供了一种存储介质，存储有计算机程序，计算机程序被处理器执行时上述的异常事件的监测方法。本专利技术实施例相对于现有技术而言，采集监测范围内的声音信息及图像信息，并分别计算声音特征向量和图像特征向量。将声音特征向量和图像特征向量加权合并，得到具有声音和图像的关联关系的联合特征向量。将得到的联合特征向量输入预先训练的联合判别模型中，通过联合判别模型的输出结果确定监测范围内是否发生异常事件。由于联合判别模型是预先通过异常事件下的声音特征向量和图像特征向量加权合并后的异常特征向量训练得到的，所以联合判别模型可以在学习声音特征和图像特征的同时，还可以学习声音和图像在异常事件中的关联关系特征，从而综合了声音和图像两个因素判定异常事件发生的概率，较大程度避免了环境因素对监测结果的影响，提高了异常事件监测的精度。另外，在对声音特征向量和图像特征向量进行加权合并处理之前，还包括：根据声音特征向量计算异常事件发生的概率；和/或，根据图像特征向量计算异常事件发生的概率；若计算异常事件发生的任一概率大于预设阈值，则执行对声音特征向量和图像特征向量进行加权合并处理步骤。只有在根据声音特征向量或图像特征向量计算异常事件发生的概率大于预设阈值时，才将联合特征向量输入联合判定模型进行计算，降低了在异常事件检测过程中的算力需求。另外，根据声音特征向量计算异常事件发生的概率具体通过预检测声学模型进行计算；根据图像特征向量计算异常事件发生的概率具体通过预检测图像模型进行计算；对声音特征向量和图像特征向量进行加权合并处理，得到联合特征向量，包括：获取预检测声学模型的最后一层隐含层输出的线性处理后的声音特征向量；获取预检测图像模型的最后一层隐含层输出的线性处理后的图像特征向量；对线性处理后的声音特征向量和线性处理后的图像特征向量进行加权合并处理，得到联合特征向量。由于模型的隐含层会对输入的特征向量进行线性计算，使计算后的结果更有助于反映输入信息的特征，排除无用信息的干扰，而最后一层隐含层输出的特征向量排除了更多的无用信息，更能够反应特征信息。将最后一层隐含层的声音特征向量和图像特征向量进行加权合并，得到的联合特征向量，相较于原始的特征向量加权合并得到的联合特征向量，反应特征信息的效果更好，从而提高异常事件的监测的精度。另外，在生成声音特征向量之后，还包括：根据声音特征向量计算异常事件发生的概率；采集图像信息，替换为：若概率大于预设阈值，则根据声音信息的音源位置采集音源位置的图像信息。在声音特征向量计算异常事件发生的概率大于预设阈值时，表示采集的声音中包含异常事件发生的元素，针对采集的声音的音源位置，重新采集音源位置的图像信息，并将重新采集的图像信息的特征向量与声音特征向量进行合并，得到联合特征向量，从而使异常事件的监测更具有针对性，提高异常事件监测的准确度。另外，音源位置通过至少两个声音采集设备采集同一声音信息的时间差，及至少两个声音采集设备之间的间距计算得到。另外，对声音特征向量和图像特征向量进行加权合并处理，包括：对声音特征向量和图像特征向量分别进行归一化处理；对归一化处理后的声音特征向量和归一化处理后的图像特征向量进行加权合并处理。归一化的处理可以使声音特征向量和图像特征向量映射至一定范围内，方便对声音特征向量和图像特征向量的加权合并处理，减少计算量。附图说明一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定。图1是根据本专利技术第一实施例中的异常事件的监测方法的流程图；图2是根据本专利技术第二实施例中的异常事件的监测方法的流程图；图3是根据本专利技术第三实施例中的异常事件的监测方法的流程图；图4是根据本专利技术第四实施例中的异常事件的监测装置的结构示意图；图5是根据本专利技术第五实施例中的异常事件的监测装置的结构示意图；图6是根据本专利技术第六实施例中的电子设备的结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术的各实施例进行详细的阐述。然而，本领域的普通技术人员可以理解，在本专利技术各实施例中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施例的种种变化和修改，也可以实现本申请所要求保护的技术方案。以下各个实施例的划分是为了描述方便，不应对本专利技术的具体实现方式构成任何限定，各个实施例在不矛盾的前提下可以相互结合相互引用。本专利技术的第一实施例涉及一种异常事件的监测方法，包括：采集声音信息并对声音信息进行特征提本文档来自技高网...

【技术保护点】
1.一种异常事件的监测方法，其特征在于，包括：/n采集声音信息并对所述声音信息进行特征提取，生成声音特征向量；/n采集图像信息并对所述图像信息进行特征提取，生成图像特征向量；/n对所述声音特征向量和所述图像特征向量进行加权合并处理，得到联合特征向量；/n将所述联合特征向量输入预先训练的联合判别模型中；/n根据所述联合判别模型的输出结果确定是否发生异常事件。/n

【技术特征摘要】
1.一种异常事件的监测方法，其特征在于，包括：
采集声音信息并对所述声音信息进行特征提取，生成声音特征向量；
采集图像信息并对所述图像信息进行特征提取，生成图像特征向量；
对所述声音特征向量和所述图像特征向量进行加权合并处理，得到联合特征向量；
将所述联合特征向量输入预先训练的联合判别模型中；
根据所述联合判别模型的输出结果确定是否发生异常事件。


2.根据权利要求1所述的异常事件的监测方法，其特征在于，在所述对所述声音特征向量和所述图像特征向量进行加权合并处理之前，还包括：
根据所述声音特征向量计算异常事件发生的概率；和/或，
根据所述图像特征向量计算异常事件发生的概率；
若所述计算异常事件发生的任一概率大于预设阈值，则执行所述对所述声音特征向量和所述图像特征向量进行加权合并处理步骤。


3.根据权利要求2所述的异常事件的监测方法，其特征在于，所述根据所述声音特征向量计算异常事件发生的概率具体通过预检测声学模型进行计算；所述根据所述图像特征向量计算异常事件发生的概率具体通过预检测图像模型进行计算；
所述对所述声音特征向量和所述图像特征向量进行加权合并处理，得到联合特征向量，包括：
获取所述预检测声学模型的最后一层隐含层输出的线性处理后的声音特征向量；
获取所述预检测图像模型的最后一层隐含层输出的线性处理后的图像特征向量；
对所述线性处理后的声音特征向量和所述线性处理后的图像特征向量进行加权合并处理，得到联合特征向量。


4.根据权利要求1所述的异常事件的监测方法，其特征在于，在所述生成声音特征向量之后，还包括：
根据所述声音特征向量计算异常事件发生的概率；
所述采集图像信息，替换为：
若所述概率大于预设阈值，则根据所述声音信息的音源位置采集所述音源位置的图像信息。


5.根据权利要求1所述的异常事件的监测方法，其特征在于，所述音源位置通过至少两个声音采集设备采集同一声音信息的时间差，及所述至少...

【专利技术属性】
技术研发人员：吴占伟，
申请(专利权)人：达闼科技成都有限公司，
类型：发明
国别省市：四川;51