监控方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术公开了一种监控方法、装置、电子设备及存储介质，该方法包括：获取监控视频和监控音频，确定监控视频中的目标对象和目标对象的视频位置，并确定监控音频中的目标音频的音频类别和音频位置，基于视频位置、音频类别和音频位置确定目标对象的目标音频，根据视频位置、音频位置进行位置融合得到目标音频的目标位置；在检测到目标音频为异常音频时，基于目标对象、目标音频和目标位置进行报警提示。即本发明专利技术的技术方案，实现监控视频和监控音频的音视频融合的智能监控，使得智能监控能够从监控视频和监控音频两方面更加全面的进行场景监控，增加被监控场景的监控全面性，提高智能监控的监控效率。监控的监控效率。监控的监控效率。

【技术实现步骤摘要】
监控方法、装置、电子设备及存储介质


[0001]本专利技术实施例涉及人工智能领域，尤其涉及一种监控方法、装置、电子设备及存储介质。

技术介绍

[0002]智能监控在不同行业，如交通、安保、金融场所安防等领域应用广泛。
[0003]智能监控主要是从监控视频中确定监控视频中的目标的类别、坐标和姿态，确定目标的行为是否异常。
[0004]但智能监控目前只能在目标处于监控设备的监控范围之内时的监控视频确定目标的行为是否异常，当目标不在监控设备的监控范围内时，智能监控无法对目标进行有效、全面的监控。

技术实现思路

[0005]本专利技术实施例提供一种监控方法、装置、电子设备及存储介质，可以使得智能监控能够从监控视频和监控音频两方面更加全面的进行场景监控，增加被监控场景的监控全面性，提高智能监控的监控效率。。
[0006]第一方面，本专利技术实施例提供一种监控方法，所述方法包括：
[0007]获取监控视频和监控音频；
[0008]确定所述监控视频中的目标对象和所述目标对象的视频位置，并确定所述监控音频中的目标音频的音频类别和音频位置；
[0009]基于所述视频位置、所述音频类别和所述音频位置确定所述目标对象的所述目标音频；
[0010]根据所述视频位置、所述音频位置进行位置融合得到所述目标音频的目标位置；
[0011]在检测到所述目标音频为异常音频时，基于所述目标对象、所述目标音频和所述目标位置进行报警提示。
[0012]第二方面，本专利技术实施例提供了一种监控装置，所述装置包括：
[0013]获取模块，用于获取监控视频和监控音频；
[0014]第一确定模块，用于确定所述监控视频中的目标对象和所述目标对象的视频位置，并确定所述监控音频中的目标音频的音频类别和音频位置；
[0015]第二确定模块，用于基于所述视频位置、所述音频类别和所述音频位置确定所述目标对象的所述目标音频；
[0016]位置融合模块，用于根据所述视频位置、所述音频位置进行位置融合得到所述目标音频的目标位置；
[0017]报警提示模块，用于在检测到所述目标音频为异常音频时，基于所述目标对象、所述目标音频和所述目标位置进行报警提示。
[0018]第三方面，本专利技术实施例还提供了一种电子设备，包括存储器、处理器及存储在存
储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本专利技术实施例中任一所述的监控方法。
[0019]第四方面，本专利技术实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本专利技术实施例中任一所述的监控方法。
[0020]本专利技术的技术方案，获取监控视频和监控音频；确定监控视频中的目标对象和目标对象的视频位置，并确定监控音频中的目标音频的音频类别和音频位置；基于视频位置、音频类别和音频位置确定目标对象的目标音频；根据视频位置、音频位置进行位置融合得到目标音频的目标位置；在检测到目标音频为异常音频时，基于目标对象、目标音频和目标位置进行报警提示。即本专利技术的技术方案，不仅获取监控视频，还可以获取与监控视频对应的监控音频，确定监控视频中的目标对象和目标对象的视频位置，并确定监控音频中的目标音频的音频类别和音频位置，在目标对象不在监控设备的监控范围时，可以基于视频位置、音频类别和音频位置确定目标对象的目标音频，然后根据视频位置、音频位置进行位置融合得到目标音频的目标位置，在检测到目标音频为异常音频时，基于目标对象、目标音频和目标位置进行报警提示，实现监控视频和监控音频的音视频融合的智能监控，解决目标不在监控设备的监控范围内时，智能监控无法对目标进行有效、全面的监控的问题，使得智能监控能够从监控视频和监控音频两方面更加全面的进行场景监控，增加被监控场景的监控全面性，提高智能监控的监控效率。
附图说明
[0021]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本专利技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0022]图1为本专利技术实施例提供的监控方法的一个流程示意图；
[0023]图2为本专利技术实施例提供的监控方法的另一个流程示意图；
[0024]图3为本专利技术实施例提供的麦克风阵列的一个示意图；
[0025]图4为本专利技术实施例提供的监控装置的一个结构示意图；
[0026]图5为本专利技术实施例提供的电子设备的一个结构示意图。
具体实施方式
[0027]下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。
[0028]图1为本专利技术实施例提供的监控方法的一个流程示意图，该方法可以由本专利技术实施例提供的监控装置来执行，该装置可采用软件和/或硬件的方式实现。在一个具体的实施例中，该装置可以集成在电子设备中，电子设备比如可以是计算机或服务器。以下实施例将以该装置集成在电子设备中为例进行说明，参考图1，该方法具体可以包括如下步骤：
[0029]步骤101，获取监控视频和监控音频。
[0030]其中，监控视频可以理解为视频监控设备所拍摄的视频；监控音频可以理解为音
频采集设备所采集的音频。
[0031]具体地，视频监控设备可以拍摄被监控场景得到监控视频，然后通过视频监控设备获取监控视频；音频采集设备可以采集被监控场景得到监控音频，然后通过音频采集设备获取监控音频。
[0032]示例地，视频监控设备可以是监控摄像头，音频采集设备可以是麦克风，为了全方位的采集被监控场景的音频，可以在待监控场景安装多个音频采集设备，因此音频采集设备可以是多个；被监控场景可以是金融业务办理场景；监控摄像头可以拍摄金融业务办理场景得到监控视频，然后通过监控摄像头获取监控视频；多个麦克风可以采集被监控场景得到监控音频，然后通过多个麦克风获取监控音频。
[0033]步骤102，确定监控视频中的目标对象和目标对象的视频位置，并确定监控音频中的目标音频的音频类别和音频位置。
[0034]其中，目标对象可以理解为监控视频中的对象，可以是人或者物；视频位置可以理解为目标对象在监控视频中的位置；目标音频可以理解为目标对象在监控视频中的音频；音频位置可以理解为目标音频在监控视频中的位置。
[0035]具体地，可以从监控视频中提取多帧监控图像，生成多帧监控图像的目标检测框，并识别目标检测框中的图像特征得到多帧监控图像中的目标对象和目标对象的视频位置；可以提取监控音频中的音频特征，对音频特征进行音频分类得到目标音频的音频类别，然后确定监控音频的采集时延，并基于远场模型确定目标音频的音频方位角，根据采集时延和音频方位角确定目标音频本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种监控方法，其特征在于，所述方法包括：获取监控视频和监控音频；确定所述监控视频中的目标对象和所述目标对象的视频位置，并确定所述监控音频中的目标音频的音频类别和音频位置；基于所述视频位置、所述音频类别和所述音频位置确定所述目标对象的所述目标音频；根据所述视频位置、所述音频位置进行位置融合得到所述目标音频的目标位置；在检测到所述目标音频为异常音频时，基于所述目标对象、所述目标音频和所述目标位置进行报警提示。2.根据权利要求1所述的方法，其特征在于，所述确定所述监控视频中的目标对象和所述目标对象的视频位置，包括：从所述监控视频中提取多帧监控图像；生成所述多帧监控图像的目标检测框，并识别所述目标检测框中的图像特征得到所述多帧监控图像中的所述目标对象和所述目标对象的所述视频位置。3.根据权利要求2所述的方法，其特征在于，所述多帧监控图像包括第一监控图像和第二监控图像，所述目标检测框包括所述第一监控图像的第一检测框和所述第二监控图像的第二检测框，所述生成所述多帧监控图像的目标检测框，包括：生成所述第一监控图像的第一检测框，并生成所述第二监控图像的第二检测框。4.根据权利要求3所述的方法，其特征在于，所述视频位置包括所述第一检测框的第一位置和所述第二检测框的第二位置，所述目标对象包括第一对象和第二对象，所述识别所述目标检测框中的图像特征得到所述多帧监控图像中的所述目标对象和所述视频位置，包括：识别所述第一检测框中的图像特征得到所述第一检测框中的所述第一对象和所述第一对象的所述第一位置；识别所述第二检测框中的图像特征得到所述第二检测框中的所述第二对象和所述第二对象的所述第二位置；确定所述第一对象和所述第二对象的特征匹配得分；在所述特征匹配得分超过预设阈值时，将所述第一对象或者所述第二对象确定为所述目标对象，并将所述第一位置和所述第二位置确定为所述视频位置。5.根据权利要求1所述的方法，其特征在于，所述确定所述监控音频中的目标音频的音频类别和音频位置，包括：获取所述监控音频中的所述目标音频的多个麦克风采集音频；采用梅尔频率倒谱系数提取所述多个麦...

【专利技术属性】
技术研发人员：陈智林，
申请(专利权)人：中国农业银行股份有限公司，
类型：发明
国别省市：