视频监控方法、装置、计算机设备和存储介质制造方法及图纸

本申请涉及生物识别技术，提供了一种视频监控方法、装置、计算机设备和存储介质。所述方法包括：获取监控视频，从所述监控视频中提取视频图像，以及所述视频图像对应的视频帧序列和音频片段；将所述视频图像、所述视频帧序列和所述音频片段作为输入特征，输入已训练的第一预测模型进行预测得到特征向量；将所述特征向量输入已训练的第二预测模型进行预测，得到所述视频图像对应的动作标签；根据所述动作标签和动作标签库确定所述监控视频是否包括危险动作；当判定所述监控视频包括危险动作时，将触发生成的预警信息推送至终端。采用本方法能够提高监控准确性和效率。

Video monitoring methods, devices, computer equipment and storage media

【技术实现步骤摘要】
视频监控方法、装置、计算机设备和存储介质
本申请涉及监控
，特别是涉及一种视频监控方法、装置、计算机设备和存储介质。
技术介绍
随着视频监控技术的不断发展，视频监控系统被广泛应用于生活的方方面面，比如道路监控、社区监控、家庭监控或医院监控等，基于视频监控能够远程掌握特定区域的实时状况，从而及时作出相应应对措施。目前，通常是实时的从监控视频中提取视频帧，将实时提取的视频帧输入已训练的预测模型进行预测，得到视频帧相应的识别结果，并当识别结果符合预设条件时触发告警。然而，该种监控方式，需要实时提取每个视频帧并对每个视频帧进行预测，增加了处理监控复杂度和服务器的数据处理压力，存在监控效率低的问题，而且根据单视频帧的识别结果触发告警，可能存在准确性低的问题。
技术实现思路
基于此，有必要针对上述技术问题，提供一种能够提高监控准确性和效率的视频监控方法、装置、计算机设备和存储介质。一种视频监控方法，所述方法包括：获取监控视频，从所述监控视频中提取视频图像，以及所述视频图像对应的视频帧序列和音频片段；将所述视频图像、所述视频帧序列和所述音频片段作为输入特征，输入已训练的第一预测模型进行预测得到特征向量；将所述特征向量输入已训练的第二预测模型进行预测，得到所述视频图像对应的动作标签；根据所述动作标签和动作标签库确定所述监控视频是否包括危险动作；当判定所述监控视频包括危险动作时，将触发生成的预警信息推送至终端。在其中一个实施例中，所述当判定所述监控视频包括危险动作时，将触发生成的预警信息推送至终端之后，所述方法还包括：接收所述终端针对所述预警信息反馈的确认信息；当所述确认信息为正确预警信息时，将所述视频图像、所述视频帧序列和所述音频片段，以及相应的动作标签确定为正样本，将所述正样本更新至优化样本集；当所述确认信息为错误预警信息时，将所述视频图像、所述视频帧序列和所述音频片段，以及相应的动作标签确定为负样本，将所述负样本更新至所述优化样本集；实时检测预设触发条件；当检测所述预设触发条件时，基于所述优化样本集对所述第一预测模型和所述第二预测模型进行优化。在其中一个实施例中，所述根据所述动作标签和动作标签库确定所述监控视频是否包括危险动作，包括：按照所述视频图像的提取时间依次将每个视频图像对应的动作标签与动作标签库进行比较；统计与所述动作标签库中的危险动作标签一致的动作标签的数量；当统计到连续的预设数量的动作标签均与所述危险动作标签一致时，则判定所述监控视频中包括危险动作。在其中一个实施例中，所述根据所述动作标签和动作标签库确定所述监控视频是否包括危险动作，包括：按照所述视频图像的提取时间依次将每个视频图像对应的动作标签与动作标签库进行比较；将与所述动作标签库中的第一动作标签一致的动作标签所对应的视频图像的采集时间戳记为第一时间戳；当自所述第一时间戳起达到预设时长后尚未检测到与所述动作标签库中的第二动作标签一致的动作标签时，则判定所述监控视频中包括危险动作。在其中一个实施例中，所述从所述监控视频中提取视频图像，以及所述视频图像对应的视频帧序列和音频片段，包括：从所述监控视频中提取初始视频图像，并从所述初始视频图像中检测出多个监控对象；根据每个监控对象分别对所述初始视频图像进行处理得到相应视频图像；根据所述视频图像从监控视频中提取相应的视频帧序列和音频片段；所述根据所述动作标签和动作标签库确定所述监控视频是否包括危险动作，包括：将所述多个监控对象各自对应的动作标签分别与动作标签库进行比较；根据所述动作标签对应的比较结果确定所述监控视频是否包括危险动作。在其中一个实施例中，所述根据所述动作标签对应的比较结果确定所述监控视频是否包括危险动作，包括：根据所述动作标签对应的比较结果将所述动作标签进行分类；统计每个类别的动作标签数量；当统计到预设类别的动作标签数量大于或等于数量阈值时，则判定所述监控视频包括危险动作，并根据所述每个类别的动作标签数量确定危险等级；所述当判定所述监控视频包括危险动作时，将触发生成的预警信息推送至终端，包括：根据所述危险等级确定预警等级，将根据所述预警等级触发生成的预警信息推送至终端。在其中一个实施例中，所述第一预测模型和所述第二预测模型的训练步骤包括：获取训练样本集；所述训练样本集包括目标视频图像、所述目标视频图像对应的目标视频帧序列和目标音频片段，以及相应的目标动作标签；将所述目标视频图像、所述目标视频帧序列和所述目标音频片段作为第一预测模型的输入特征，将相应的所述目标动作标签作为第二预测模型的期望的输出特征，对初始化的第一预测模型和第二预测模型进行联合训练，得到已训练的第一预测模型和第二预测模型。一种视频监控装置，所述装置包括：获取模块，用于获取监控视频，从所述监控视频中提取视频图像，以及所述视频图像对应的视频帧序列和音频片段；预测模块，用于将所述视频图像、所述视频帧序列和所述音频片段作为输入特征，输入已训练的第一预测模型进行预测得到特征向量；所述预测模块，还用于将所述特征向量输入已训练的第二预测模型进行预测，得到所述视频图像对应的动作标签；判定模块，用于根据所述动作标签和动作标签库确定所述监控视频是否包括危险动作；预警模块，用于当判定所述监控视频包括危险动作时，将触发生成的预警信息推送至终端。一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述各个实施例中所述的视频监控方法的步骤。一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述各个实施例中所述的视频监控方法的步骤。上述视频监控方法、装置、计算机设备和存储介质，从监控视频中提取视频图像，以及视频图像对应的视频帧序列和音频片段，通过已训练的第一预测模型和第二预测模型，根据所提取出的视频图像、视频帧序列和音频片段得到准确性较高的动作标签，基于该动作标签和预配置的动作标签库判断相应视频图像对应的动作是否为危险动作，以判断监控视频中是否包括危险动作，能够提高危险动作的判断准确性，并针对危险动作进行及时预警。这样，无需针对监控视频中的每个视频帧进行预测处理，能够提高监控效率，而结合视频图像、视频帧序列和音频片段预测动作标签能够提高动作标签的预测准确性，从而能够提高监控准确性。附图说明图1为一个实施例中视频监控方法的应用场景图；图2为一个实施例中视频监控方法的流程示意图；图3为另一个实施例中视频监控方法的流程示意图；图4为一个实施例中视频监控装置的结构框图；图5为一个实施例中计算机设备的内部结构图。具体实施方式为了使本申请的目的、技术方案及优点更加清楚明白，以下结本文档来自技高网...

【技术保护点】
1.一种视频监控方法，所述方法包括：/n获取监控视频，从所述监控视频中提取视频图像，以及所述视频图像对应的视频帧序列和音频片段；/n将所述视频图像、所述视频帧序列和所述音频片段作为输入特征，输入已训练的第一预测模型进行预测得到特征向量；/n将所述特征向量输入已训练的第二预测模型进行预测，得到所述视频图像对应的动作标签；/n根据所述动作标签和动作标签库确定所述监控视频是否包括危险动作；/n当判定所述监控视频包括危险动作时，将触发生成的预警信息推送至终端。/n

【技术特征摘要】
1.一种视频监控方法，所述方法包括：
获取监控视频，从所述监控视频中提取视频图像，以及所述视频图像对应的视频帧序列和音频片段；
将所述视频图像、所述视频帧序列和所述音频片段作为输入特征，输入已训练的第一预测模型进行预测得到特征向量；
将所述特征向量输入已训练的第二预测模型进行预测，得到所述视频图像对应的动作标签；
根据所述动作标签和动作标签库确定所述监控视频是否包括危险动作；
当判定所述监控视频包括危险动作时，将触发生成的预警信息推送至终端。


2.根据权利要求1所述的方法，其特征在于，所述当判定所述监控视频包括危险动作时，将触发生成的预警信息推送至终端之后，所述方法还包括：
接收所述终端针对所述预警信息反馈的确认信息；
当所述确认信息为正确预警信息时，将所述视频图像、所述视频帧序列和所述音频片段，以及相应的动作标签确定为正样本，将所述正样本更新至优化样本集；
当所述确认信息为错误预警信息时，将所述视频图像、所述视频帧序列和所述音频片段，以及相应的动作标签确定为负样本，将所述负样本更新至所述优化样本集；
实时检测预设触发条件；
当检测所述预设触发条件时，基于所述优化样本集对所述第一预测模型和所述第二预测模型进行优化。


3.根据权利要求1所述的方法，其特征在于，所述根据所述动作标签和动作标签库确定所述监控视频是否包括危险动作，包括：
按照所述视频图像的提取时间依次将每个视频图像对应的动作标签与动作标签库进行比较；
统计与所述动作标签库中的危险动作标签一致的动作标签的数量；
当统计到连续的预设数量的动作标签均与所述危险动作标签一致时，则判定所述监控视频中包括危险动作。


4.根据权利要求1所述的方法，其特征在于，所述根据所述动作标签和动作标签库确定所述监控视频是否包括危险动作，包括：
按照所述视频图像的提取时间依次将每个视频图像对应的动作标签与动作标签库进行比较；
将与所述动作标签库中的第一动作标签一致的动作标签所对应的视频图像的采集时间戳记为第一时间戳；
当自所述第一时间戳起达到预设时长后尚未检测到与所述动作标签库中的第二动作标签一致的动作标签时，则判定所述监控视频中包括危险动作。


5.根据权利要求1所述的方法，其特征在于，所述从所述监控视频中提取视频图像，以及所述视频图像对应的视频帧序列和音频片段，包括：
从所述监控视频中提取初始视频图像，并从所述初始视频图像中检测出多个监控对象；
根据每个监控对象分别对所述初始视频图像进行处理得到相应视...

【专利技术属性】
技术研发人员：胡梦华，
申请(专利权)人：平安医疗健康管理股份有限公司，
类型：发明
国别省市：上海;31