一种多摄像头融合的人群密度预测方法、装置、存储介质及终端制造方法及图纸

本发明专利技术公开了一种多摄像头融合的人群密度预测方法、装置、存储介质及终端，方法包括：多个摄像头实时采集场景图像分别输入透视目标检测模型和行人目标检测模型中进行检测，生成检测物体信息以及行人目标检测结果；基于检测物体信息生成多个摄像头的透视转换矩阵；基于行人目标检测结果进行修正，生成行人目标全身框图坐标；调用透视转换矩阵对行人目标全身框图坐标进行透视转换结果计算，生成多个透视转换结果进行融合，并将各重叠区域行人去重后生成平面图；根据平面图中的坐标，生成平面图对应的人群密度热力图。因此，采用本申请实施例，通过多个摄像头进行同一时刻透视结果的融合来得到实时的平面人群密度热力图，从而提高了管理部门的信息感知能力和应急处置能力。

【技术实现步骤摘要】
一种多摄像头融合的人群密度预测方法、装置、存储介质及终端
本专利技术涉及计算机领域，特别涉及一种多摄像头融合的人群密度预测方法、装置、存储介质及终端。
技术介绍
近年来，在世界范围内非常规突发事件时常发生，而这些事件很可能带来灾难性后果，从而大规模群体的疏散方案成为了公共安全领域日益重视的问题。迄今为止，在微观和宏观层面，均已存在大量针对大规模人群的疏散问题的模型研究，这些研究有力地推动了基于非常规突发事件的应急处置领域的发展。但是，关于在非常规突发事件下大规模人群的疏散问题的不确定性尚没有得到充分的认识。在当前的人群监控方式中，通常使用普通摄像机的实时监控和红外摄像机的热力图成像监控进行应用场景下不同情况的监视，由于这两种方式都只能起到监控单一范围内人群的分布情况，不能宏观显示场馆中人群密度的准确分布情况，从而使得管理部门不能宏观的观察到整个场景下的人群分布情况，从而降低了管理部门的信息感知能力和应急处置能力。
技术实现思路
本申请实施例提供了一种多摄像头融合的人群密度预测方法、装置、存储介质及终端。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键／重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。第一方面，本申请实施例提供了一种多摄像头融合的人群密度预测方法，该方法包括：利用多个摄像头实时采集场景图像；将场景图像分别输入预先训练的透视目标检测模型和行人目标检测模型中进行检测，生成检测物体信息以及行人目标检测结果；基于检测物体信息生成多个摄像头的透视转换矩阵；基于行人目标检测结果进行修正，生成行人目标全身框图坐标；调用多个摄像头的透视转换矩阵对行人目标全身框图坐标进行透视转换结果计算，生成多个透视转换结果；将多个透视结果进行融合，并将各重叠区域行人去重后生成平面图；根据平面图中的坐标，生成平面图对应的人群密度热力图。可选的，生成平面图对应的人群密度热力图之后，还包括：将人群密度热力图发送至客户端进行展示。可选的，检测物体信息包括类别以及位置坐标；基于检测物体信息生成多个摄像头的透视转换矩阵，包括：根据面积最大化从场景图像中多个检测物体的位置坐标中获取多个不共线组合点，生成透视转换的目标点；根据类别以及位置坐标从预设实际空间坐标集合中匹配透视转换的目标点对应的实际空间坐标，生成多组透视转换点对；基于多组透视转换点对计算后生成多个摄像头的透视转换矩阵。可选的，利用摄像头实时采集场景图像之前，还包括：采用yolo技术创建行人目标检测模型以及透视目标检测模型；将预先转换的第一训练样本输入行人目标检测模型中进行训练，生成训练后的行人目标检测模型，并将训练后的行人目标检测模型确定为预先训练的行人目标检测模型；将预先转换的第二训练样本输入透视目标检测模型进行训练，生成训练后的透视目标检测模型，并将训练后的透视目标检测模型确定为预先训练的透视目标检测模型。可选的，预先转换的第一训练样本和第二训练样本，包括：从图像库中获取多个连续时刻的视频图像帧；抓取视频图像帧中的目标行人进行打标，生成第一训练样本数据；抓取视频图像帧中固定物体进行打标，生成第二训练样本数据；将第一训练样本数据和第二样本训练数据转换成yolo格式，生成转换后的第一训练样本数据以及转换后的第二训练样本数据；将转换后的第一训练样本数据以及转换后的第二训练样本数据确定为预先转换的第一训练样本和第二训练样本。可选的，图像库，包括：采集应用场景下的视频流数据；将视频流数据转换成图像数据；将图像数据保存至历史图像库。可选的，在利用摄像头实时采集场景图像之前，还包括：针对应用场景下的多个摄像头进行标定，并检测每个摄像头的畸变程度；当多个摄像头中存在畸变摄像头时，对畸变摄像头进行校正；校正结束后获得多个预处理后的摄像头。第二方面，本申请实施例提供了一种多摄像头融合的人群密度预测装置，该装置包括：图像采集模块，用于利用多个摄像头实时采集场景图像；识别模块，用于将场景图像分别输入预先训练的透视目标检测模型和行人目标检测模型中进行检测，生成检测物体信息以及行人目标检测结果；透视转换矩阵生成模块，用于基于检测物体信息生成多个摄像头的透视转换矩阵；坐标生成模块，用于基于行人目标检测结果进行修正，生成行人目标全身框图坐标；结果生成模块，用于调用多个摄像头的透视转换矩阵对行人目标全身框图坐标进行透视转换结果计算，生成多个透视转换结果；平面图生成模块，用于将多个透视结果进行融合，并将各重叠区域行人去重后生成平面图；热力图绘制模块，用于根据平面图中的坐标，生成平面图对应的人群密度热力图。第三方面，本申请实施例提供一种计算机存储介质，计算机存储介质存储有多条指令，指令适于由处理器加载并执行上述的方法步骤。第四方面，本申请实施例提供一种终端，可包括：处理器和存储器；其中，存储器存储有计算机程序，计算机程序适于由处理器加载并执行上述的方法步骤。本申请实施例提供的技术方案可以包括以下有益效果：在本申请实施例中，多摄像头融合的人群密度预测装置首先利用多个摄像头实时采集场景图像，再将场景图像分别输入预先训练的透视目标检测模型和行人目标检测模型中进行检测，生成检测物体信息以及行人目标检测结果，然后基于检测物体信息生成多个摄像头的透视转换矩阵，并基于行人目标检测结果进行修正，生成行人目标全身框图坐标，再调用多个摄像头的透视转换矩阵对行人目标全身框图坐标进行透视转换结果计算，生成多个透视转换结果，再将多个透视结果进行融合，并将各重叠区域行人去重后生成平面图，最后根据平面图中的坐标，生成平面图对应的人群密度热力图。申请实施例通过多个摄像头进行同一时刻透视结果的融合来得到实时的平面人群密度热力图，有利于管理部门的人员对场景中的人群密度进行监视，从而提高了管理部门的信息感知能力和应急处置能力。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本专利技术。附图说明此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本专利技术的实施例，并与说明书一起用于解释本专利技术的原理。图1是本申请实施例提供的一种多摄像头融合的人群密度预测方法的流程示意图；图2是本申请实施例提供的一种多摄像头融合的人群密度预测是行人目标遮挡情形展示的示意图；图3是本申请实施例提供的一种多摄像头融合的人群密度预测是行人目标遮挡情形修正后的示意图；图4是本申请实施例提供的一种热力图成像时两个摄像头交叠的区域热度将会出现假高的示意图；图5是本申请实施例提供的一种多摄像头信号控制机制的示意图；图本文档来自技高网...

【技术保护点】
1.一种多摄像头融合的人群密度预测方法，其特征在于，所述方法包括：/n利用多个摄像头实时采集场景图像；/n将所述场景图像分别输入预先训练的透视目标检测模型和行人目标检测模型中进行检测，生成检测物体信息以及行人目标检测结果；/n基于所述检测物体信息生成多个摄像头的透视转换矩阵；/n基于所述行人目标检测结果进行修正，生成行人目标全身框图坐标；/n调用所述多个摄像头的透视转换矩阵对所述行人目标全身框图坐标进行透视转换结果计算，生成多个透视转换结果；/n将所述多个透视结果进行融合，并将各重叠区域行人去重后生成平面图；/n根据所述平面图中的坐标，生成所述平面图对应的人群密度热力图。/n

【技术特征摘要】
1.一种多摄像头融合的人群密度预测方法，其特征在于，所述方法包括：
利用多个摄像头实时采集场景图像；
将所述场景图像分别输入预先训练的透视目标检测模型和行人目标检测模型中进行检测，生成检测物体信息以及行人目标检测结果；
基于所述检测物体信息生成多个摄像头的透视转换矩阵；
基于所述行人目标检测结果进行修正，生成行人目标全身框图坐标；
调用所述多个摄像头的透视转换矩阵对所述行人目标全身框图坐标进行透视转换结果计算，生成多个透视转换结果；
将所述多个透视结果进行融合，并将各重叠区域行人去重后生成平面图；
根据所述平面图中的坐标，生成所述平面图对应的人群密度热力图。


2.根据权利要求1所述的方法，其特征在于，所述生成所述平面图对应的人群密度热力图之后，还包括：
将所述人群密度热力图发送至客户端进行展示。


3.根据权利要求1所述的方法，其特征在于，所述检测物体信息包括类别以及位置坐标；
所述基于所述检测物体信息生成多个摄像头的透视转换矩阵，包括：
根据面积最大化从所述场景图像中多个检测物体的位置坐标中获取多个不共线组合点，生成透视转换的目标点；
根据所述类别以及位置坐标从预设实际空间坐标集合中匹配所述透视转换的目标点对应的实际空间坐标，生成多组透视转换点对；
基于所述多组透视转换点对计算后生成多个摄像头的透视转换矩阵。


4.根据权利要求1所述的方法，其特征在于，所述利用摄像头实时采集场景图像之前，还包括：
采用yolo技术创建行人目标检测模型以及透视目标检测模型；
将预先转换的第一训练样本输入所述行人目标检测模型中进行训练，生成训练后的行人目标检测模型，并将所述训练后的行人目标检测模型确定为预先训练的行人目标检测模型；
将预先转换的第二训练样本输入所述透视目标检测模型进行训练，生成训练后的透视目标检测模型，并将所述训练后的透视目标检测模型确定为预先训练的透视目标检测模型。


5.根据权利要求4所述的方法，其特征在于，所述预先转换的第一训练样本和第二训练样本，包括：
从图像库中获取多个连续时刻的视频图像帧；
抓取所述视频图像帧中的目标行...

【专利技术属性】
技术研发人员：王路遥，白彧，俞弘毅，李克勤，麻志毅，
申请(专利权)人：杭州未名信科科技有限公司，浙江省北大信息技术高等研究院，
类型：发明
国别省市：浙江;33