基于枪球联动和视频事件感知的商场消防设施巡检方法技术

本发明专利技术公开了一种基于枪球联动和视频事件感知的商场消防设施巡检方法。包括：构建商场建筑信息模型；对枪机采集的图像执行人物关键点检测，计算关键点的匹配关系，得到左、右脚背关键点之间的匹配关系；判断左右脚背关键点坐标是否均在消防设施感兴趣区域，如果是，则设置固定时间窗口，统计左右脚背关键点位于消防设施ROI区域的频率，若发生频率大于经验阈值，则判定人物长时间逗留；球机调整旋转角度与焦距，对准消防设施位置；利用消防设施状态监测神经网络对采集的消防设施图像进行状态监测，得到消防设施状态信息；对商场建筑信息模型进行可视化。利用本发明专利技术，降低了消防设施巡检成本，提高了巡检结果准确率。

【技术实现步骤摘要】
基于枪球联动和视频事件感知的商场消防设施巡检方法
本专利技术涉及人工智能、BIM、计算机视觉
，具体涉及一种基于枪球联动和视频事件感知的商场消防设施巡检方法。
技术介绍
目前对于设施巡检的方法一般通过专门人员，对指定的位置进行定期巡检。该方法的缺点在于耗时耗力，且无法对异常情况进行较为快速的反应。一些研究提出了基于巡检机器进行巡检的方法，但该方法需要架设机器运行的轨道便于巡检机器的运行，不仅运行成本高而且影响美观，在商场环境下实用性较差。一些方法提出了对靠近消防设施的人员进行面部识别，当为非授权人员时发出警报消息，防止设施被私自挪用。这种方法的缺点是在人流量较大的场景下，频繁发出警报，浪费人力；而且需要设置多个摄像头。商场内进行图像信息的采集一般方法为采用多个摄像头覆盖整个商场区域，由于需要对细节信息采集，因此摄像头的视角不能过大，这就导致摄像头需要配置的数量过大，耗材严重。
技术实现思路
本专利技术的目的在于针对上述现有技术存在的缺陷，提出一种基于枪球联动和视频事件感知的商场消防设施巡检方法。一种基于枪球联动和视频事件感知的商场消防设施巡检方法，该方法包括：步骤一，构建商场建筑信息模型，商场建筑信息模型中包括消防设施位置信息、消防设施感兴趣区域信息；步骤二，部署于商场各区域的枪机利用人物关键点提取网络对采集的图像执行人物关键点检测，得到人物关键点热力图以及关键点之间的关联矢量场，人物关键点包括左、右脚背关键点；步骤三，根据关联矢量场，计算关键点的匹配关系，得到左、右脚背关键点之间的匹配关系；步骤四，对人物关键点热力图进行后处理，得到左、右脚背关键点的图像坐标，并将所得图像坐标投影到商场建筑信息模型；如果左右脚背关键点坐标均在消防设施感兴趣区域，记为事件a，触发时间窗口监控执行步骤五；步骤五，设置固定时间窗口，持续监测事件a是否发生，统计该时间窗口内事件a发生频率，若发生频率大于经验阈值，则判定人物长时间逗留，枪机向球机发送调用指令及消防设施位置；步骤六，球机调整旋转角度与焦距，对准消防设施位置；步骤七，球机利用消防设施状态监测神经网络对采集的消防设施图像进行状态监测，得到消防设施状态信息；步骤八，结合WebGIS技术对商场建筑信息模型进行可视化，并实时更新监控图像以及消防设施状态信息。人物关键点提取神经网络包括：人物感知编码器，对图像进行特征提取得到人物关键点特征图；人物感知解码器，对人物关键点特征图进行上采样还原，得到人物关键点热力图；关联矢量场编码器，对图像进行编码，得到矢量场特征图；关联矢量场解码器，对矢量特征图进行解码，得到关键点的关联矢量场。消防设施状态监测神经网络包括：状态感知编码器，用于对球机采集的消防设施图像进行特征提取，输出特征图；全连接层，用于对特征图进行加权分类，输出消防设施状态判断结果。商场建筑信息模型包括匹配关系表，匹配关系表用于记录每一个消防设施对应的枪机信息、球机信息。步骤六包括：计算旋转前相机中心到图像中心点的向量和旋转后相机中心到目标位置的向量间的夹角，通过罗德里格斯公式，将旋转角转换为旋转矩阵；根据旋转矩阵，调整球机位姿，使其对准消防设施位置；根据消防设施位置与球机位置之间的距离信息，进行自动调焦。更新监控图像包括：将各枪机实时采集的图像进行拼接，经过透视变换，投影到商场建筑信息模型的地面坐标系上。本专利技术与现有技术相比，具有以下有益效果：1.本专利技术结合计算机视觉技术，对商场内摄像头采集的图像进行分析，相比于传统的基于巡检机器的巡检方法，不仅成本低，而且实用性高。2.本专利技术结合深度学习技术，设计了消防设施状态监测神经网络，仅在人长时停留事件发生时才启用，根据消防设施状态发出警报，相比于传统的根据人员识别发出警报，更适用于人流量较大的场景，避免频繁发出警报，节约人力资源。消防设施状态监测神经网络基于深度神经网络技术，相比于传统的人工判断，更加智能化，监测效率更高、监测结果也更加准确。3.本专利技术结合枪球联动技术，对枪机采集的图像对长时停留进行检测，并调用球机对获取的更加细节的目标位置消防设施图像，仅使用少量枪机、球机不仅可以实现大范围商场内的消防设施情况检测，而且提高了监测精度。4.本专利技术结合建筑信息模型技术，构建商场建筑信息模型，能够整合各种建筑信息、检测信息，提高了商场信息集成能力。根据商场建筑信息模型中消防设施的位置信息，一方面可以判断是否有人长时间停留，另一方面可以为球机调整位姿提供位置信息。5.本专利技术结合建筑信息模型技术与WebGIS技术，对商场以及实时监测结果进行可视化，不仅方便监管人员监控，而且可视化效果好。附图说明图1为本专利技术方法框架图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图以及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。本专利技术提供一种基于枪球联动和视频事件感知的商场消防设施巡检方法。图1为本专利技术方法框架图。下面通过具体实施例来进行说明。实施例1：基于枪球联动和视频事件感知的商场消防设施巡检方法：步骤一，构建商场建筑信息模型，商场建筑信息模型中包括消防设施位置信息、消防设施感兴趣区域信息。BIM即建筑信息模型，能够整合各种建筑信息，实现全方位立体的建筑监管。建筑信息模型技术信息整合能力强，而且可以结合WebGIS技术实现良好的可视化效果。为了全方位呈现商场消防设施状态，本专利技术结合建筑信息模型技术，构建商场建筑信息模型。结合商场相关的各种建筑信息，建立三维建筑空间模型，构建商场建筑信息模型。商场相关的各种建筑信息包括广场信息、商铺信息、电梯信息等用于商场三维空间建模所需的信息。商场建筑信息模型还包括消防设施位置信息、消防设施感兴趣区域信息。商场BIM可以通过信息交换模块进行BIM信息处理和数据交换。通过信息交换模块，商场建筑信息模型可以获得实时的相机感知信息即相机图像。本专利技术基于人物长时间异常停留这一事件触发，对商场内消防设施区域的状态进行感知，对商场的消防设施进行巡检和异常提醒，为保证出现危急情况时，商场内消防设施是正常可使用，未遭到人为破坏或移位的。步骤二，部署于商场各区域的枪机利用人物关键点提取网络对采集的图像执行人物关键点检测，得到人物关键点热力图以及关键点之间的关联矢量场，人物关键点包括左、右脚背关键点。采用枪球联动的思想，以枪球分离的形式部署摄像头。枪机可监控大范围的商场内部信息，部署在商场顶部天花板某处，对于露天商场，部署在建筑物的高点，以斜俯视视角拍摄。其位姿是预设且固定的，易得枪机图像与其到商场BIM地面平面之间的变换关系。每个枪机覆盖范围区域内，部署若干个球机。球机位置是预设且固定的，本文档来自技高网...

【技术保护点】
1.一种基于枪球联动和视频事件感知的商场消防设施巡检方法，其特征在于，该方法包括：/n步骤一，构建商场建筑信息模型，商场建筑信息模型中包括消防设施位置信息、消防设施感兴趣区域信息；/n步骤二，部署于商场各区域的枪机利用人物关键点提取网络对采集的图像执行人物关键点检测，得到人物关键点热力图以及关键点之间的关联矢量场，人物关键点包括左、右脚背关键点；/n步骤三，根据关联矢量场，计算关键点的匹配关系，得到左、右脚背关键点之间的匹配关系；/n步骤四，对人物关键点热力图进行后处理，得到左、右脚背关键点的图像坐标，并将所得图像坐标投影到商场建筑信息模型；如果左右脚背关键点坐标均在消防设施感兴趣区域，记为事件a，触发时间窗口监控执行步骤五；/n步骤五，设置固定时间窗口，持续监测事件a是否发生，统计该时间窗口内事件a发生频率，若发生频率大于经验阈值，则判定人物长时间逗留，枪机向球机发送调用指令及消防设施位置；/n步骤六，球机调整旋转角度与焦距，对准消防设施位置；/n步骤七，球机利用消防设施状态监测神经网络对采集的消防设施图像进行状态监测，得到消防设施状态信息；/n步骤八，结合WebGIS技术对商场建筑信息模型进行可视化，并实时更新监控图像以及消防设施状态信息。/n...

【技术特征摘要】
1.一种基于枪球联动和视频事件感知的商场消防设施巡检方法，其特征在于，该方法包括：
步骤一，构建商场建筑信息模型，商场建筑信息模型中包括消防设施位置信息、消防设施感兴趣区域信息；
步骤二，部署于商场各区域的枪机利用人物关键点提取网络对采集的图像执行人物关键点检测，得到人物关键点热力图以及关键点之间的关联矢量场，人物关键点包括左、右脚背关键点；
步骤三，根据关联矢量场，计算关键点的匹配关系，得到左、右脚背关键点之间的匹配关系；
步骤四，对人物关键点热力图进行后处理，得到左、右脚背关键点的图像坐标，并将所得图像坐标投影到商场建筑信息模型；如果左右脚背关键点坐标均在消防设施感兴趣区域，记为事件a，触发时间窗口监控执行步骤五；
步骤五，设置固定时间窗口，持续监测事件a是否发生，统计该时间窗口内事件a发生频率，若发生频率大于经验阈值，则判定人物长时间逗留，枪机向球机发送调用指令及消防设施位置；
步骤六，球机调整旋转角度与焦距，对准消防设施位置；
步骤七，球机利用消防设施状态监测神经网络对采集的消防设施图像进行状态监测，得到消防设施状态信息；
步骤八，结合WebGIS技术对商场建筑信息模型进行可视化，并实时更新监控图像以及消防设施状态信息。


2.如权利要求1所述的方法，其特征在于，所述人物关键点提取神经网络...

【专利技术属性】
技术研发人员：顾俊成，彭帆碧，
申请(专利权)人：顾俊成，
类型：发明
国别省市：江苏;32