基于视频流的厂区安全生产监管方法及其系统、电子设备技术方案

本发明专利技术提供了一种基于视频流的厂区安全生产监管方法及其系统、电子设备，涉及安全生产监管技术领域，通过将球幕相机镜头、深度相机镜头、红外热成像镜头固定于空间中的同一位置，利用球幕相机和深度相机按预设时间间隔进行拍照，基于球幕相机和深度相机获取的三维信息建立三维模型；在监测到异常情况时直观、准确的在三维模型中展示出异常情况的所处地点、所处位置和异常情况的等级。在发生危险情况如火情导致的标记点阵中的各标记点的灰度平均值过高时，使相关工作人员及时、直观的观察到存在严重危险情况的地点所处的位置、具体异常情况和异常情况的具体位置，很大程度上拓展了本发明专利技术的智能化程度。本发明专利技术的智能化程度。本发明专利技术的智能化程度。

【技术实现步骤摘要】
基于视频流的厂区安全生产监管方法及其系统、电子设备


[0001]本专利技术涉及安全生产监管
，具体涉及一种基于视频流的厂区安全生产监管方法及其系统、电子设备。

技术介绍

[0002]三维建模技术是物体对象在三维空间中数据表示的处理过程，三维模型可以使用采集物体的三维空间点构成点云来进行表示，点云可以使用三角网格、线、多边形网格来进行连接重建模型的表面。三维模型可以使用在在电影、游戏、制造等领域，三维建模技术属于一个多学科交叉的研究领域，是计算机图形学和图像处理在工程中的重要应用。
[0003]随着RGB
‑
D相机的问世，RGB
‑
D相机具有价格廉价、实时获取的优点，具有好的精度和密集扫描的能力，但是传统的RGB
‑
D相机，比如基于kinect或者TOF （time
‑
of
‑
flight）方式的RGB
‑
D相机能够形成一个空间模型，相机视角单一，视域受限，计算量比较大，耗时久，无法达到实时呈现效果。
[0004]球幕相机，即鱼眼相机，进行三维建模的方法一般适用于诸如墙面、桌面等面的结构化场景，主要比较适合拍摄较大场景的照片，如建筑、风景等题材。当球幕相机用于拍风景时能拍更广阔的画面、拍集体照时能容纳下更多的人，视角更广，可以涵盖大范围景物。
[0005]三维建模要求重建的过程快速高效，精确度高。RGB
‑
D相机和球幕相机在各自进行三维建模时都无法满足上述要求。现有的基于视频流的安全监管系统无法在监测到异常情况时直观、准确的在三维模型中展示出异常情况的所处地点、所处位置和异常情况的等级。
[0006]因此，现有技术还有待进一步发展。

技术实现思路

[0007]本专利技术的目的在于克服上述技术不足，提供一种基于视频流的厂区安全生产监管方法及其系统、电子设备，以解决现有技术存在的问题。
[0008]为达到上述技术目的，根据本专利技术的第一方面，本专利技术提供了一种基于视频流的厂区安全生产监管方法，包括：S100、将球幕相机镜头、深度相机镜头、红外热成像镜头固定于空间中的同一位置，利用球幕相机和深度相机按预设时间间隔进行拍照，基于球幕相机和深度相机获取的三维信息建立三维模型；S200、对红外热成像镜头拍摄的灰度照片进行识别，提取灰度照片中灰度值大于第一预设阈值的点并建立目标搜索框，在目标搜索框建立标记点阵，判断标记点阵中的各标记点的灰度平均值是否大于第二预设阈值；S300、根据判断结果获取灰度值大于第一预设阈值的标记点的三维坐标并控制执行模块输出控制三维模型对应坐标的点改变颜色的控制信号。
[0009]具体地，所述S100包括：将球幕相机镜头、深度相机镜头、红外热成像镜头固定于空间中的同一位置，称为
相机位置；使用球幕相机和深度相机进行拍照，球幕相机镜头获取的是至少一张二维全景照片，所述二维全景照片包含二维信息（x，y），深度相机镜头获取的是至少一张三维照片，所述三维照片包含三维信息（x，y，z）；通过VSLAM算法对所述相机位置进行定位，对二维全景照片进行计算，在二维全景照片的基础上获取空间信息；用三维照片中的三维信息对空间信息进行校准；基于校准后的三维信息形成稠密点云，使用ICP算法对稠密点云进行匹配，对所有点云进行对比，把属于不同空间的点云放在不同的位置上；进行数字化建模，生成三维模型。
[0010]具体地，所述S200包括：判断当前帧红外热成像图像数据内是否存在灰度值大于或等于第一预设阈值的像素点，若存在，则将该像素点确定为标记点，根据标记点确定目标范围，所述目标范围需要包括当前帧红外热成像图像数据内的所有标记点，根据目标范围建立目标搜索框，计算目标搜索框以及当前帧红外热成像图像的面积，计算目标的质心并以目标的质心为基点将目标搜索框的面积的扩大至当前帧红外热成像图像的面积的预设倍数，在扩大后的目标搜索框中建立预设行数乘预设列数的标记点阵；计算标记点阵中的各标记点的灰度平均值，并判断灰度平均值是否大于或等于第二预设阈值。
[0011]具体地，所述S300包括：若标记点阵中的各标记点的灰度平均值大于第二预设阈值，获取灰度值大于第一预设阈值的标记点的三维坐标并输出控制三维模型对应坐标的点变为黄色的控制信号。
[0012]具体地，所述S300还包括：若标记点阵中的各标记点的灰度平均值大于第二预设阈值，记录标记点阵中的各标记点的灰度平均值大于第二预设阈值的持续时间，并判断持续时间是否大于第三预设阈值，若是，获取灰度值大于第一预设阈值的标记点的三维坐标并输出控制三维模型对应坐标的点变为红色的控制信号。
[0013]具体地，所述S300还包括：若标记点阵中的各标记点的灰度平均值大于第二预设阈值，判断标记点阵中的各标记点的灰度平均值是否大于或等于第四预设阈值，若是，获取灰度值大于第一预设阈值的标记点的三维坐标并输出控制三维模型对应坐标的点变为红色的控制信号。
[0014]具体地，所述S300还包括：若标记点阵中的各标记点的灰度平均值小于或等于第二预设阈值，获取灰度值大于第一预设阈值的标记点的三维坐标并输出控制三维模型对应坐标的点变为绿色的控制信号。
[0015]具体地，所述S300还包括：若标记点阵中的各标记点的灰度平均值大于第二预设阈值的持续时间小于或等于第三预设阈值，获取灰度值大于第一预设阈值的标记点的三维坐标并输出控制三维模型对应坐标的点变为绿色的控制信号。
[0016]根据本专利技术的第二方面，提供一种基于视频流的厂区安全生产监管系统，包括：采集模块，包括球幕相机镜头、深度相机镜头和红外热成像镜头，用于按预设时间间隔进行拍照，以获取三维信息；控制模块，用于基于球幕相机和深度相机获取的三维信息建立三维模型；或用于
对红外热成像镜头拍摄的灰度照片进行识别，提取灰度照片中灰度值大于第一预设阈值的点并建立目标搜索框，在目标搜索框建立标记点阵，判断标记点阵中的各标记点的灰度平均值是否大于第二预设阈值；或用于根据判断结果获取灰度值大于第一预设阈值的标记点的三维坐标并控制执行模块输出控制三维模型对应坐标的点改变颜色的控制信号；执行模块，用于控制三维模型对应坐标的点改变颜色的控制信号。
[0017]根据本专利技术的第三方面，提供一种电子设备，包括：存储器；以及处理器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时实现上述的基于视频流的厂区安全生产监管方法。
[0018]有益效果：本专利技术通过球幕相机镜头、深度相机镜头、红外热成像镜头固定于空间中的同一位置，利用球幕相机和深度相机按预设时间间隔进行拍照，基于球幕相机和深度相机获取的三维信息建立三维模型；对红外热成像镜头拍摄的灰度照片进行识别，提取灰度照片中灰度值大于第一预设阈值的点并建立目标搜索框，在目标搜索框建立标记点阵，判断标记点阵中的各标记点的灰度平均值是否大于第二预设阈值；根据判断结果获取灰度值大于第一预设阈值的标记点的三维坐标并控制执行模本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视频流的厂区安全生产监管方法，其特征在于，所述方法包括：S100、将球幕相机镜头、深度相机镜头、红外热成像镜头固定于空间中的同一位置，利用球幕相机和深度相机按预设时间间隔进行拍照，基于球幕相机和深度相机获取的三维信息建立三维模型；S200、对红外热成像镜头拍摄的灰度照片进行识别，提取灰度照片中灰度值大于第一预设阈值的点并建立目标搜索框，在目标搜索框建立标记点阵，判断标记点阵中的各标记点的灰度平均值是否大于第二预设阈值；S300、根据判断结果获取灰度值大于第一预设阈值的标记点的三维坐标并控制执行模块输出控制三维模型对应坐标的点改变颜色的控制信号。2.根据权利要求1所述的基于视频流的厂区安全生产监管方法，其特征在于，所述S100包括：将球幕相机镜头、深度相机镜头、红外热成像镜头固定于空间中的同一位置，称为相机位置；使用球幕相机和深度相机进行拍照，球幕相机镜头获取的是至少一张二维全景照片，所述二维全景照片包含二维信息（x，y），深度相机镜头获取的是至少一张三维照片，所述三维照片包含三维信息（x，y，z）；通过VSLAM算法进行对所述相机位置定位，对二维全景照片进行计算，在二维全景照片的基础上获取空间信息；用三维照片中的三维信息对空间信息进行校准；基于校准后的三维信息形成稠密点云，使用ICP算法对稠密点云进行匹配，对所有点云进行对比，把属于不同空间的点云放在不同的位置上；进行数字化建模，生成三维模型。3.根据权利要求1所述的基于视频流的厂区安全生产监管方法，其特征在于，所述S200包括：判断当前帧红外热成像图像数据内是否存在灰度值大于或等于第一预设阈值的像素点，若存在，则将该像素点确定为标记点，根据标记点确定目标范围，所述目标范围需要包括当前帧红外热成像图像数据内的所有标记点，根据目标范围建立目标搜索框，计算目标搜索框以及当前帧红外热成像图像的面积，计算目标的质心并以目标的质心为基点将目标搜索框的面积的扩大至当前帧红外热成像图像的面积的预设倍数，在扩大后的目标搜索框中建立预设行数乘预设列数的标记点阵；计算标记点阵中的各标记点的灰度平均值，并判断灰度平均值是否大于或等于第二预设阈值。4.根据权利要求1所述的基于视频流的厂区安全生产监管方法，其特征在于，所述S300包括：若标记点阵中的各标记点的灰度平均值大于第二预设阈值，获取灰度值大于第一预设阈值的标记点的三维坐标并输出控制三维模...

【专利技术属性】
技术研发人员：孙誉，孟祥伟，岳洋，苏丹，
申请(专利权)人：水发物联科技有限公司，
类型：发明
国别省市：