一种基于视觉传感与轨迹预测的高空抛物预警系统及方法技术方案

本发明专利技术公开了一种基于视觉传感与轨迹预测的高空抛物预警系统及方法，该方法包括：通过双目摄像头视频监控获取图像；接收端应用基于inception v4的基础上再训后的卷积神经网络算法，识别高空坠落物体类别；无威胁模式时系统保持待机状态；有威胁模式时，在识别坠物的同时，通过针对其可能的受力模式进行分析所建立的数学模型，对双摄像头所接收到的数据使用卡尔曼滤波法进行联合预测，预测出物体落点坐标并进行传输；接收到坐标的声光预警模块迅速处理数据，在坠物落地前使用醒目的激光灯对落点进行标注并辅以声音报警来对行人进行提醒，并使用拦网进行拦截，避免行人受到伤害。本发明专利技术能对高空抛物的状况及时检测并预警，保障人员安全，降低事故发生风险。降低事故发生风险。降低事故发生风险。

【技术实现步骤摘要】
一种基于视觉传感与轨迹预测的高空抛物预警系统及方法


[0001]本专利技术涉及安防监控领域，尤其涉及一种基于视觉传感与轨迹预测的高 空抛物预警系统及方法。

技术介绍

[0002]近年来，高空抛物事件频发，严重危害民众公共安全，侵害人民群众的 合法利益。高空抛物是一种由人为或非人为制造的高楼投物的事件，被称为
ꢀ“
悬在城市上空的痛”。现代化的大厦高楼动辄修筑百米高，居民住宅区不规范 的生活习惯，缺乏公共安全意识的行为都会引发此类事件。物体自几十米至 上百米高空投下，其落到地面的速度可以达到30～45米每秒。对于在街道或 者在楼下行走的人来说，威胁巨大，并且事后对于抛物的回溯极为困难。
[0003]为了消除安全隐患，法律法规的颁布很重要，技术上的创新和设计也必 不可少，现有的技术手段正亟需改进和发展。社会对一种可以预警和防范的 技术需求的呼声越来越大。
[0004]目前国内外研究聚焦于高空抛物检测的方案少之又少。
[0005]国内普遍采用的是多摄像机组对住户面进行联网监控，利用摄像机交叉 部署比例划线定位抛物范围消除盲区。这是一种最传统的高空抛物检测方案， 其缺点也很明显，即不具备识别并抓取视频中动态的抛物的能力，不能够预 测其落点和方位，无法对已经发生的坠落事件做出有效的反应以减少对人的 伤害。
[0006]国外方面，根据外文文献来看，国外对于高空抛物的处理手段还是利用传 统的摄像头和抓拍手段，通过对肇事者的追责和记录来做到减少此类事件的发 生。部分专利技术者采用云联网追踪高空抛物的抛物次数来确定对应的惩罚措施， 缺少对应的事故发生后的预警应急措施。
[0007]因此需要一种基于视觉传感与轨迹预测的高空抛物预警系统来实现高效 且及时的抛物检测和智能预警。

技术实现思路

[0008]本专利技术要解决的技术问题在于针对现有技术中的缺陷，提供一种基于视 觉传感与轨迹预测的高空抛物预警系统及方法。
[0009]本专利技术解决其技术问题所采用的技术方案是：
[0010]本专利技术提供一种基于视觉传感与轨迹预测的高空抛物预警方法，该方法 包括以下步骤：
[0011]步骤1、通过双目摄像头视频监控获取图像，使用灰度化和高斯滤波方法 对初始图像进行形态学处理；
[0012]步骤2、通过5G通讯模块传输数据，接收端应用基于inception v4的基 础上再训后的卷积神经网络算法，识别高空坠落物体类别，将其分为无威胁 和有威胁两种模式；
[0013]步骤3、无威胁模式时系统保持待机状态，减少因环境因素或微小扰动导 致的误触发的情况，减少能源和系统本身的损耗；
[0014]进入有威胁模式时，在识别坠物的同时，通过针对其可能的受力模式进 行分析所建立的数学模型，对双摄像头所接收到的数据使用卡尔曼滤波法进 行联合预测，预测出物体落点坐标并进行传输；
[0015]步骤4、接收到坐标的声光预警模块迅速处理数据，在坠物落地前使用醒 目的激光灯对落点进行标注并辅以声音报警来对行人进行提醒，并使用拦网 进行拦截，避免行人受到伤害。
[0016]进一步地，本专利技术的所述步骤1中对图像进行处理的方法包括：
[0017]将RGB彩色三通道图转换为单通道灰度图，进行高斯模糊，其中通过引 入模板运算起到高斯模糊的效果，模板公式为：
[0018][0019]其中，M(I,J)为对应的模板中矩阵元素的值，通过构造的模板的移动确定 模板覆盖区域的像素加权运算去替代图像中心点像素的值；再运用OpenCV 的creatBackgroundSubstractorKNN算法API对原始数据流进行处理，得到减 除背景之后的差分图像，在差分图像的基础上再做进一步处理，包括灰度化， 阈值处理在内的数字图像处理方法；最后针对优化后的图像做一个连通域的 分析，获取其最大轮廓；得到用于检测抛物事件的视频数据。
[0020]进一步地，本专利技术的所述步骤2中基于inception v4的基础上再训后的卷 积神经网络算法识别高空坠落物体类别，其方法为：
[0021]基于inception v4的基础上的再训练，根据CNN的理论，在图像识别中 使用迁移学习，将每一个滤波器看作一个小的特征抓取器，根据inception v4 训练好的模型的权重，构建了inception v4最上面的softmax层，使用适应使 用环境的训练集重新训练。
[0022]进一步地，本专利技术的所述步骤3中进入有威胁模式时，在识别坠物的同 时所建立的数学模型包括：
[0023]信息的采集选择获取抛物轨迹的俯视图和侧视图，俯视图和侧视图分别 由两个方位上的摄像头提供；选取的特殊轨迹点信息为抛物运动抛出点的三 维坐标和时间(x0,y0,z0,t0)，最高点三维坐标和时间(x1,y1,z1,t1)，下降过程中 某点三维坐标和时间(x2,y2,z2,t2)；为了简化运算，选择在将运动轨迹向量分 解到三个平面x,y,z中进行分别求解的基础上，对模型进行简化；x,y,z平面的 确定为楼房正对的平面为y平面，地面为z平面，任意侧面为x平面；
[0024]①
侧视图轨迹分析：
[0025]对于高空抛物，侧视图理解为一个类似于抛物线的轨迹对其进行竖坐标 分析，取向上为正，则在上升阶段对物体进行受力分析：
[0026]ma
z
＝
‑
mg
‑
v
z2
λ
[0027]其中f＝v
z2
λ为空气阻力，令mg＝c2λ，则有
[0028][0029]整理并积分即可得到
[0030][0031]计算整理得到
[0032][0033]最后由竖直方向上速度的积分即为降落高度列出式子：
[0034][0035]得到抛物运动的落地时刻t'；
[0036]再对其进行y坐标分析，取抛物运动方向为正，则对其进行受力分析：
[0037]ma＝
‑
v
y2
λ
[0038]其中
“‑”
表示受力方向，f＝v
y2
λ为受到的空气阻力的大小，对其进行变形 积分可得
[0039][0040]得到
[0041][0042]带入采集轨迹点的数据可以得到v
y1
和v
y2
关于v
yo
的表达式，又因为该变速 过程存在
[0043][0044]ma＝
‑
v
y2
λ
[0045]三式联立即可解得v
y
关于t的表达式，竖直方向分析时已经求得落地时刻 为t'，故最终落点的y坐标为
[0046][0047]其中，v
x
为x轴方向上物体的运动速度，v
y
为y轴方向上物体的运动速 度，v
z
为z轴方向上物体的运动速度，(x,y,本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视觉传感与轨迹预测的高空抛物预警方法，其特征在于，该方法包括以下步骤：步骤1、通过双目摄像头视频监控获取图像，使用灰度化和高斯滤波方法对初始图像进行形态学处理；步骤2、通过5G通讯模块传输数据，接收端应用基于inception v4的基础上再训后的卷积神经网络算法，识别高空坠落物体类别，将其分为无威胁和有威胁两种模式；步骤3、无威胁模式时系统保持待机状态，减少因环境因素或微小扰动导致的误触发的情况，减少能源和系统本身的损耗；进入有威胁模式时，在识别坠物的同时，通过针对其可能的受力模式进行分析所建立的数学模型，对双摄像头所接收到的数据使用卡尔曼滤波法进行联合预测，预测出物体落点坐标并进行传输；步骤4、接收到坐标的声光预警模块迅速处理数据，在坠物落地前使用醒目的激光灯对落点进行标注并辅以声音报警来对行人进行提醒，并使用拦网进行拦截，避免行人受到伤害。2.根据权利要求1所述的基于视觉传感与轨迹预测的高空抛物预警方法，其特征在于，所述步骤1中对图像进行处理的方法包括：将RGB彩色三通道图转换为单通道灰度图，进行高斯模糊，其中通过引入模板运算起到高斯模糊的效果，模板公式为：其中，M(I,J)为对应的模板中矩阵元素的值，通过构造的模板的移动确定模板覆盖区域的像素加权运算去替代图像中心点像素的值；再运用OpenCV的creatBackgroundSubstractorKNN算法API对原始数据流进行处理，得到减除背景之后的差分图像，在差分图像的基础上再做进一步处理，包括灰度化，阈值处理在内的数字图像处理方法；最后针对优化后的图像做一个连通域的分析，获取其最大轮廓；得到用于检测抛物事件的视频数据。3.根据权利要求1所述的基于视觉传感与轨迹预测的高空抛物预警方法，其特征在于，所述步骤2中基于inception v4的基础上再训后的卷积神经网络算法识别高空坠落物体类别，其方法为：基于inception v4的基础上的再训练，根据CNN的理论，在图像识别中使用迁移学习，将每一个滤波器看作一个小的特征抓取器，根据inception v4训练好的模型的权重，构建了inception v4最上面的softmax层，使用适应使用环境的训练集重新训练。4.根据权利要求1所述的基于视觉传感与轨迹预测的高空抛物预警方法，其特征在于，所述步骤3中进入有威胁模式时，在识别坠物的同时所建立的数学模型包括：信息的采集选择获取抛物轨迹的俯视图和侧视图，俯视图和侧视图分别由两个方位上的摄像头提供；选取的特殊轨迹点信息为抛物运动抛出点的三维坐标和时间(x0,y0,z0,t0)，最高点三维坐标和时间(x1,y1,z1,t1)，下降过程中某点三维坐标和时间(x2,y2,z2,t2)；为了简化运算，选择在将运动轨迹向量分解到三个平面x,y,z中进行分别求解的基础上，对
模型进行简化；x,y,z平面的确定为楼房正对的平面为y平面，地面为z平面，任意侧面为x平面；
①
侧视图轨迹分析：对于高空抛物，侧视图理解为一个类似于抛物线的轨迹对其进行竖坐标分析，取向上为正，则在上升阶段对物体进行受力分析：ma
z
＝
‑
mg
‑
v
z2
λ其中f＝v
z2
λ为空气阻力，令mg＝c2λ，则有整理并积分即可得到计算整理得到最后由竖直方向上速度的积分即为降落高度列出式子：得到抛物运动的落地时刻t
’
；再对其进行y坐标分析，取抛物运动方向为正，则对其进行受力分析：ma＝
‑
v
y2
λ其中
“‑”
表示受力方向，f＝v
y2
λ为受到的空气阻力的大小，对其进行变形积分可得得到带入采集轨...

【专利技术属性】
技术研发人员：胡甫才，崔凯歌，汪正华，喻煜，王泽成，徐旻钰，崔新原，骆昊源，
申请(专利权)人：武汉理工大学，
类型：发明
国别省市：