一种基于深度学习的高空抛物识别方法技术

本发明专利技术公开了一种基于深度学习的高空抛物识别方法，涉及人工智能技术领域；本发明专利技术提供了一种基于深度学习的方法可以通过训练神经网络来自动学习特征，而无需手动设计特征提取器。神经网络可以根据输入的图像数据自动发现和提取抛物体的相关特征，具有更强的表达能力，并且在大规模数据集上具有更好的泛化能力；通过基于区域提议网络的目标检测模型Faster R

【技术实现步骤摘要】
一种基于深度学习的高空抛物识别方法


[0001]本专利技术涉及人工智能
，具体为一种基于深度学习的高空抛物识别方法。

技术介绍

[0002]随着现代建筑水平的不断提升，城市中的大厦、居民楼高度愈发随之拔高，随之而来的高空抛物问题，严重影响了建筑周边行人的生命安全，由于高空抛物行为发生时间短，突发性强，导致该行为一直难以监测和遏制。
[0003]在高空抛物识别中，传统的方法往往依赖于手工设计的特征提取器和分类器，然而，手工设计的特征通常无法充分表达复杂的抛物体形态和动态变化，限制了识别的准确性和泛化能力，这些方法对于不同场景或不同抛物体的变化不具备良好的适应性，当遇到新的抛物体类型或形状时，传统方法需要重新设计和调整特征提取器，增加了开发和部署的困难。
[0004]为此，本专利技术提供了一种基于深度学习的方法可以通过训练神经网络来自动学习特征，而无需手动设计特征提取器。神经网络可以根据输入的图像数据自动发现和提取抛物体的相关特征，具有更强的表达能力，并且在大规模数据集上具有更好的泛化能力。

技术实现思路

[0005](一)解决的技术问题
[0006]针对现有技术的不足，本专利技术提供了一种基于深度学习的高空抛物识别方法。
[0007](二)技术方案
[0008]为实现以上目的，本专利技术通过以下技术方案予以实现：一种基于深度学习的高空抛物识别方法，包括以下步骤：
[0009]基于数据收集模块收集大量的高空抛物的图像或视频数据，包括实际的抛物实例以及模拟生成的数据；具体内容如下：
[0010]安排在不同时间和地点进行观测，记录实际的高空抛物运动，使用高速摄像机或无人机设备，捕捉抛物运动的视频及图像；从不同角度记录高空抛物，观察其运动轨迹和形状的变化；
[0011]对收集到的图像或视频进行标记和注释，标记抛物物体的位置、速度和轨迹；
[0012]在实际抛物数据不足或难以收集的情况下，使用物理引擎或仿真软件来生成高空抛物的模拟数据，模拟不同物体、不同速度和不同环境下的抛物运动；
[0013]将收集到的数据集划分为训练集、验证集和测试集，训练集用于模型的训练，验证集用于调整模型超参数和监控模型性能，测试集用于评估模型的泛化能力；
[0014]确保数据集中每个类别(不同类型的抛物)都有足够数量的样本，并尽量保持类别之间的平衡，以避免某个类别的数据过多而其他类别数据过少导致模型偏向某个类别；
[0015]进一步的，通过数据增强模块对实际抛物数据和模拟生成的数据进行数据增强操作，包括旋转、裁切、缩放和改变亮度/对比度，具体包括以下步骤：
[0016]根据高空抛物的位置和大小，对收集到的图像进行裁剪，将抛物物体从背景中分离出来；将裁剪后的图像按照统一的尺寸进行缩放操作，使不同尺寸的抛物物体具有相似的大小；随机改变图像的亮度和对比度，模拟不同光照条件下的抛物运动，提高模型对于不同亮度和对比度变化的适应能力；
[0017]进一步的，筛选高质量图片素材用作训练集，具体内容如下：
[0018]通过图像清晰度评估方法，包括图像锐化算法及图像质量评估指标，获取图像清晰度评分、边缘锐利度及分辨率数据，生成图片清晰度参数QX；评估图像的对比度，使用直方图均衡化及对比度增强方法对数据集中的图像进行对比度值评估，获取图片对比度参数DB；使用直方图均衡化及自适应亮度调整方法，评估图像的亮度水平，获取图像亮度值LD；通过提取图像中的物体边缘特征，使用边缘检测算法包括Canny算法及Sobel算法，获取图像物体边缘特征值TZ；评估图像中不同物体的区分度，使用局部变二值法及颜色检测方法，获取图像区分度值QF；
[0019]根据图片清晰度参数QX对训练集中的图像数据进行一轮筛选，过滤清晰度低，影响训练集整体图像质量的数据，计算公式如下：
[0020]QX≥D？use:F
[0021]式中，参数意义为：D为训练集图像清晰度最低阈值；
[0022]当公式输出“use”时，表明当前图像清晰度值高于D，该图像质量合格，可用于训练集；当公式输出“F”，表明当前图像清晰度值低于D，该图像质量不合格，直接做过滤处理；
[0023]进一步的，根据图片对比度参数DB、亮度值LD、物体边缘特征值TZ、区分度值QF进行加权计算，生成用于衡量图片整体质量的参数S，对训练集中的图像数据进行二轮筛选，计算公式如下：
[0024][0025]式中，α、β、γ、δ为权重系数，具体的权重系数值需要根据具体情况进行调整，可以通过试验和交叉验证方法来确定最佳的权重组合或根据算法自动化选择权重值；N为一轮迭代中训练集中图片的数量总和；
[0026]进一步的，使用深度学习的网络结构Faster R
‑
CNN对预处理后的数据进行训练，使模型能够准确地识别出图像中的抛物，具体内容如下：
[0027]首先以特征图feature map的左上角点为基准产生9个anchor，三种尺度，每个尺度再对应三种比例；接着，将特征图左上角的9个anchors乘上原图的缩放比例base_size，经过4个池化层后的16倍；锚点由特征图中的(0.5,0.5)变为了原图上的(8,8)，原图上的9个anchors的w和h也变为16倍；以原图左上角的anchors为基准，每隔base_size个像素，画9个anchors，经过迭代运算之后，在原图上生成20000个anchors；
[0028]进一步的，使用AnchorTargetCreator函数对基于特征图feature map生成的20000个anchors进行标注以用于训练；
[0029]对Feature Map进行3
×
3卷积操作，而后分为两个分支，每一分支都先进行1
×
1卷积操作，压缩channel；第一个分支的通道数压缩成9
×
2，9代表每一个锚点的9个anchors，2代表每一个anchor是前景或后景的概率；第二个分支的通道数压缩成9
×
4，9代表每一个锚点的9个anchors，4代表每一个anchor的4个位置参数预测值；每一个min
‑
batch，只对128个
负样本和128个正样本计算分类损失和回归损失，损失函数如下：
[0030][0031]式中，参数意义为：代表了256个筛选出的Anchors的分类损失，p
i
为每一个Anchor的类别真值，为每一个Anchor的预测类别；代表了回归损失；
[0032]进一步的，基于RPN模型训练生成的Region Proposals，使用相同的预训练模型初始化共享卷积，结合RPN得到的Proposals训练RCNN网络；
[0033]使用训练好的共享卷积和RPN固定住共享卷积层，继续对RCNN进行训练微调；
[0034]进一步的，通过目标分类网络对每个候选框进行分类和边界框回归；使用分类网本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于深度学习的高空抛物识别方法，其特征在于，包括以下步骤：使用数据收集模块收集大量的高空抛物的图像或视频数据，包括实际的抛物实例以及模拟生成的数据；基于数据增强模块对实际抛物数据和模拟生成的数据进行数据增强操作，包括旋转、裁切、缩放和改变亮度/对比度；通过数据筛选模块筛选高质量图片素材用作训练集；使用模型生成及训练模块对Faster R
‑
CNN进行训练，并生成最终的高空抛物识别模型。2.根据权利要求1所述的基于深度学习的高空抛物识别方法，其特征在于：在不同时间和地点进行观测，记录实际的高空抛物运动，捕捉抛物运动的视频及图像，获取其运动轨迹和形状的变化；对收集到的图像或视频进行标记和注释，标记抛物物体的位置、速度和轨迹；在实际抛物数据不足或难以收集的条件下，使用物理引擎或仿真软件来生成高空抛物的模拟数据；使用收集到数据，在训练验证及测试后，获取模型。3.根据权利要求2所述的基于深度学习的高空抛物识别方法，其特征在于：对收集到的图像进行裁剪，将裁剪后的图像按照统一的尺寸进行缩放；对图像进行随机旋转操作，并随机改变图像的亮度和对比度，模拟不同光照条件下的抛物运动。4.根据权利要求1所述的基于深度学习的高空抛物识别方法，其特征在于：通过图像清晰度评估，包括图像锐化算法及图像质量评估指标，获取图像清晰度评分、边缘锐利度及分辨率数据，生成图片清晰度参数QX；评估图像的对比度，使用直方图均衡化及对比度增强方法对数据集中的图像进行对比度值评估，获取图片对比度参数DB；使用直方图均衡化及自适应亮度调整方法，评估图像的亮度水平，获取图像亮度值LD；通过提取图像中的物体边缘特征，使用边缘检测算法包括Canny算法及Sobel算法，获取图像物体边缘特征值TZ；评估图像中不同物体的区分度，使用局部变二值法及颜色检测方法，获取图像区分度值QF。5.根据权利要求4所述的基于深度学习的高空抛物识别方法，其特征在于：根据图片清晰度参数QX对训练集中的图像数据进行一轮筛选，过滤清晰度低，影响训练集整体图像质量的数据，计算公式如下：QX≥D？use:F式中，参数意义为：D为训练集图像清晰度最低阈值；当公式输出“use”时，表明当前图像清晰度值高于D，该图像质量合格，可用于训练集；当公式输出“F”，表明当前图像清晰度值低于D，该图像质量不合格，做过滤处理。6.根据权利要求5...

【专利技术属性】
技术研发人员：刘成刚，请求不公布姓名，请求不公布姓名，
申请(专利权)人：深圳市星河智善科技有限公司，
类型：发明
国别省市：