一种基于区域信息增强的城市街道场景目标检测方法技术

一种基于区域信息增强的城市街道场景目标检测方法，涉及人工智能领域和计算机视觉领域。本发明专利技术的方法步骤为：1）将训练数据中加入白天数据。2）输出目标位置编码segmask，检测输出网络Detection Block输出类别预测模块cls和尺寸回归模块size。3）检测算法优化，a)对网络模型参数进行初始化。b)前向输出目标类别和检测框；过滤、输出最终的检测结果。本发明专利技术设计目标检测深度学习网络，训练城市街道场景检测模型，配合以视频智能分析静态视频帧目标检测技术的智能系统和动态视频中目标行为分析技术，设计出适应白天、夜间全场景下的各类事件的检测系统，准确快速的完成违规事件的自动检测，有效避免目标的误检、漏检。漏检。漏检。

【技术实现步骤摘要】
一种基于区域信息增强的城市街道场景目标检测方法


[0001]本专利技术涉及人工智能领域和计算机视觉领域，是一种基于图像处理技术和视频分析技术的、应用于城市街道摄像头监控场景下的目标智能检测方法。

技术介绍

[0002]随着现代科技的发展，利用摄像机实现高效率的城市监管应用在城市管理工作中，协助城管人员应对复杂的城市街道紧急情况起到了至关重要的作用。目前，越来越多的研究者将注意力集中在解决城市街道场景的自动化监管中。城市场景视觉监管的目的就是要提高场景监控图像的分辨能力，赋予智能城管系统正确的理解场景信息的能力，以便于提高城市街道、停车场、小区的安全性。同时，由于夜间场景下的摄像设备会受到不良天气，光照度等一些不可控因素的影响，普通的目标检测方法无法满足全场景全天候的场景监管需求。
[0003]在计算机视觉领域，复杂场景下的目标检测可以利用anchor
‑
base和anchor
‑
free两种不同的检测思路，Xingyi Zhou等人2019年发表的论文《CenterNet :Objects as Points》，第一次真正意义上的把目标检测问题的类别回归转化到寻找目标中心点，即利用检测器采用高斯热力点作为关键点估计来拟合目标中心点，将目标检测问题变成了一个标准的关键点估计问题，并可以衍伸到其他目标属性，例如尺寸，3D位置，方向，甚至姿态。相比较于基于BBox的检测器，这种模型是端到端可微的，实现了检测过程更简单、更快、更精确，达到了检测速度和精确的最好权衡。因此，基于高斯热力点的思想，对于目标分割、目标跟踪等问题都显示出明显的优势。Kailun Yang等人2019年发表的论文《See Clearer at Night Towards Robust Nighttime Semantic Segmentation through Day
‑
Night Image Conversion》，论文提出了一个使用生成对抗网络(GAN)来缓解将语义分割模型应用于夜间环境时的准确性低的问题。基于GAN的夜间语义分割框架包括两种方法。第一种利用GAN将夜间图像转换为白天图像，并在已经利用白天数据集上训练鲁棒的模型来执行语义分割；第二种方法使用GAN将数据集中的白天图像转换为夜间图像，以产生在夜间条件下鲁棒性很好的模型并直接对夜间图像预测。在论文实验中，第二种方法显著提高了模型在夜间图像上的分割性能。该方法不仅有助于智能车辆视觉感知的优化，而且可以应用于各种导航辅助系统。易诗等人2019年发表的论文《基于红外热成像与YOLOv3的夜间目标识别方法》，论文提出红外热成像图像反应物体温度信息，受环境条件影响较少，对于特定条件下的夜间安防监控、行车辅助、航运、军事侦查等方面具有很强应用价值。近年来使用人工智能对图像中目标检测与识别技术发展突飞猛进，广泛应用于各个领域。论文提出了一种结合红外热成像图像处理技术与人工智能目标识别技术的夜间目标识别方法。实时采集热成像视频进行预处理，增强其对比度与细节，使用基于深度学习技术的最新目标检测框架YOLOv3对采集处理后的热成像图像中特定目标进行检测，输出检测结果。测试结果表明，该方法对于夜间目标识别率高、实时性强，结合了红外热成像夜间监测和人工智能目标检测的优势，对于夜间的目标识别、跟踪技术具有重大应用价值。
[0004]综上所述，针对城管场景下目标检测，合理的利用图像的预处理和设计更合理的目标检测算法是有效的方法，然而在解决白天场景下的目标检测的同时，复杂场景下的夜间目标检测还存在一定的不足，复杂的背景易造成目标误检、漏检等情况。如何提高检出能力，降低误检也是复杂场景目标检测研究的热点。
[0005]同时，现有检测算法也还存在一些不足：基于传统算法，在对城市场景监控的识别和理解方面，很难满足需求，主要原因是白天、夜间两种场景颜色变化大、场景复杂度过高、目标边缘模糊、目标遮挡等。这些因素要求算法有超强的泛化能力和准确度，传统算法在理论基础上达不到目标检测要求，在现场应用中很难消除目标的误检和漏检。
[0006]基于深度学习的算法，可以设计出泛化能力很强的方法来解决夜间目标形态多种多样的问题，但对网络模型的设计也有很高的要求。并且，一般的深度学习算法，大多数是通过标定训练样本应用在白天场景下的目标检测，但夜间监控场景下的目标静态特征更加稀疏，很容易出现目标的误检和漏检。

技术实现思路

[0007]针对上述现有技术中存在的不足，本专利技术的目的是提供一种基于区域信息增强的目标检测网络及其检测方法。本专利技术设计目标检测深度学习网络，训练城市街道场景检测模型，配合以视频智能分析静态视频帧目标检测技术的智能系统和动态视频中目标行为分析技术，设计出适应白天、夜间全场景下的各类事件的检测系统，准确快速的完成违规事件的自动检测，有效避免目标的误检、漏检。
[0008]为了达到上述专利技术目的，本专利技术的技术方案以如下方式实现：一种基于区域信息增强的城市街道场景目标检测方法，它使用的目标检测网络包括依次连接的特征融合模块一WiFPN1、特征选择网络Seg Block、特征融合模块二WiFPN2、上采样网络UATB和检测输出网络Detection Block。下采样网络Backbone包括特征融合模块一WiFPN1和特征融合模块二WiFPN2。其方法步骤为：1）图像数据的场景预处理将训练数据中加入40%的白天数据，训练模型过程中的数据增强方面包括翻转、缩放、裁剪、颜色亮度和色度的增强；输入图像的像素大小归一化到448*256。
[0009]2）网络模型设计采用anchor free目标检测算法，设计下采样、上采样网络结构，利用特征选择网络Seg Block输出目标位置编码segmask，检测输出网络Detection Block输出类别预测模块cls和尺寸回归模块size。
[0010]3）检测算法优化a)训练过程对网络模型参数进行初始化，设置学习目标、学习率及衰减系数；通过优化算法针对损失函数进行迭代学习、更新参数。
[0011]b)推理过程利用cls、size前向输出目标类别和检测框；通过设置阈值、非极大值抑制算法过滤、输出最终的检测结果。
[0012]在上述城市街道场景目标检测方法中，所述下采样网络Backbone提取中间特征，特征选择网络Seg Block优化中间特征，上采样网络UATB提取预测特征。
[0013]在上述城市街道场景目标检测方法中，所述特征选择网络Seg Block包含监督学习的区域信息。首先设计一个大小在0、1之间并且可学习的变量soft,利用soft对特征融合模块一WiFPN1的三个输出的特征进行标定选择融合；使用1
×
1卷积运算将特征压缩到一维通道，通过激活函数sigmoid输出目标位置编码segmask；设计目标区域标量值为1的目标segmask_gt,通过损失函数优化目标位置编码segmask，最后利用优化完成的目标位置编码segmask与特征选择网络Seg Block本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于区域信息增强的城市街道场景目标检测方法，它使用的目标检测网络包括依次连接的特征融合模块一WiFPN1、特征选择网络Seg Block、特征融合模块二WiFPN2、上采样网络UATB和检测输出网络Detection Block，下采样网络Backbone包括特征融合模块一WiFPN1和特征融合模块二WiFPN2，其方法步骤为：1）图像数据的场景预处理将训练数据中加入40%的白天数据，训练模型过程中的数据增强方面包括翻转、缩放、裁剪、颜色亮度和色度的增强；输入图像的像素大小归一化到448*256；2）网络模型设计采用anchor free目标检测算法，设计下采样、上采样网络结构，利用特征选择网络Seg Block输出位置编码segmask，检测输出网络Detection Block输出类别cls和检测框size；3）检测算法优化a)训练过程对网络模型参数进行初始化，设置学习目标、学习率及衰减系数；通过优化算法针对损失函数进行迭代学习、更新参数；b)推理过程利用cls、size前向输出目标类别和检测框；通过设置阈值、非极大值抑制算法过滤、输出最终的检测结果。2.根据权利要求1所述基于区域信息增强的城市街道场景目标检测方法，其特征在于，所述下采样网络Backbone提取中间特征，特征选择网络Seg Block优化中间特征，上采样网络UATB提取预测特征。3.根据权利要求1或2所述基于区域信息增强的城市街道场景目标检测方法，其特征在于，所述特征选择网络Seg Block利用监督学习提取区域信息，首先设计一个大小在0、1之间并且可学习的变量soft,利用soft对特征融合模块一WiFPN1的三个...

【专利技术属性】
技术研发人员：张逞逞，郑全新，宁志勇，张磊，刘阳，董小栋，孟祥松，刘婷婷，江龙，郭俊，
申请(专利权)人：北京同方软件有限公司，
类型：发明
国别省市：