本发明专利技术提供了一种基于多光谱行人检测与车速检测的交通指示方法，通过基于YOLOv4的行人检测获取目标路口的等待行人数量和过街行人数量；结合等待行人数量和过街行人数量与目标路口所关联路段的道路信息，以计算获取该目标路口的信号灯的切换时间；结合等待行人数量和过街行人数量与目标路口所关联路段的道路信息，以获取关联路段的行车车速阈值；检测目标路口所关联路段的行车车速，当行车车速不位于行车车速阈值内时，在目标路口发出来车警示信号；基于YOLOv4的行人检测包括融合颜色流和温度流，生成融合流以提取特征，并在不同阶段将融合流的信息从神经网络的底部传输到顶部；还包括根据目标路口的照明条件融合颜色流和温度流。温度流。温度流。
【技术实现步骤摘要】
基于多光谱行人检测与车速检测的交通指示方法及系统
[0001]本专利技术涉及多光谱行人检测领域，尤其涉及一种基于多光谱行人检测与车速检测的交通指示方法及系统。
技术介绍
[0002]随着城市人口的增加，城市规划者和设计师必须更专注于设计智能城市，并解决交通问题和增加车辆使用的影响等主要挑战。必须开发智能交通系统和以人为本的交通方法，以保护我们的行人和骑自行车的人，并确保他们能够安全、高效和舒适地前往目的地。
[0003]近年来，行人检测技术，特别是基于可见光相机的行人检测，使用深卷积神经网络，发展迅速，行人检测器的性能也大大提高。行人检测技术是自动驾驶、机器人以及智能视频监控等研究领域的核心技术。行人检测通过图像处理、计算机视觉相关算法以及机器学习等技术对道路行人进行识别和追踪，在智能车辆、自动导航、运动分析等领域都有着广泛的应用前景。
[0004]现有的交通系统中，过街设施包括交叉口平面过街、路段平面过街和立体过街，一般应优先采用平面过街方式。然而，在实际驾驶场景中，周围的环境很复杂。周围建筑、交通标志和不同交通的背景对象存在差异。季节变化还将导致道路场景的重大变化，道路场景中最重要的变化是灯光。在白天，建筑物和树木可能会造成部分阴影。在雨天和雾霾天，整体环境的亮度会下降。晚上，由于缺乏光线，行人几乎融入了背景，由于光线条件差，众多的交通事故发生在晚上。
[0005]基于可见光图像的探测器通常仅适用于光线充足的道路场景，并且无法在夜间有效地检测行人。远红外(FIR)相机在行人检测中也发挥着重要作用，特别是在夜间或光线不足的情况下。FIR相机的有效波长范围为6
‑
15微米，而人体发射的热量波长约为9.3微米。晚上，行人比图像中的周围环境更明亮。FIR图像具有将行人与周围环境隔离开的优势，适用于夜间或光线不足的行人检测，因此可以作为可见光传感器的补充。
[0006]行人检测技术是自动驾驶、机器人以及智能视频监控等研究领域的核心技术。行人检测通过图像处理、计算机视觉相关算法以及机器学习等技术对道路行人进行识别和追踪，在智能车辆、自动导航、运动分析等领域都有着广泛的应用前景。
[0007]在现实世界的对象检测应用程序中，环境通常是开放和动态的，需要模型和算法来应对开放带来的挑战，如雨、雾、遮挡、光线差、分辨率低等。在这些条件下，仅使用可见波段传感器数据的算法很难实现高精度。
[0008]并且，在现有交通系统中，行人使用过街设施时依赖于对向红绿灯的提示和自己对来车车速预估，当相邻路段有汽车车速出现异常时，行人仅仅依靠现有交通灯的提示无法很难及时规避。路段的建筑时间较早，并且无法低成本高质量改造该路段时，使得行人过街、车辆通过交叉路时出现视野限制，而过街信号灯等设备提供信息少，无法满足行人安全过街的需求。过街设施无法通过行人密集程度，给予来车有效提示。汽车驾驶员在可视距离小(如雾、霾、雨、雪、沙尘、冰雹等)的情况下，虽然在过街需求大的路段设置了行人过街信
号灯，但也无法准确判断前方过街设施是否有行人使用。另外，在夜晚交叉路段、行人过街空间中缺乏照明或照明条件差的情况下，行人难以判断来车速度。基于网状的检测系统存在检测时延，长距离传输以及回传数据时易产生数据丢失，更提高了部署以及检修的成本。无法根据过街行人流量自动调整交通信号灯，易造成机动车等长时间等待。
[0009]现有技术的交通视觉系统可能面临一些主要挑战和困难：由于相机分辨率低、光线状况、镜头脏、未经调整或天气状况导致视频质量差；处理交通摄像头和广角镜头收集的拉伸的视频；相机的不理想角度、位置和方向；相机因风或汽车而振动和抖动路过；过往汽车在夜间失真光线；光线变化不一致，阴影效果；可能阻挡目标视图的移动或静止对象。
技术实现思路
[0010]为了克服上述技术缺陷，本专利技术的目的在于提供一种针对在人流量变化大的交叉路口，为了降低行人发生意外的风险、减轻交通管制人力成本、并且减少行人稀少时路口车辆的等待时间的多光谱行人检测与车速检测的交通指示方法及系统。
[0011]本专利技术公开了一种基于多光谱行人检测与车速检测的交通指示方法，包括如下步骤：通过基于YOLOv4的行人检测获取目标路口的等待行人数量和过街行人数量；结合所述等待行人数量和过街行人数量与所述目标路口所关联路段的道路信息，以计算获取该目标路口的信号灯的切换时间；结合所述等待行人数量和过街行人数量与所述目标路口所关联路段的道路信息，以获取所述关联路段的行车车速阈值；检测所述目标路口所关联路段的行车车速，当行车车速不位于所述行车车速阈值内时，在所述目标路口发出来车警示信号；所述基于YOLOv4的行人检测包括融合颜色流和温度流，生成融合流以提取特征，并在不同阶段将所述融合流的信息从神经网络的底部传输到顶部；还包括根据所述目标路口的照明条件融合颜色流和温度流。
[0012]优选的，所述融合颜色流和温度流，生成融合流以提取特征，并在不同阶段将所述融合流的信息从神经网络的底部传输到顶部包括：首先生成检测母本的提案，再对所述提案进行分类，以确定该提案是行人还是背景；采用全卷积架构的单级检测，并通过卷积神经网络预测每个空间位置的置信分数的边界框。
[0013]优选的，所述所述行人检测包括：使用维度集群作为三个不同比例的锚框来预测边界框；使用逻辑回归预测每个边界框的客观性分数；采用多标签分类用于预测每个框的类。
[0014]优选的，所述所述行人检测包括：进行数据增强过程来增加输入图像的可变性；并采用马赛克和对抗式训练为所述数据增强过程提供图像。
[0015]优选的，所述所述行人检测包括：采用卷积神经网络提取目标行人的特征检测；其中，根据所述特征的大小，将卷积层分为五个阶段。给定输入尺寸为H
×
W的图像，头部之前的三层尺寸分别为通过空间金字塔池模块主干来增强接收场，并使用路径聚合网络作为检测颈，聚合来自不同主干级别的特征。
[0016]优选的，所述所述行人检测包括：生成三种不同比例的边界盒，对于每个头部使用维度集群作为锚框来预测边界框，并使用联合上的完全交集作为回归的损失函数；通过逻辑回归预测每个所述边界框的客观性分数；使用多标签分类来预测每个所述边界框的类。
[0017]优选的，所述根据所述目标路口的照明条件融合颜色流和温度流包括：输入融合、早期融合I、早期融合II、中途融合、后期融合和直接融合。
[0018]优选的，所述根据所述目标路口的照明条件融合颜色流和温度流包括：检测获取若干个顺序帧中的目标行人；使用最佳状态估计器根据目标行人当前位置和步行速度预测下一帧中的下一个位置；在收到下一帧后，将预测的所述下一个位置与下一帧中检测到的实际位置进行比较：若预测的所述下一个位置与下一帧中检测到的实际位置匹配，则将该目标行人视为前一个目标行人，并继续预测以获取该目标行人的轨迹；由此获取帧中所有目标行人的轨迹；而检测到目标行人的实际位置与之前预测的任何位置都不匹配的目标行人视为新的目标行人，并增加目标行人计本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于多光谱行人检测与车速检测的交通指示方法，其特征在于，包括如下步骤：通过基于YOLOv4的行人检测获取目标路口的等待行人数量和过街行人数量；结合所述等待行人数量和过街行人数量与所述目标路口所关联路段的道路信息，以计算获取该目标路口的信号灯的切换时间；结合所述等待行人数量和过街行人数量与所述目标路口所关联路段的道路信息，以获取所述关联路段的行车车速阈值；检测所述目标路口所关联路段的行车车速，当行车车速不位于所述行车车速阈值内时，在所述目标路口发出来车警示信号；所述基于YOLOv4的行人检测包括融合颜色流和温度流，生成融合流以提取特征，并在不同阶段将所述融合流的信息从神经网络的底部传输到顶部；还包括根据所述目标路口的照明条件融合颜色流和温度流。2.根据权利要求1所述的交通指示方法，其特征在于，所述融合颜色流和温度流，生成融合流以提取特征，并在不同阶段将所述融合流的信息从神经网络的底部传输到顶部包括：首先生成检测母本的提案，再对所述提案进行分类，以确定该提案是行人还是背景；采用全卷积架构的单级检测，并通过卷积神经网络预测每个空间位置的置信分数的边界框。3.根据权利要求1所述的交通指示方法，其特征在于，所述所述行人检测包括：使用维度集群作为三个不同比例的锚框来预测边界框；使用逻辑回归预测每个边界框的客观性分数；采用多标签分类用于预测每个框的类。4.根据权利要求1所述的交通指示方法，其特征在于，所述所述行人检测包括：进行数据增强过程来增加输入图像的可变性；并采用马赛克和对抗式训练为所述数据增强过程提供图像。5.根据权利要求1所述的交通指示方法，其特征在于，所述所述行人检测包括：采用卷积神经网络提取目标行人的特征检测；其中，根据所述特征的大小，将卷积层分为五个阶段。给定输入尺寸为H
×
W的图像，头部之前的三层尺寸分别为W的图像，头部之前的三层尺寸分别为通过空间金字塔池模块主干来增强接收场，并使用路径聚合网络作为检测颈，聚合来自不同主干级别的特征。6.根据权利要求1所述的交通指示方法，其特征在于，所述所述行人检测包括：生成三种不同比例的边界盒，对于每个头部使用维度集群作为锚框来预测边界框，并使用联合上的完全交集作为回归的损失函数；通过逻辑回归预测每个所述边界框的客观性分数；使用多标签分类来预测每个所述边界框的类。7.根据权利要求1所述的交通指示方法，其特征在于，所述根据所述目标路口的照明条件融合颜色流和温度流包括：输入融合、早期融合I、早期融合II、中途融合、后期融合和直接融合。8.根据权利要求1所述的交通指示方法，其特征在于，所述根据所述目标...
【专利技术属性】
技术研发人员：吴斌，王迅，
申请(专利权)人：昭通亮风台信息科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。