【技术实现步骤摘要】
本申请涉及交通，尤其是一种基于多视角深度相机实现路况实时还原的路口监控方法。
技术介绍
1、交通是现代社会中不可或缺的一部分，它对于人们的生活和经济发展都有着重要的作用。交通可以促进人们之间的交流和物资的流通，使得人们可以更加便捷地进行旅行、工作和生活。同时，交通也是经济发展的重要基础，它可以促进各地资源的合理配置和产业的发展。但是随着城市化进程的加快和人口增长，各种交通问题也日益突出，对城市交通路口等重点路段的实时交通状态进行监控是交通管理中必不可少的一部分，有利于提高通行效率和安全性。
2、随着智慧交通的发展，目前已经不再满足于常见的基于二维图像的实时交通状态监控，而是更倾向于对实时交通状态进行三维实况还原以实现监控。目前主要采用基于数字孪生的全息路口交通管理方法来实现对实时交通状态的三维实况还原：首先将路口的物理结构、交通信号灯、车辆行驶轨迹等信息进行数字化建模，形成一个虚拟的数字孪生模型，然后通过传感器、摄像头等设备对路口的交通流量、车速、车辆类型等数据进行实时采集并与数字孪生模型进行融合实现三维实况还原，结合机器学习、深度学习等技术还可以进一步对交通流量进行预测和分析从而得出当前路段的交通状况。
3、但是现有的这种基于数字孪生的全息路口交通管理方法计算量大、处理缓慢、效率低下，无法做到实时处理且无法长时间工作，而且精度低，准确率也无法保证。
技术实现思路
1、本申请针对上述问题及技术需求，提出了一种基于多视角深度相机实现路况实时还原的路口监控方法，
2、一种基于多视角深度相机实现路况实时还原的路口监控方法，其特征在于，路口监控方法包括：
3、通过安装在路口的多台深度相机分别获取路口的实时视频流，多台深度相机按照不同的视角拍摄路口，且多台深度相机的视场范围全覆盖路口，每台深度相机获取到的实时视频流包括实时彩色视频流和实时深度视频流；
4、利用基于yolov7的目标检测模型对每一台深度相机采集到的实时彩色视频流进行目标检测；
5、当在至少一台深度相机采集到的实时彩色视频流中检测到待监控事件对应的待识别目标时，提取每台深度相机从检测到待识别目标开始的预定时段内的各个采样时刻获取到的重建图像帧，每个重建图像帧包括彩色图像和深度数据；
6、对获取到的每个重建图像帧中的彩色图像进行图像分割确定重建图像帧的特征区域，利用每个重建图像帧的特征区域内的彩色图像和深度数据重建得到路口针对待监控事件的实时三维重建模型。
7、其进一步的技术方案为，重建得到路口针对待监控事件的实时三维重建模型包括对于各台深度相机在同一个采样时刻获取到的重建图像帧：
8、根据每台深度相机获取到的重建图像帧中的深度数据，将重建图像帧的特征区域内的彩色图像中的各个像素点转换为深度相机的相机三维坐标系中的三维点云；
9、根据每台深度相机在路口的安装位置确定深度相机的相机三维坐标系与路口坐标系之间的转换关系，根据每台深度相机的相机三维坐标系与路口坐标系之间的转换关系将深度相机的相机三维坐标系中的三维点云转换到路口坐标系中，重建得到当前采样时刻下的实时三维重建模型。
10、其进一步的技术方案为，确定每台深度相机获取到的重建图像帧的特征区域内的彩色图像中任一像素点转换得到的三维点云的三维坐标为其中，像素点在图像坐标系中的二维坐标为，像素点对应的深度数据为，是深度相机的焦距。
11、其进一步的技术方案为，目标检测模型在yolov7模型的特征提取块中集成混合注意力模块得到，每个混合注意力模块包括通道注意力模块和空间注意力模块，通道注意力模块对yolov7模型的特征提取块提取到的特征图f1进行通道维度的加权处理得到特征图f2，特征图f1和特征图f2相乘得到特征图f3并输入空间注意力模块进行空间上的加权处理得到特征图f4，特征图f3和特征图f4相乘得到加权特征图后输出。
12、其进一步的技术方案为，在通道注意力模块中，输入的特征图f1分别提供给全局最大池化层和全局平均池化层，全局最大池化层输出的特征图经过多层感知机后的特征图与全局平均池化层输出的特征图经过多层感知机后的特征图相加，最后通过sigmoid激活函数生成特征图f2。
13、其进一步的技术方案为，在空间注意力模块中，输入的特征图f3分别提供给全局最大池化层和全局平均池化层，全局最大池化层输出的特征图与全局平均池化层输出的特征图在通道维度上进行拼接后，经过一个7×7的卷积层将通道数压缩到1，最后使用sigmoid激活函数生成特征图f4。
14、其进一步的技术方案为，路口监控方法还包括：
15、在重建得到路口针对待监控事件的实时三维重建模型后，当基于实时三维重建模型检测到待监控事件对应的异常情况时，输出报警信号提示异常情况。
16、其进一步的技术方案为，不同的待监控事件对应的待识别目标和异常情况均不同。
17、其进一步的技术方案为，待检测事件为限高报警事件，对应的待识别目标为大型车辆，当基于实时三维重建模型检测到大型车辆的高度达到高度阈值时确定检测到待监控事件对应的异常情况；
18、或者，
19、待检测事件为非机动车无头盔报警事件，对应的待识别目标为非机动车辆，当基于实时三维重建模型检测到非机动车辆上的驾驶员不存在安全帽时确定检测到待监控事件对应的异常情况；
20、或者，
21、待检测事件为事故责任认定事件，对应的待识别目标为发生事故的车辆。
22、其进一步的技术方案为，对获取到的每个重建图像帧中的彩色图像进行图像分割确定重建图像帧的特征区域包括：
23、将重建图像帧中的彩色图像输入solov2图像分割模型中得到实例掩码，实例掩码指示重建图像帧的特征区域。
24、本申请的有益技术效果是：
25、本申请公开了一种基于多视角深度相机实现路况实时还原的路口监控方法，该利用多视角深度相机三维重建还原路况的思想，利用引入注意力机制的目标检测模型进行目标检测实现特征识别触发，并利用图像分割算法减少三维重建的计算量以及提高三维重建的精度，从而减少了不必要的运算，提高了算法的时效性与准确性，使得可以实现路口的实时状况还原，且保证了算法能够长时间运行。且该方法适用于多种不同的应用场景，克服了传统神经网络算法延展性差、应用场景狭隘等问题，能够根据需求简单快速地完成任务。
本文档来自技高网...【技术保护点】
1.一种基于多视角深度相机实现路况实时还原的路口监控方法，其特征在于，所述路口监控方法包括：
2.根据权利要求1所述的路口监控方法，其特征在于，所述重建得到所述路口针对所述待监控事件的实时三维重建模型包括对于各台深度相机在同一个采样时刻获取到的重建图像帧：
3.根据权利要求2所述的路口监控方法，其特征在于，确定每台深度相机获取到的重建图像帧的特征区域内的彩色图像中任一像素点转换得到的三维点云的三维坐标为其中，所述像素点在图像坐标系中的二维坐标为(x，y)，所述像素点对应的深度数据为d，f是所述深度相机的焦距。
4.根据权利要求1所述的路口监控方法，其特征在于，所述目标检测模型在YOLOv7模型的特征提取块中集成混合注意力模块得到，每个混合注意力模块包括通道注意力模块和空间注意力模块，通道注意力模块对YOLOv7模型的特征提取块提取到的特征图F1进行通道维度的加权处理得到特征图F2，特征图F1和特征图F2相乘得到特征图F3并输入空间注意力模块进行空间上的加权处理得到特征图F4，特征图F3和特征图F4相乘得到加权特征图后输出。
5.根据
6.根据权利要求4所述的路口监控方法，其特征在于，在所述空间注意力模块中，输入的特征图F3分别提供给全局最大池化层和全局平均池化层，全局最大池化层输出的特征图与全局平均池化层输出的特征图在通道维度上进行拼接后，经过一个7×7的卷积层将通道数压缩到1，最后使用sigmoid激活函数生成特征图F4。
7.根据权利要求1所述的路口监控方法，其特征在于，所述路口监控方法还包括：
8.根据权利要求1所述的路口监控方法，其特征在于，不同的待监控事件对应的待识别目标和异常情况均不同。
9.根据权利要求8所述的路口监控方法，其特征在于，
10.根据权利要求1所述的路口监控方法，其特征在于，所述对获取到的每个重建图像帧中的彩色图像进行图像分割确定所述重建图像帧的特征区域包括：
...【技术特征摘要】
1.一种基于多视角深度相机实现路况实时还原的路口监控方法，其特征在于，所述路口监控方法包括：
2.根据权利要求1所述的路口监控方法，其特征在于，所述重建得到所述路口针对所述待监控事件的实时三维重建模型包括对于各台深度相机在同一个采样时刻获取到的重建图像帧：
3.根据权利要求2所述的路口监控方法，其特征在于，确定每台深度相机获取到的重建图像帧的特征区域内的彩色图像中任一像素点转换得到的三维点云的三维坐标为其中，所述像素点在图像坐标系中的二维坐标为(x，y)，所述像素点对应的深度数据为d，f是所述深度相机的焦距。
4.根据权利要求1所述的路口监控方法，其特征在于，所述目标检测模型在yolov7模型的特征提取块中集成混合注意力模块得到，每个混合注意力模块包括通道注意力模块和空间注意力模块，通道注意力模块对yolov7模型的特征提取块提取到的特征图f1进行通道维度的加权处理得到特征图f2，特征图f1和特征图f2相乘得到特征图f3并输入空间注意力模块进行空间上的加权处理得到特征图f4，特征图f3和特征图f4相乘得到加权特征图后输出。
5.根据权利要...
【专利技术属性】
技术研发人员：宋子涵，王胜，景钟翔，
申请(专利权)人：江苏航天大为科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。