【技术实现步骤摘要】
本专利技术涉及感知数据融合，尤其涉及一种全息路口多视频感知融合方法及装置。
技术介绍
1、随着信息技术的不断发展，市域治理也呈现出越来越精细化的趋势。交通出行是市域治理的一个重要组成部分，关系到人民生活的便捷性与舒适性。如何全量描述交通路口的各个要素极其状态成为精细化交通治理的重要先决条件，全息路口应运而生。
2、全息路口是利用路口雷达、摄像机等多个传感器，在保证原有正常非现场执法功能基础上，融合行业最新的传感器技术、高精度地图技术、ai算法、大算力芯片、边缘计算等技术，构建“智慧+感知”能力，生成车辆时空、过车身份、违法抓拍、分米级车辆轨迹、信号灯状态等多种精准、高效、实时的元数据，为路口精细化管理奠定了完备的数据基础。
3、目前的全息路口多视频感知融合方法具有如下缺点：
4、(1)在摄像机标定过程中未考虑画面畸变问题
5、理想摄像机不存在畸变现象，但现实中摄像机由于光学透镜的存在，导致成像后的图像会发生扭曲，可能使原本直立的高楼变得扭曲。现有技术方案中没有考虑摄像机画面畸变的问题，导致车辆经纬度计算结果会存在较大误差。
6、(2)融合过程中未考虑距离效应
7、现有技术方案的实质是采用时空匹配的方式来进行数据融合，即在同一时间同一位置的车辆是同一个车辆。但该方法在同一个车辆被多个摄像机识别时融合结果误差较大。摄像机测距算法的特点是在距离近时精度较高而距离远时精度较低，因为在距离近时一个像素的误差可能只有几个厘米，而在距离远时一个像素的误差可能会有几米。因此
技术实现思路
1、为解决上述技术问题之一，本专利技术提供了一种全息路口多视频感知融合方法及装置，能够解决现有技术中未考虑摄像机画面畸变或距离效应导致融合结果误差较大的技术问题。
2、根据本专利技术的一方面，提供了一种全息路口多视频感知融合方法，所述方法包括：
3、获取多个图像采集设备当前时刻的图像信息，其中，交叉路口中每一条道路至少设置一个图像采集设备；
4、基于检测模型对当前时刻的图像信息进行检测，识别出所有检测目标当前时刻的识别框位置；
5、基于每个图像采集设备的经纬度、各个图像采集设备之间的间距和每个检测目标当前时刻的识别框位置，获取每个检测目标当前时刻的经纬度；
6、基于每个检测目标当前时刻的经纬度预测出每个检测目标下一时刻的经纬度，并给每个检测目标加上id；
7、在每个图像采集设备各自的采集区域中选取预设尺寸作为各自的绑定区域；
8、确定每个检测目标首先出现在哪个绑定区域内，则与对应的图像采集设备进行绑定；
9、分别判断当前时刻各个检测目标是否处于对应的绑定图像采集设备的采集区域内；
10、在当前检测目标处于对应的绑定图像采集设备的采集区域内的情况下，将当前检测目标的id和基于绑定的图像采集设备计算的当前检测目标的经纬度作为感知融合的输出结果；
11、在当前检测目标不处于对应的绑定图像采集设备的采集区域内的情况下，获取预测出的当前检测目标下一时刻的经纬度分别与基于未绑定的多个图像采集设备计算的当前检测目标下一时刻的经纬度的距离差，并判断是否至少存在一个小于预设距离的距离差，若是，将当前检测目标与距离差最小值对应的图像采集设备进行重新绑定，并将当前检测目标的id和基于重新绑定的图像采集设备计算的当前检测目标的经纬度作为感知融合的输出结果。
12、优选的，在获取多个图像采集设备当前时刻的图像信息之前，所述方法还包括：
13、对多个图像采集设备进行时间同步；
14、获取每个图像采集设备的经纬度和各个图像采集设备之间的间距；
15、对每个图像采集设备进行标定；
16、在完成标定的基础上，每个图像采集设备分别实时采集各自的图像信息；
17、基于每个图像采集设备各个时刻的图像信息对基础模型进行训练，得到检测模型。
18、优选的，在获取多个图像采集设备当前时刻的图像信息之后，所述方法还包括：对图像信息进行畸变矫正，得到畸变矫正后的图像信息。
19、优选的，在每个图像采集设备分别实时采集各自的图像信息之后，所述方法还包括：对图像信息进行畸变矫正，得到畸变矫正后的图像信息。
20、优选的，通过下式得到畸变矫正后的图像信息包括：
21、
22、式中，xc、yc分别为畸变矫正后的图像的横坐标、纵坐标，xp、yp分别为图像的横坐标、纵坐标，k1、k2、k3分别为第一、第二、第三径向畸变参数，p1、p2分别为第一、第二切向畸变参数，r为以光轴中心点为原点的半径，
23、优选的，基于每个图像采集设备各个时刻的图像信息对基础模型进行训练，得到检测模型包括：
24、以yolo v5深度神经网络模型作为基础模型；
25、将每个图像采集设备各个时刻的图像信息输入基础模型，以对基础模型进行训练，得到检测模型。
26、优选的，基于每个检测目标当前时刻的经纬度预测出每个检测目标下一时刻的经纬度，并给每个检测目标加上id包括：利用sort算法，基于每个检测目标当前时刻的经纬度预测出每个检测目标下一时刻的经纬度，并给每个检测目标加上id。
27、根据本专利技术的另一方面，提供了一种全息路口多视频感知融合装置，所述装置包括多个图像采集设备和边缘计算设备，交叉路口中每一条道路至少设置一个图像采集设备；
28、多个图像采集设备用于获取当前时刻的图像信息；
29、边缘计算设备用于基于检测模型对当前时刻的图像信息进行检测，识别出所有检测目标当前时刻的识别框位置；用于基于每个图像采集设备的经纬度、各个图像采集设备之间的间距和每个检测目标当前时刻的识别框位置，获取每个检测目标当前时刻的经纬度；用于基于每个检测目标当前时刻的经纬度预测出每个检测目标下一时刻的经纬度，并给每个检测目标加上id；用于在每个图像采集设备各自的采集区域中选取预设尺寸作为各自的绑定区域；用于确定每个检测目标首先出现在哪个绑定区域内，则与对应的图像采集设备进行绑定；还用于分别判断当前时刻各个检测目标是否处于对应的绑定图像采集设备的采集区域内，在当前检测目标处于对应的绑定图像采集设备的采集区域内的情况下，将当前检测目标的id和基于绑定的图像采集设备计算的当前检测目标的经纬度作为感知融合的输出结果；在当前检测目标不处于对应的绑定图像采集设备的采集区域内的情况下，获取预测出的当前检测目标下一时刻的经纬度分别与基于未绑定的多个图像采集设备计算的当前检测目标下一时刻的经纬度的距离差，并判断是否至少存在一个小于预设距离的距离差，若是，将当前检测目标与距离差最小值对应的图像采集设备进行重新绑定，并将当前检测目标的id和基于重新绑定的图像采集设备计算的当前检测目标的经纬度作为感知融合的输出结果。<本文档来自技高网...
【技术保护点】
1.一种全息路口多视频感知融合方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，在获取多个图像采集设备当前时刻的图像信息之前，所述方法还包括：
3.根据权利要求1或2所述的方法，其特征在于，在获取多个图像采集设备当前时刻的图像信息之后，所述方法还包括：对图像信息进行畸变矫正，得到畸变矫正后的图像信息。
4.根据权利要求2所述的方法，其特征在于，在每个图像采集设备分别实时采集各自的图像信息之后，所述方法还包括：对图像信息进行畸变矫正，得到畸变矫正后的图像信息。
5.根据权利要求3或4所述的方法，其特征在于，通过下式得到畸变矫正后的图像信息包括：
6.根据权利要求1所述的方法，其特征在于，基于每个图像采集设备各个时刻的图像信息对基础模型进行训练，得到检测模型包括：
7.根据权利要求1所述的方法，其特征在于，基于每个检测目标当前时刻的经纬度预测出每个检测目标下一时刻的经纬度，并给每个检测目标加上ID包括：利用SORT算法，基于每个检测目标当前时刻的经纬度预测出每个检测目标下一时刻的经纬度，
8.一种全息路口多视频感知融合装置，其特征在于，所述装置包括多个图像采集设备和边缘计算设备，交叉路口中每一条道路至少设置一个图像采集设备；
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7任一所述方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1至7任一所述方法。
...【技术特征摘要】
1.一种全息路口多视频感知融合方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，在获取多个图像采集设备当前时刻的图像信息之前，所述方法还包括：
3.根据权利要求1或2所述的方法，其特征在于，在获取多个图像采集设备当前时刻的图像信息之后，所述方法还包括：对图像信息进行畸变矫正，得到畸变矫正后的图像信息。
4.根据权利要求2所述的方法，其特征在于，在每个图像采集设备分别实时采集各自的图像信息之后，所述方法还包括：对图像信息进行畸变矫正，得到畸变矫正后的图像信息。
5.根据权利要求3或4所述的方法，其特征在于，通过下式得到畸变矫正后的图像信息包括：
6.根据权利要求1所述的方法，其特征在于，基于每个图像采集设备各个时刻的图像信息对基础模型进行训练，得到检测模型包括...
【专利技术属性】
技术研发人员：江帆，唐力勇，王之煜，田聂豪，徐诗茗，
申请(专利权)人：航天科工集团智能科技研究院有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。