本申请实施例提供了适用于交通场景的多视图几何的全息路口融合方法及系统，所述融合方法包括：步骤S10，通过多个相机分别获取路面不同方向的图像；步骤S20，在各帧图像中进行车辆关键点检测和车道线检测，输出各帧图像中车辆和车道线在相机坐标系中的位置；步骤S30，将各帧图像中车辆和车道线在相机坐标系中的位置分别映射至高精地图的俯视坐标系中；步骤S40，基于不同相机不同帧的车辆在高精地图下的坐标，计算坐标序列的相似度，确定帧偏移；步骤S50，基于各相机下的车辆、车道线俯视坐标以及帧偏移，构建交通场景在多相机下的融合俯视视图；具有部署简单、维护成本较低的有益效果，适用于计算机视觉和机器学习的技术领域。适用于计算机视觉和机器学习的技术领域。适用于计算机视觉和机器学习的技术领域。
【技术实现步骤摘要】
适用于交通场景的多视图几何的全息路口融合方法及系统
[0001]本申请涉及计算机视觉和机器学习的
，具体地，涉及适用于交通场景的多视图几何的全息路口融合方法及系统。
技术介绍
[0002]在城市道路交通领域，面对复杂路口，通常采用前端摄像机抓拍图片、视频，再由云端进行数据处理、反馈至控制中心，过程冗长，同时交通事故普遍还是以人工报警为主，容易造成“小事故大拥堵”的情况。
[0003]随着探测技术的多元发展，充分利用现有的各种探测手段，使用多传感器资源和信息优势的协同探测技术以提高城市交通通行能力，特别是交汇路口的道路感知检测，是智慧交通的重要发展方向。
[0004]全息路口作为一种智慧交通的发展方向，其采用多方向雷视拟合技术，结合高精度地图呈现路口全息视角，通过对交通事故、事件的自动感知，精准数据辅助定责，可降低事故发生，提供精准车道级流量数据，支持路口信控自适应配时。
[0005]其中，雷视拟合技术能够对接入的雷达、视频等设备进行数据结构化解析，结合高精度地图呈现数字化视角，实现对机动车、非机动车、行人运行动向的精准刻画。
[0006]然而，全息路口中前端设备采用的技术中主要依赖毫米波雷达，激光雷达等测距传感器，存在设备成本高的问题；且这类传感器和前端设备中普通工业相机的联合标定过程繁琐，并且鲁棒性较差，以上原因导致全息路口技术成本较高，不利于该项技术的应用和普及。
技术实现思路
[0007]本申请实施例提供了一种部署简单、维护成本较低的适用于交通场景的多视图几何的全息路口融合方法及系统。
[0008]根据本申请实施例的第一个方面，提供了适用于交通场景的多视图几何的全息路口融合方法，包括：
[0009]步骤S10，通过多个相机分别获取路面不同方向的图像；
[0010]步骤S20，在各帧图像中进行车辆关键点检测和车道线检测，输出各帧图像中车辆和车道线在相机坐标系中的位置；
[0011]步骤S30，将各帧图像中车辆和车道线在相机坐标系中的位置分别映射至高精地图的俯视坐标系中；
[0012]步骤S40，基于不同相机不同帧的车辆在高精地图下的坐标，计算坐标序列的相似度，确定帧偏移；
[0013]步骤S50，基于各相机下的车辆、车道线俯视坐标以及帧偏移，构建交通场景在多相机下的融合俯视视图。
[0014]优选地，所述步骤S20，在各图像中进行车辆关键点检测和车道线检测，输出各图
像中车辆和车道线在相机坐标系中的位置；具体包括：
[0015]步骤S201，构建车辆底盘和车轮之间的几何约束关系；
[0016]步骤S202，通过深度网络模型和几何约束关系检测出各帧图像中的车辆关键点，输出各帧图像中车辆关键点在相机坐标系中的位置；
[0017]步骤S203，通过深度网络模型检测出各帧图像中的车道线；
[0018]步骤S204，输出各帧图像中车道线在相机坐标系中的位置。
[0019]优选地，所述步骤S202，通过深度网络模型和几何约束关系检测出各帧图像中的车辆关键点，输出各帧图像中车辆关键点在相机坐标系中的位置；具体包括：
[0020]步骤S2021，将各帧图像分别输入至YoloV5模型中，输出各帧图像对应分别对应的车辆检测图像；
[0021]步骤S2022，将各个车辆检测图像分别输入至HRNet模型中，输出各个车辆检测图像分别对应的车辆关键点；
[0022]步骤S2023，基于车辆关键点和几何约束关系，调整车辆关键点在相机坐标系中的位置。
[0023]优选地，所述步骤S203，通过深度网络模型检测出各帧图像中的车道线，每帧图像的车道线检测具体包括：
[0024]步骤S2031，通过对车道线进行分割，提取出车道线特征；
[0025]步骤S2032，通过实例聚类，将车道线特征中离散的车道线坐标信息进行连接，输出表示车道实例的特征点集；
[0026]步骤S2033，通过车道线拟合对车道线实例的特征点集进行曲线拟合，输出平滑的车道线。
[0027]优选地，所述车辆关键点为8个，分别为：用于标识车辆底盘的4个关键点，以及用于标识4个车轮的关键点。
[0028]根据本申请实施例的第二个方面，提供了适用于交通场景的多视图几何的全息路口融合系统，包括：
[0029]图像获取模块，用于通过多个相机分别获取路面不同方向的图像；
[0030]车辆及车道检测模块，用于在各帧图像中进行车辆关键点检测和车道线检测，输出各帧图像中车辆和车道线在相机坐标系中的位置；
[0031]坐标映射模块，用于将各帧图像中车辆和车道线在相机坐标系中的位置分别映射至高精地图的俯视坐标系中；
[0032]时间同步模块，用于基于不同相机不同帧的车辆在高精地图下的坐标，计算坐标序列的相似度，确定帧偏移；
[0033]融合模块，用于基于各相机下的车辆、车道线俯视坐标以及帧偏移，构建交通场景在多相机下的融合俯视视图。
[0034]优选地，所述车辆及车道检测模块包括：
[0035]构建模块，用于构建车辆底盘和车轮之间的几何约束关系；
[0036]车辆检测模块，用于通过深度网络模型和几何约束关系检测出各帧图像中的车辆关键点，输出各帧图像中车辆关键点在相机坐标系中的位置；
[0037]车道检测模块，用于通过深度网络模型检测出各帧图像中的车道线，输出各帧图
像中车道线在相机坐标系中的位置。
[0038]优选地，所述车辆检测模块中，对每帧图像中车辆关键点检测包括：
[0039]第一检测模块，用于将各帧图像分别输入至YoloV5模型中，输出各帧图像对应分别对应的车辆检测图像；
[0040]第二检测模块，用于将各个车辆检测图像分别输入至HRNet模型中，输出各个车辆检测图像分别对应的车辆关键点；
[0041]关键点位置调整及输出模块，用于基于车辆关键点和几何约束关系，调整车辆关键点在相机坐标系中的位置。
[0042]优选地，所述车道检测模块中，每帧图像的车道线检测包括：
[0043]车道线分割模块，用于通过对车道线进行分割，提取出车道线特征；
[0044]车道线实例聚类模块，用于通过实例聚类，将车道线特征中离散的车道线坐标信息进行连接，输出表示车道实例的特征点集；
[0045]车道线拟合模块，通过车道线拟合对车道线实例的特征点集进行曲线拟合，输出平滑的车道线。
[0046]本申请实施例由于采用以上技术方案，具有以下技术效果：
[0047]本专利技术中，通过车辆关键点检测和车道线检测进行道路特征点识别，实现了交通信息的结构化，同时，通过计算坐标序列的相似度，确定帧偏移，并基于各相机下的车辆、车道线俯视坐标以及帧偏移，构建交通场景在多相机下的融合俯视视图，本专利技术具有全流程自动化、稳定性强；以及部署简单、维护成本低的优点，实用性极强。
附图说明
本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.适用于交通场景的多视图几何的全息路口融合方法，其特征在于：包括：步骤S10，通过多个相机分别获取路面不同方向的图像；步骤S20，在各帧图像中进行车辆关键点检测和车道线检测，输出各帧图像中车辆和车道线在相机坐标系中的位置；步骤S30，将各帧图像中车辆和车道线在相机坐标系中的位置分别映射至高精地图的俯视坐标系中；步骤S40，基于不同相机不同帧的车辆在高精地图下的坐标，计算坐标序列的相似度，确定帧偏移；步骤S50，基于各相机下的车辆、车道线俯视坐标以及帧偏移，构建交通场景在多相机下的融合俯视视图。2.根据权利要求1所述的适用于交通场景的多视图几何的全息路口融合方法，其特征在于：所述步骤S20，在各图像中进行车辆关键点检测和车道线检测，输出各图像中车辆和车道线在相机坐标系中的位置；具体包括：步骤S201，构建车辆底盘和车轮之间的几何约束关系；步骤S202，通过深度网络模型和几何约束关系检测出各帧图像中的车辆关键点，输出各帧图像中车辆关键点在相机坐标系中的位置；步骤S203，通过深度网络模型检测出各帧图像中的车道线；步骤S204，输出各帧图像中车道线在相机坐标系中的位置。3.根据权利要求2所述的适用于交通场景的多视图几何的全息路口融合方法，其特征在于：所述步骤S202，通过深度网络模型和几何约束关系检测出各帧图像中的车辆关键点，输出各帧图像中车辆关键点在相机坐标系中的位置；具体包括：步骤S2021，将各帧图像分别输入至Yolov5模型中，输出各帧图像对应分别对应的车辆检测图像；步骤S2022，将各个车辆检测图像分别输入至HRNet模型中，输出各个车辆检测图像分别对应的车辆关键点；步骤S2023，基于车辆关键点和几何约束关系，调整车辆关键点在相机坐标系中的位置。4.根据权利要求2所述的适用于交通场景的多视图几何的全息路口融合方法，其特征在于：所述步骤S203，通过深度网络模型检测出各帧图像中的车道线，每帧图像的车道线检测具体包括：步骤S2031，通过对车道线进行分割，提取出车道线特征；步骤S2032，通过实例聚类，将车道线特征中离散的车道线坐标信息进行连接，输出表示车道实例的特征点集；步骤S2033，通过车道线拟合对车道线实例的特征点集进行曲线拟合，输出平滑的车道线。5.根据权利要求2所述的适用于交通场景的多视图几何的全息路口融合方法，其特征在于：所述车辆关键点为8个，分...
【专利技术属性】
技术研发人员：郭广超，胡泽琛，黄守志，王竹梅，赵勇，
申请(专利权)人：北京格灵深瞳信息技术股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。