【技术实现步骤摘要】
多相机生成局部地图模板理解加强目标检测方法及系统
[0001]本专利技术涉及一种自动驾驶领域，特别是关于一种多相机生成局部地图模板理解加强目标检测方法及系统。
技术介绍
[0002]自动驾驶中纯视觉的多相机环境感知解决方案是一个被广泛研究的研究领域，环境感知包括动态目标的感知和静态道路要素的感知。环视相机的目标检测一般有三种方法，第一种是单目相机的检测方法，包括直接从特征金字塔回归三维包围框和单目深度预训练后的伪激光雷达方法，对于多相机的配置使用全局非极大值抑制，第二种是原生的多目相机检测方法，包括使用多个伪激光雷达的点云融合方法和变换器的隐式集合预测方法，上述目标检测方法均没有考虑物体在环境中的约束，例如正常运行的车辆一般朝向与道路的朝向平行，行人一般走在人行道，车辆一般运行在两个车道之间等位置约束，这些约束一般由高精度地图实现。
[0003]基于高精度地图形成“地图传感器”加强环境感知的实践被广泛研究，2018年Uber先进技术团队尝试将地图中的几何和语义先验信息表达在鸟瞰图中，并作为一个数据通道，与点云数据一并...
【技术保护点】
【技术特征摘要】
1.一种多相机生成局部地图模板理解加强目标检测方法，其特征在于，包括：以同一帧多个车载相机的图像作为信息源，构建自车感知范围内的生成式局部地图；基于生成式局部地图，通过静态环境模板生成式地图与动态目标检测的交互式学习与交叉注意力增强，由目标检测障碍物信息分辨静态要素是否被遮挡，补全被遮挡区域，通过静态要素约束动态障碍物的位置与状态，完善目标检测；利用生成式局部地图约束目标检测后处理，输出静态要素的语义图层和动态要素的三维包围框。2.如权利要求1所述多相机生成局部地图模板理解加强目标检测方法，其特征在于，所述生成式局部地图的构建，包括语义面图层与分隔线图层，实现对静态环境模板的理解，包括：在鸟瞰图下进行语义分割，得到密集的语义栅格；单目视觉时，对于面状地图要素，把位置相近的，语义属性为同一类的光栅聚类成一类，采用多边形框定其外包络面；对于线状地图要素，采用折线段拟合语义属性的一类；多个相机时，进行准确的内外参标定，对于观测边缘进行矢量数据关联，然后进行平滑化后得到全景360
°
的矢量地图。3.如权利要求2所述多相机生成局部地图模板理解加强目标检测方法，其特征在于，所述语义分割，包括：在图像平面上应用语义分割骨干网络，然后进行二维到三维的视角转换，使图像形成一个光视椎体；通过相机的内参和外参转移到三维大地平面下，在鸟瞰图中进行堆叠卷积网络，回归最后的语义分割。4.如权利要求1所述多相机生成局部地图模板理解加强目标检测方法，其特征在于，所述交互式学习与交叉注意力的实现，包括：设置交叉注意力机制使得目标检测的框架能够注意到目标所在静态地理环境的信息，在预测头实现变换器结构；变换器结构的输出是物体级查询，查询的维度是隐层层数和框编码长度，在变换器结构中通过改变查询，键，值的交互矩阵形成全局自注意力。5.如权利要求4所述多相机生成局部地图模板理解加强目标检测方法，其特征在于，所述变换器结构为基于变换器的双分支转换器，包括：将图像块中的静态要素和动态模板的查询分别输入两个转换器，用两个独立分支处理不同的图像块；处理后的图像块进入多尺度变换器的编码器，并得到一致性解码，解码后得到最后的目标信息。6.如权利要求1所述多相机生...
【专利技术属性】
技术研发人员：江昆，杨殿阁，施以宁，周韬华，杨蒙蒙，
申请(专利权)人：清华大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。