一种实时感知信息与自动驾驶地图的融合方法及系统技术方案

本发明专利技术涉及一种实时感知信息与自动驾驶地图的融合方法及系统，其包括：确定障碍物与地图中道路的关系；可行驶区域融合与边界状态分析；将障碍物与地图中道路的关系、可行驶区域融合与边界状态分析结果与地图本身的静态环境信息相结合，实现感知结果的集成输出。本发明专利技术过滤掉了道路外的障碍物，并明确了道路内的障碍物所在的车道以及其与该车道的位置角度关系，为运动预测提供了依据；根据地图信息剔除了感知得到的可行驶区域中不合理的部分，并得到了边界的语义类别与速度。至此，各种环境元素在地图平台上得到了联系和整合。

A fusion method and system of real-time perceptual information and automatic driving map

【技术实现步骤摘要】
一种实时感知信息与自动驾驶地图的融合方法及系统
本专利技术涉及一种自动驾驶
，特别是关于一种实时感知信息与自动驾驶地图的融合方法及系统。
技术介绍
自动驾驶是一个高度复杂的集成系统，高级别自动驾驶需要完整而鲁棒的环境感知、决策规划和车辆控制。环境感知技术是整个系统的基础，目前技术的检测率、准确度等还远不能达到安全性要求，因此利用地图提供先验信息辅助实时感知，已经逐渐成为业界共识。自动驾驶地图提供大量的高精度先验静态信息，如道路边界、路面形状、车道线、交通标志、固定障碍物等，而实时感知则主要提供动态信息。实际上，地图信息和实时感知信息并不是简单的静态和动态的叠加关系，实时感知可以得到很多静态信息，自动驾驶地图也隐含了许多动态信息的运动规律，同时，静态信息和动态信息的关系也是环境理解的重要内容。现有研究中，一些是简单地合并地图信息和实时感知信息，也有一些从某一个方面实现两者信息的融合，如定位、可行驶区域、参考路径等，但并未全面彻底地揭示并利用各种元素之间的联系。
技术实现思路
针对现有研究中对自动驾驶地图与实时感知信息的联系考虑的不足，本专利技术的目的是提供一种实时感知信息与自动驾驶地图的融合方法及系统，其能实现各种环境元素在地图平台上的联系和整合。为实现上述目的，本专利技术采取以下技术方案：一种实时感知信息与自动驾驶地图的融合方法，其包括以下步骤：1）进行地图匹配定位，给出自车在地图坐标系中的位置，并明确自车坐标系与地图坐标系间的关系；2）确定障碍物与地图中道路的关系；实时感知到的障碍物信息，根据与道路的关系分为三类：道路内目标、道路外目标和道路边界目标；其中，道路内目标，应确认其所位于的车道；根据地图匹配定位时给出的自车坐标系与地图坐标系的关系，将障碍物信息与地图信息进行比对，得到障碍物与道路关系；障碍物与地图中道路的关系分为两种情况：2.1）三维传感器检测到的障碍物：这类传感器能直接检测得到障碍物在自车坐标系内的运动状态，利用自车坐标系与地图坐标系之间的关系，将障碍物位置转移到地图上，从而与地图进行比对；2.2）单目视觉传感器在图像平面内检测到的障碍物：这种传感器得到的是地图坐标系在图像坐标系上的平面投影，通过标定矩阵，将地图中的道路边界和车道线投影到图像中，再与图像中的障碍物进行对比，判断障碍物与道路关系，并得到障碍物所在的车道；3）可行驶区域融合与边界状态分析；4）将步骤2）、步骤3）与地图本身的静态环境信息相结合，实现感知结果的集成输出。进一步，所述步骤2）中，利用地图匹配定位结果，将实时感知到的障碍物转到地图坐标系中，以障碍物为目标，根据道路边界对目标进行筛选，对道路边界内部的目标，判断其位于哪个车道，并明确其与该车道的关系，得到融合地图信息后的动静态目标。进一步，所述障碍物与道路的关系按下式计算：（1）式中，为道路左边界；为道路右边界；o为障碍物；dist为距离函数。进一步，若未观测到障碍物形状，则按照其位置，计算到车道线的距离；若观测到障碍物形状，则针对包围盒各顶点计算到车道线距离，若符号全部相同，则取数值上最小者；若符号不完全相同，则取为0，如下式所示：（2）式中，d为点到直线距离函数，l为车道线，p为障碍物位置，vi为障碍物顶点，i的取值范围为1至n的整数，n为障碍物顶点数。进一步，对道路内目标判断其所位于的车道时，逐一检查各车道，以给定车道的左右边界代替公式（1）中的道路左右边界，即可判断目标是否位于该车道，直至找到某条车道，使该目标位于此车道边界内或边界上；对于道路内目标，进一步计算出其与该车道的关系：根据障碍物朝向与车道线朝向，判断障碍物朝向相对于车道中心线朝向的偏转角；根据障碍物位置、形状与车道线，利用公式（2）计算其到左右车道线的距离。进一步，将地图中的道路边界和车道线投影到图像中，公式为：式中，，，为自车坐标系内坐标，mqj为相机参数矩阵的元素，q=0、1、2，j=1、2、3、4；u，v分别为图像像素横、纵坐标，Z为相机光心高度。进一步，所述步骤3）中，针对可行驶区域，将实时感知得到的可行驶区域与地图提供的可行驶区域进行融合，并根据实时感知障碍物信息，分段判断可行驶区域边界的状态，得到边界语义以及速度信息。进一步，通过激光雷达或视觉传感器的地面连通区域分割，实现可行驶区域的实时感知；利用地图提供的道路边界，以及停止线、实线这些交通规则不可跨越的边界，缩减可行驶区域的范围；同时，结合障碍物信息，明确可行驶区域边界的语义以及速度。一种实时感知信息与自动驾驶地图的融合系统，其包括地图匹配定位模块、关系确定模块、分析模块和输出模块；所述地图匹配定位模块用于进行地图匹配定位，给出自车在地图坐标系中的位置，并明确自车坐标系与地图坐标系间的关系；所述关系确定模块用于确定障碍物与地图中道路的关系；实时感知到的障碍物信息，根据与道路的关系分为三类：道路内目标、道路外目标和道路边界目标；其中，道路内目标，应确认其所位于的车道；根据地图匹配定位时给出的自车坐标系与地图坐标系的关系，将障碍物信息与地图信息进行比对，得到障碍物与道路关系；障碍物与地图中道路的关系分为两种情况：（1）三维传感器检测到的障碍物：这类传感器能直接检测得到障碍物在自车坐标系内的运动状态，利用自车坐标系与地图坐标系之间的关系，将障碍物位置转移到地图上，从而与地图进行比对；（2）单目视觉传感器在图像平面内检测到的障碍物：这种传感器得到的是地图坐标系在图像坐标系上的平面投影，通过标定矩阵，将地图中的道路边界和车道线投影到图像中，再与图像中的障碍物进行对比，判断障碍物与道路关系，并得到障碍物所在的车道；所述分析模块对可行驶区域融合与边界状态进行分析；所述输出模块将所述关系确定模块、分析模块的结果与地图本身的静态环境信息相结合，实现感知结果的集成输出。进一步，所述分析模块中，针对可行驶区域，将实时感知得到的可行驶区域与地图提供的可行驶区域进行融合，并根据实时感知障碍物信息，分段判断可行驶区域边界的状态，得到边界语义以及速度信息。本专利技术由于采取以上技术方案，其具有以下优点：本专利技术过滤掉了道路外的障碍物，并明确了道路内的障碍物所在的车道以及其与该车道的位置角度关系，为运动预测提供了依据；根据地图信息剔除了感知得到的可行驶区域中不合理的部分，并得到了边界的语义类别与速度。至此，各种环境元素在地图平台上得到了联系和整合。附图说明图1是本专利技术的整体方法流程示意图。图2是地图坐标下障碍物与道路关系判断示意图。图3是地图坐标下障碍物与所在车道关系判断示意图。图4是图像坐标下障碍物与道路及车道关系判断示意图。图5是可行驶区域融合与边界状态分析示意图。具体实施方式本专利技术包括障碍物与地图中道路的关系、可行驶区域融合与边界状态分析两个部分。地图匹配定位技术是本专利技术的基础，该技术可以通过实时感知静态信息与地图比对，得到更为精确的自车状态，明确自车与道路的关系并统一坐标系本文档来自技高网...

【技术保护点】
1.一种实时感知信息与自动驾驶地图的融合方法，其特征在于包括以下步骤：/n1）进行地图匹配定位，给出自车在地图坐标系中的位置，并明确自车坐标系与地图坐标系间的关系；/n2）确定障碍物与地图中道路的关系；/n实时感知到的障碍物信息，根据与道路的关系分为三类：道路内目标、道路外目标和道路边界目标；其中，道路内目标，应确认其所位于的车道；根据地图匹配定位时给出的自车坐标系与地图坐标系的关系，将障碍物信息与地图信息进行比对，得到障碍物与道路关系；/n障碍物与地图中道路的关系分为两种情况：/n2.1）三维传感器检测到的障碍物：这类传感器能直接检测得到障碍物在自车坐标系内的运动状态，利用自车坐标系与地图坐标系之间的关系，将障碍物位置转移到地图上，从而与地图进行比对；/n2.2）单目视觉传感器在图像平面内检测到的障碍物：这种传感器得到的是地图坐标系在图像坐标系上的平面投影，通过标定矩阵，将地图中的道路边界和车道线投影到图像中，再与图像中的障碍物进行对比，判断障碍物与道路关系，并得到障碍物所在的车道；/n3）可行驶区域融合与边界状态分析；/n4）将步骤2）、步骤3）与地图本身的静态环境信息相结合，实现感知结果的集成输出。/n...

【技术特征摘要】
1.一种实时感知信息与自动驾驶地图的融合方法，其特征在于包括以下步骤：
1）进行地图匹配定位，给出自车在地图坐标系中的位置，并明确自车坐标系与地图坐标系间的关系；
2）确定障碍物与地图中道路的关系；
实时感知到的障碍物信息，根据与道路的关系分为三类：道路内目标、道路外目标和道路边界目标；其中，道路内目标，应确认其所位于的车道；根据地图匹配定位时给出的自车坐标系与地图坐标系的关系，将障碍物信息与地图信息进行比对，得到障碍物与道路关系；
障碍物与地图中道路的关系分为两种情况：
2.1）三维传感器检测到的障碍物：这类传感器能直接检测得到障碍物在自车坐标系内的运动状态，利用自车坐标系与地图坐标系之间的关系，将障碍物位置转移到地图上，从而与地图进行比对；
2.2）单目视觉传感器在图像平面内检测到的障碍物：这种传感器得到的是地图坐标系在图像坐标系上的平面投影，通过标定矩阵，将地图中的道路边界和车道线投影到图像中，再与图像中的障碍物进行对比，判断障碍物与道路关系，并得到障碍物所在的车道；
3）可行驶区域融合与边界状态分析；
4）将步骤2）、步骤3）与地图本身的静态环境信息相结合，实现感知结果的集成输出。


2.如权利要求1所述融合方法，其特征在于：所述步骤2）中，利用地图匹配定位结果，将实时感知到的障碍物转到地图坐标系中，以障碍物为目标，根据道路边界对目标进行筛选，对道路边界内部的目标，判断其位于哪个车道，并明确其与该车道的关系，得到融合地图信息后的动静态目标。


3.如权利要求1所述融合方法，其特征在于：所述障碍物与道路的关系按下式计算：

（1）
式中，为道路左边界；为道路右边界；o为障碍物；dist为距离函数。


4.如权利要求3所述融合方法，其特征在于：若未观测到障碍物形状，则按照其位置，计算到车道线的距离；若观测到障碍物形状，则针对包围盒各顶点计算到车道线距离，若符号全部相同，则取数值上最小者；若符号不完全相同，则取为0，如下式所示：

（2）
式中，d为点到直线距离函数，l为车道线，p为障碍物位置，vi为障碍物顶点，i的取值范围为1至n的整数，n为障碍物顶点数。


5.如权利要求4所述融合方法，其特征在于：对道路内目标判断其所位于的车道时，逐一检查各车道，以给定车道的左右边界代替公式（1）中的道路左右边界，即可判断目标是否位于该车道，直至找到某条车道，使该目标位于此车道边界内或边界上；
对于道路内目标，进一步计算出其与该车道的关系：根据障碍物朝向与车道线朝向，判断障碍物朝向相对于车道中心线朝向的偏转角；...

【专利技术属性】
技术研发人员：杨殿阁，江昆，焦新宇，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京;11