本发明专利技术公开了一种基于多传感器前融合的自动泊车系统，其特征在于，其包含感知模块、停车位识别模块、路径规划模块、车辆控制模块和通信模块，所述感知模块涉及部署在车身及车辆四周的多个广角摄像头、多个超声波雷达、IMU、轮速计等多种传感器，用于获取车辆行进过程中的周围环境信息和车辆自身状态信息；所述停车位识别模块使用端对端的多传感器前融合的识别方法，获取目标停车位；所述路径规划模块根据所述停车位识别模块获取的目标停车位信息，规划泊车路径；所述车辆控制模块根据所述路径规划模块规划的泊车路径生成控制指令，直到车辆正确泊入停车位；所述通信模块负责各个模块内部及各个模块之间的数据传输和交互。本发明专利技术在停车位检测模型中采用端对端的思路，输入多种传感器信息后，一步直接输出当前的最佳目标停车区域，该方法避免了人工规则和分布推断，因此更直接有效，使用连续多帧的传感器信息进行前融合，达到更精准的识别效果。达到更精准的识别效果。达到更精准的识别效果。
【技术实现步骤摘要】
一种基于多传感器前融合的自动泊车系统、方法及装置
[0001]本专利技术涉及数据采集对比
，更具体地说，本专利技术涉及一种基于多传感器前融合的自动泊车系统、方法及装置。
技术介绍
[0002]自动泊车是汽车自动驾驶过程中的一个重要场景，车辆在进入停车场后，自动泊车技术可控制车辆自动泊入预选车位，无需用户控制，解决用户停车难题，为用户提供极大地便利，因此近年来在车辆上的搭载率日渐提高。自动泊车技术包括车位识别、路径规划、自动控制三方面。其中车位识别的准确性对自动泊车系统的优劣起到了先决性作用。现有的车位识别技术多依靠超声波传感器技术或图像识别技术，获取车位信息及障碍物信息，再确定最终停车位姿以实现后续自动泊车过程。
[0003]目前的自动泊车技术利用人工制定的规则对有限类型的车位进行推断，普遍存在着停车位识别场景有限、车位识别准确率不高、自动泊车过程中需要驾驶员人工干预等问题，在一定程度上限制了泊车效率。
[0004]超声波雷达车位识别方案对车位周边障碍物的依赖较大，无障碍物时无法准确识别车位，适应性和智能性较差。同时超声波雷达的探测精度受天气、温度、噪声等环境因素的影响，恶劣条件下对目标车位的探测存在较大的偏差，将对最终的泊车精度产生消极影响。
[0005]图像识别技术通过对安装在车身上的摄像头采集的车辆周围环境图像进行处理，识别可泊入的目标车位。一般采用基于霍夫变换的传统车位检测法和基于深度学习的车位边角检测法。这两种方法对车位线依赖度较高，对于车位线不完整或者有部分磨损的情况，漏检和误检较多，同时对空间车位的检测可靠性较低。另外，输入的视觉信息往往仅来源于当前帧，这会导致由于停车线或停车位角点被车辆等障碍物遮挡时带来的漏检，同时也无法提取到外界环境的变化信息。
技术实现思路
[0006]为了克服现有技术的上述缺陷，本专利技术的实施例提供一种基于多传感器前融合的自动泊车系统、方法及装置，以解决上述
技术介绍
中提出的问题。
[0007]为实现上述目的，本专利技术提供如下技术方案：一种基于多传感器前融合的自动泊车系统，其特征在于，其包含感知模块、停车位识别模块、路径规划模块、车辆控制模块和通信模块。
[0008]所述感知模块用于获取车辆行进过程中的周围环境信息和车辆自身状态信息；所述停车位识别模块使用端对端的多传感器前融合的识别方法，获取目标停车位；所述路径规划模块根据所述停车位识别模块获取的目标停车位信息，规划泊车路径；所述车辆控制模块根据所述路径规划模块规划的泊车路径生成控制指令，直到车辆正确泊入停车位；所述通信模块负责各个模块内部及各个模块之间的数据传输和交互。
[0009]在一个优选地实施方式中，所述感知模块涉及部署在车身及车辆四周的多个广角摄像头、多个超声波雷达、IMU、轮速计等多种传感器，用于获取车辆行进过程中的周围环境信息和车辆自身状态信息。
[0010]在一个优选地实施方式中，所述停车位识别模块使用的端对端多传感器前融合的识别方法的实现过程包括以下步骤：
[0011]步骤A，将所述感知模块中所述多个广角摄像头采集的当前帧图像，使用全景拼接映射表映射成全景拼接图像；
[0012]步骤B，将所述感知模块中所述多个超声波雷达采集的距离测量信息，使用超声波点阵映射表映射成超声波点阵；
[0013]步骤C，将步骤A产生的全景拼接图像与步骤B产生的超声波点阵在通道维度进行拼接联合，得到当前帧的感知融合信息，并与过去帧的感知融合信息拼成一个序列，得到感知融合信息序列；
[0014]步骤D，将步骤C中产生的感知融合信息序列，输入至停车位识别算法中，获取目标停车位。
[0015]在一个优选地实施方式中，所述全景拼接映射表为所述多个广角摄像头的采集图像的像素点与所述全景拼接图像的像素点的对应关系，其可以通过所述多个广角摄像头的内参、外参及所述全景拼接图像的覆盖范围、像素大小等参数通过计算获得，所述全景拼接图像的通道数，可选的，为包含RGB的三通道，或者为包含灰度值的单通道。
[0016]在一个优选地实施方式中，所述超声波点阵映射表为所述多个超声波雷达过去一定时间段内采集的距离测量信息与所述超声波点阵的对应关系，其可以通过所述多个超声波雷达的外参和所述IMU和轮速计在所述过去一定时间内获取的信息通过计算获得，所述超声波点阵的所有像素与步骤A中所述全景拼接图像的所有像素的空间位置一一对应，其通道数为1，该通道的数值为二值化的数据。
[0017]在一个优选地实施方式中，所述感知融合信息序列按照时间顺序进行排序。
[0018]在一个优选地实施方式中，所述目标停车位的数量为1，其内容包括车位类型，车位中心点，车位框和车位朝向等信息，所述车位位置的中心点不需要与划线车位的中心点保持一致，所述停车位识别算法为端对端目标检测神经网络，可选的，所述目标检测神经网络直接输出所述目标停车位，或者所述目标检测神经网络先输出候选停车位集合，再通过后处理生成目标停车位。
[0019]在一个优选地实施方式中，首先使用backbone模块逐帧提取所述感知融合信息的特征张量，从而得到融合空间信息的特征张量序列；再将特征张量序列输入多层双向循环神经网络，提取序列蕴含的时间上下文信息，得到新的序列中最后一帧的特征张量；最后将此特征张量输入已经训练好的特征金字塔网络进行推理。
[0020]在一个优选地实施方式中，其使用的损失函数包含但不限于以下内容：
[0021]S1,基于车位类型的损失函数，用于描述各个车位的车位类型预测结果与车位类型标签的差异。例如，使用softmax交叉熵损失函数；
[0022]S2，基于车位朝向的损失函数，用于描述各个车位的车位朝向预测结果与车位朝向标签值之间的差异。例如，使用加权RMSE损失函数；
[0023]S3，基于车位中心点的损失函数，用于描述各个车位的车位中心点预测结果与车
位中心点标签值之间的欧氏距离差异。例如，使用加权RMSE损失函数；
[0024]S4，基于停车位检测框的损失函数，用于描述各个车位的车位框预测结果与车位框标签值之间的差异。例如，使用smooth L1损失函数的加和。
[0025]在一个优选地实施方式中，其预先使用训练集进行训练，所述训练集通过如下方法进行收集：
[0026]步骤a，根据车辆的广角摄像头的内、外参数生成全景拼接映射表；
[0027]步骤b，根据车辆的超声波传感器的位置参数生成超声波点阵映射表；
[0028]步骤c，根据多个广角摄像头采集的当前帧图像，使用步骤a生成的全景映射表映射得到全景拼接图像；
[0029]步骤d，根据超声波雷达采集的距离测量信息，使用步骤b生成的超声波点阵映射表映射得到超声波点阵；
[0030]步骤e，结合步骤c和步骤d，标记出可以泊车的车位的包围框；
[0031]步骤f，对步骤e中标记的车位包围框，进一步标记车位类型，0表示垂直车位，1表示平行车位，2表示倾斜车位；...
【技术保护点】
【技术特征摘要】
1.一种基于多传感器前融合的自动泊车系统，其特征在于，其包含感知模块、停车位识别模块、路径规划模块、车辆控制模块和通信模块；所述感知模块涉及部署在车身及车辆四周的多个广角摄像头、多个超声波雷达、IMU、轮速计等多种传感器，用于获取车辆行进过程中的周围环境信息和车辆自身状态信息；所述停车位识别模块使用端对端的多传感器前融合的识别方法，获取目标停车位；所述路径规划模块根据所述停车位识别模块获取的目标停车位信息，规划泊车路径；所述车辆控制模块根据所述路径规划模块规划的泊车路径生成控制指令，控制车辆运动，直到车辆正确泊入停车位；所述通信模块负责各个模块内部及各个模块之间的数据传输和交互。2.根据权利要求1所述的停车位识别模块，其特征在于，采用端对端多传感器前融合的识别方法，实现过程包括以下步骤：步骤A，将权利要求1所述感知模块中所述多个广角摄像头采集的当前帧图像，使用全景拼接映射表映射成全景拼接图像；步骤B，将权利要求1所述感知模块中所述多个超声波雷达采集的距离测量信息，使用超声波点阵映射表映射成超声波点阵；步骤C，将步骤A产生的全景拼接图像与步骤B产生的超声波点阵在通道维度进行拼接联合，得到当前帧的感知融合信息，并与过去帧的感知融合信息拼成一个序列，得到感知融合信息序列；步骤D，将步骤C中产生的感知融合信息序列，输入至停车位识别算法中，获取目标停车位。3.根据权利要求2所述的步骤A，其特征在于，所述全景拼接映射表为所述多个广角摄像头的采集图像的像素点与所述全景拼接图像的像素点的对应关系，其可以通过所述多个广角摄像头的内参、外参及所述全景拼接图像的覆盖范围、像素大小等参数通过计算获得，所述全景拼接图像的通道数，可选的，为包含RGB的三通道，或者为包含灰度值的单通道。4.根据权利要求2所述的步骤B，其特征在于，所述超声波点阵映射表为所述多个超声波雷达过去一定时间段内采集的距离测量信息与所述超声波点阵的对应关系，其可以通过所述多个超声波雷达的外参和所述IMU和轮速计在过去一定时间内获取的信息通过计算获得，所述超声波点阵的所有像素与权利要求2所述的步骤A中所述全景拼接图像的所有像素的空间位置一一对应，其通道数为1，该通道的数值为二值化的数据。5.根据权利要求2所述的步骤C，其特征在于，所述感知融合信息序列按照时间顺序进行排序。6.根据权利要求2所述的步骤D，其特征在于，所述目标停车位的数量为1，其内容包括车位类型，车位中心点，车位框和车位朝向等信息，所述车位位置的中心点不需要与划线车位的中心点保持一致；所述停车位识别算法为端对端目标检测神经网络，可选的，所述目标检测神经网络直接输出所述目标停车位，或者所述目标检测神经网络先输出候选停车位集合，再通过后处理生成目...
【专利技术属性】
技术研发人员：毕晓鹏，钟绍宸，施文征，宋乐，吕冰仪，
申请(专利权)人：北京华玉通软科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。