一种定位与建图方法、装置及电子设备制造方法及图纸

本发明专利技术公开了一种定位与建图方法、装置及电子设备，包括：获取拼接得到的车辆周围环境图像；对车辆周围环境图像进行语义分割并将车辆周围环境图像投影到车辆所在位置对应的俯视视角的相机坐标系下，确定车辆周围环境图像中每一个像素在俯视视角的相机坐标系的点云数据；获取惯性传感器数据；根据惯性传感器数据和每一个像素在俯视视角的相机坐标系的点云数据确定车辆周围环境图像中每一个像素在世界坐标系下的点云数据；根据语义分割结果将相机坐标系下的点云数据和世界坐标系下的点云数据进行分块匹配得到多组匹配数据；确定多组匹配数据的形变；将形变大于预设形变阈值的匹配数据进行非刚性匹配。匹配数据进行非刚性匹配。匹配数据进行非刚性匹配。

【技术实现步骤摘要】
一种定位与建图方法、装置及电子设备


[0001]本专利技术涉及大数据分析
，具体涉及一种定位与建图方法、装置及电子设备。

技术介绍

[0002]360环视系统已日渐成为汽车上的标配，配置在车身周围的多个鱼眼摄像头经过拼接后形成一张反应车身周围环境的大图，对该图进行语义分割(在像素级别分割出车道线，路障，停车位线等)，结合IMU等传感器的数据信息，可对停车场环境进行建图并实时获取车辆位置。但由于量产车对鱼眼摄像头标定不准确，摄像头位置发生松动等问题，导致拼接的俯视图像会发生错位、形变，无法真实的反应环境中的信息。
[0003]360环视中的拼接错位和变形是不可避免的，这一方面是由安装组配时带来的误差，一方面受限于图像畸变矫正和透视变换带来的变形误差。如果直接将这些错位变形的语义信息融入到地图中，会降低地图的精度和质量，在大场景和长时间运行中会造成无法挽回的错误。

技术实现思路

[0004]因此，本专利技术要解决的技术问题在于克服现有360环视中拼接错位和变形的缺陷，从而提供一种定位与建图方法、装置及电子设备。
...

【技术保护点】

【技术特征摘要】
1.一种定位与建图方法，其特征在于，包括：获取拼接得到的车辆周围环境图像；对所述车辆周围环境图像进行语义分割并将所述车辆周围环境图像投影到车辆所在位置对应的俯视视角的相机坐标系下，确定所述车辆周围环境图像中每一个像素在所述俯视视角的相机坐标系的点云数据；获取惯性传感器数据；根据所述惯性传感器数据和所述每一个像素在所述俯视视角的相机坐标系的点云数据确定车辆周围环境图像中每一个像素在世界坐标系下的点云数据；根据所述语义分割结果将所述相机坐标系下的点云数据和所述世界坐标系下的点云数据进行分块匹配得到多组匹配数据；确定所述多组匹配数据的形变；将形变大于预设形变阈值的所述匹配数据进行非刚性匹配。2.根据权利要求1所述的方法，其特征在于，所述车辆上配置有多个用于采集车辆周围环境的摄像头；获取拼接得到的车辆周围环境图像，包括：获取多个目标摄像头数据；对多个目标摄像头数据进行环视拼接得到车辆周围环境图像。3.根据权利要求1所述的方法，其特征在于，所述对所述车辆周围环境图像进行语义分割并将所述车辆周围环境图像投影到车辆所在位置对应的俯视视角的相机坐标系下，确定所述车辆周围环境图像中每一个像素在所述俯视视角的相机坐标系的点云数据，包括：确定所述车辆周围环境图像的每一个像素的位置信息；根据所述每一个像素的位置信息确定所述车辆周围环境图像中每一个像素在所述俯视视角的相机坐标系下的点云数据。4.根据权利要求2所述的方法，其特征在于，所述根据所述惯性传感器数据和所述每一个像素在所述俯视视角的相机坐标系的点云数据确定车辆周围环境图像中每一个像素在世界坐标系下的点云数据，包括：根据惯性传感器数据获取所述多个目标摄像头数据相邻帧之间的位姿变化数据；获取所述相机坐标系对应的摄像机模型与所述惯性传感器的位置关系数据；根据所述每一个像素的位置信息、所述多个目标摄像头数据相邻帧之间的位姿变化数据和所述摄像机模型与所述惯性传感器的位置关系数据得到车辆周围环境图像中每一个像素在所述世界坐标系下的点云数据。5.根据权利要求1所述的方法，其特征在于，将形变大于预设形变阈值的所述匹配数据进行非刚性匹配，包括通过下式进行非刚性匹配：其中，E表示能量函数，Ω表示点的集合，u表示像素点在所述车辆周围环境图像上的光流水平方向上的速度分量，v表示像素点在所述车辆周围...

【专利技术属性】
技术研发人员：刘震，
申请(专利权)人：镁佳北京科技有限公司，
类型：发明
国别省市：