定位建图方法、装置、电子设备及可读存储介质制造方法及图纸

本发明专利技术公开一种定位建图方法、装置、电子设备及可读存储介质，涉及计算机视觉应用技术领域。方法包括：通过车载图像采集器获取当前车辆的实时环境图像；对实时环境图像进行图像预处理，获取相应的实时图像帧；若图像帧符合关键帧条件，将实时图像帧标记为关键帧图像；根据实时图像帧计算实时图像特征点；若实时图像特征点与相邻关键帧图像的特征点不匹配，则根据实时图像特征点生成实时路标；获取当前地图信息，并根据实时路标消除当前地图信息中的定位误差，生成实时地图信息。通过实施上述定位建图方法，使车端执行时效性高、计算量低的任务，云端执行时效性低且计算密集的任务，通过域控制器，将云端运行结果回传车端进行更新验证。验证。验证。

【技术实现步骤摘要】
定位建图方法、装置、电子设备及可读存储介质


[0001]本专利技术涉及计算机视觉应用
，特别涉及一种定位建图方法、装置、电子设备及可读存储介质。

技术介绍

[0002]VSLAM(Visual Simultaneous Localization And Mapping)是一种基于视觉的同步定位与地图构建技术，用于解决载具运行于未知环境时的定位导航与地图构建问题，是车辆定位与导航领域中的关键技术，广泛应用于自动泊车、辅助驾驶等智能服务功能。
[0003]对于当前的VSLAM方案，专利技术人发现：由于汽车的自身算力、网络带宽、存储容量等条件的限制，难以在车端稳定运行；在网络条件较差的环境下，车端运算结果难以及时上传云端，车云协同数据链路的可靠性难以有效保障；此外，车载VSLAM方案往往需要配合机器学习采购定制摄像头及专用芯片，以保障VSLAM方案高效、稳定运行，而上述方式对于硬件指标要求高，且成本高昂。因此，亟需一种定位建图方法、装置、电子设备及可读存储介质，解决因车端资源受限而难以运行VSLAM技术的问题。并且，进一步减轻车端资源压力，保障车云协同数据链路的稳定性和可靠性。

技术实现思路

[0004]为了解决现有技术中，VSLAM方案受限于汽车自身算力、网络带宽、存储容量等条件，难以在车端稳定运行；在网络条件较差的环境下，车端运算结果难以及时上传云端，车云协同数据链路的可靠性难以有效保障等问题，本专利技术实施例提供一种定位建图方法、装置、电子设备及可读存储介质，解决因车端资源受限而难以运行VSLAM技术的问题。并且，进一步减轻车端资源压力，保障车云协同数据链路的稳定性和可靠性。
[0005]为了解决上述的一个或多个技术问题，本专利技术采用的技术方案如下：
[0006]第一方面，提供一种定位建图方法，该方法应用于车端，包括：
[0007]通过车载图像采集器获取当前车辆的实时环境图像；
[0008]对实时环境图像进行图像预处理，获取相应的实时图像帧；
[0009]响应于实时图像帧符合关键帧条件，将实时图像帧标记为关键帧图像；
[0010]根据实时图像帧计算实时图像特征点，并检测实时图像特征点是否与相邻关键帧的图像特征点相匹配；
[0011]响应于实时图像特征点与相邻关键帧图像的特征点不匹配，则根据实时图像特征点生成实时路标；
[0012]从数据协调模块获取当前地图信息，并根据实时路标消除当前地图信息中的定位误差，生成实时地图信息。
[0013]进一步地，对实时环境图像进行图像预处理，获取相应的实时图像帧包括：
[0014]获取车载图像采集器图像采集设备的相机参数；
[0015]使用OpenCV，根据相机参数，将实时图像帧转化为当前灰度图；
[0016]对实时灰度图进行像素灰度归一化处理；
[0017]对灰度归一化后的实时灰度图进行光度模型标定，并根据光度模型标定结果进行相应处理。
[0018]进一步地，根据光度模型标定结果进行相应处理包括：
[0019]响应于光度模型标定结果为不成功，则再次对实时环境图像进行图像预处理；
[0020]响应于光度模型标定结果为成功，则将实时灰度图的光度模型标定结果作为实时图像帧。
[0021]进一步地，方法还包括：
[0022]从图像帧队列中选取历史图像帧，将实时图像帧与历史图像帧进行比对，检测实时图像帧是否符合关键帧条件，其中历史图像帧队列包括已生成的关键帧图像。
[0023]进一步地，将实时图像帧与历史图像帧进行比对，检测实时图像帧是否符合关键帧条件，包括：
[0024]基于历史图像帧对实时图像帧进行位姿估计，判断实时图像帧是否相对于历史图像帧引入新信息；其中，新信息包括车辆位姿变化；
[0025]响应于实时图像帧相对于历史图像帧引入新信息，则检测实时图像帧是否需要边缘化；
[0026]响应于实时图像帧不需要边缘化，则对实时图像帧进行残差计算实时关键点；
[0027]根据实时关键点判断实时图像帧是否符合关键帧条件。
[0028]进一步地，根据实时图像特征点生成实时路标，包括：
[0029]对实时图像特征点采用最小二乘法求解实时路标；
[0030]对实时路标进行BA优化。
[0031]进一步地，获取当前地图信息，并根据实时路标消除当前地图信息中的定位误差，生成实时地图信息，包括：
[0032]从数据协同模块获取当前地图信息；其中，当前地图信息包括当前路标；
[0033]检测当前路标与实时路标偏差是否在预设范围内；
[0034]响应于当前路标与实时路标偏差在预设范围内，则检测当前地图信息中是否存在回环；
[0035]响应于当前地图信息中存在回环，则以实时路标更新当前路标，并将实时路标更新后的当前地图信息作为实时地图信息，将当前地图信息作为历史地图信息。
[0036]进一步地，上述定位建图方法还包括：
[0037]当符合信息发送条件时，将图像帧队列中的关键帧图像发送至数据协同模块。
[0038]第二方面，提供一种定位建图方法，该方法应用于数据协同模块，其中，数据协同模块包括车端子模块、云端子模块，方法包括：
[0039]车端子模块获取车端发送的关键帧图像，并将关键帧图像发送至云端子模块；
[0040]云端子模块将实时地图信息发送至云端，以供云端进行数据处理；
[0041]云端子模块获取云端发送的当前地图信息，并将当前地图信息发送至车端子模块；
[0042]车端子模块将当前地图信息发送至车端，以供车端进行数据处理。
[0043]进一步地，将实时地图信息发送至云端子模块，包括：
[0044]从图像帧队列顶部依次获取预设数量个关键帧图像，并压缩为关键帧压缩包；其中，被标记为关键帧的实时图像帧位于图像帧队列顶部；
[0045]将关键帧压缩包，以及相应的时间戳发送至云端子模块；
[0046]接收云端子模块的响应返回值，并根据响应返回值，执行对应操作；其中，响应返回值表示云端子模块对于关键帧压缩包的接收情况。
[0047]进一步地，预设数量表示为：
[0048][0049]其中，S表示预设数量，b表示实时带宽大小，v表示实时车速，offset表示步长偏差值。
[0050]进一步地，根据响应返回值，执行对应操作，包括：
[0051]若响应返回值为第一预设值，则删除车端子模块中的关键帧压缩包；
[0052]若响应返回值为第二预设值，则重新向云端子模块发送关键帧压缩包，以及相应的时间戳。
[0053]第三方面，提供一种定位建图方法，该方法应用于云端，包括：
[0054]从数据协同模块获取关键帧压缩包，并根据关键帧压缩包中的关键帧图像进行回环检测；
[0055]对回环检测后的关键帧图像进行后端优化，生成当前地图信息；
[0056]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种定位建图方法，其特征在于，所述方法应用于车端，包括：通过车载图像采集器获取当前车辆的实时环境图像；对实时环境图像进行图像预处理，获取相应的实时图像帧；响应于所述实时图像帧符合关键帧条件，将所述实时图像帧标记为关键帧图像；根据所述实时图像帧计算实时图像特征点，并检测所述实时图像特征点是否与相邻关键帧的图像特征点相匹配；响应于所述实时图像特征点与相邻关键帧图像的特征点不匹配，则根据所述实时图像特征点生成实时路标；从数据协调模块获取当前地图信息，并根据所述实时路标消除所述当前地图信息中的定位误差，生成实时地图信息。2.根据权利要求1所述的一种定位建图方法，其特征在于，所述对实时环境图像进行图像预处理，获取相应的实时图像帧包括：获取车载图像采集器图像采集设备的相机参数；使用OpenCV，根据所述相机参数，将所述实时图像帧转化为当前灰度图；对所述实时灰度图进行像素灰度归一化处理；对灰度归一化后的实时灰度图进行光度模型标定，并根据所述光度模型标定结果进行相应处理。3.根据权利要求2所述的一种定位建图方法，其特征在于，所述根据所述光度模型标定结果进行相应处理包括：响应于所述光度模型标定结果为不成功，则再次对所述实时环境图像进行图像预处理；响应于所述光度模型标定结果为成功，则将所述实时灰度图的光度模型标定结果作为实时图像帧。4.根据权利要求1所述的一种定位建图方法，其特征在于，所述方法还包括：从图像帧队列中选取历史图像帧，将所述实时图像帧与所述历史图像帧进行比对，检测所述实时图像帧是否符合所述关键帧条件，其中所述历史图像帧队列包括已生成的关键帧图像。5.根据权利要求4所述的一种定位建图方法，其特征在于，所述将所述实时图像帧与所述历史图像帧进行比对，检测所述实时图像帧是否符合关键帧条件，包括：基于所述历史图像帧对所述实时图像帧进行位姿估计，判断所述实时图像帧是否相对于所述历史图像帧引入新信息；其中，所述新信息包括车辆位姿变化；响应于所述实时图像帧相对于所述历史图像帧引入新信息，则检测所述实时图像帧是否需要边缘化；响应于所述实时图像帧不需要边缘化，则对所述实时图像帧进行残差计算实时关键点；根据所述实时关键点判断所述实时图像帧是否符合所述关键帧条件。6.根据权利要求1所述的一种定位建图方法，其特征在于，所述根据所述实时图像特征点生成实时路标，包括：对所述实时图像特征点采用最小二乘法求解实时路标；
对所述实时路标进行BA优化。7.根据权利要求1所述的一种定位建图方法，其特征在于，所述获取当前地图信息，并根据所述实时路标消除所述当前地图信息中的定位误差，生成实时地图信息，包括：从所述数据协同模块获取所述当前地图信息；其中，所述当前地图信息包括当前路标；检测所述当前路标与所述实时路标偏差是否在预设范围内；响应于所述当前路标与所述实时路标偏差在预设范围内，则检测所述当前地图信息中是否存在回环；响应于所述当前地图信息中存在回环，则以所述实时路标更新所述当前路标，并将所述实时路标更新后的当前地图信息作为实时地图信息，将当前地图信息作为历史地图信息。8.根据权利要求1所述的一种定位建图方法，其特征在于，所述方法还包括：当符合信息发送条件时，将所述图像帧队列中的关键帧图像发送至数据协同模块。9.一种定位建图方法，其特征在于，所述方法应用于数据协同模块，其中，所述数据协同模块包括车端子模块、云端子模块，所述方法包括：所述车端子模块获取车端发送的关键帧图像，并将所述关键帧图像发送至所述云端子模块；所述云端子模块将所述关键帧图像发送至云端，以供云端进行数据处理；所述云端子模块接收云端发送的当前地图信息，并将所述当前地图信息发送至所述车端子模块；所述车端子模块将所述当前地图信息发送至车端，以供车端进行数据处理。10.根据权利要求9所述的一种定位建图方法，其特征在于，所述将所述关键帧图像发送至所述云端子模块，包括：从图像帧队列顶部依次获取预设数量个关键帧图像，并压缩为关键帧压缩包；其中，被标记为关键帧的实时图像帧位于所...

【专利技术属性】
技术研发人员：李梓豪，
申请(专利权)人：华人运通山东科技有限公司，
类型：发明
国别省市：