定位方法、装置、电子设备、介质以及自动驾驶设备制造方法及图纸

本公开提供了定位方法、装置、电子设备、存储介质、程序产品以及自动驾驶设备，涉及人工智能技术领域，尤其涉及自动驾驶技术领域、计算机视觉定位技术领域等。具体实现方案为：确定与目标关键帧相对应的目标对象的位置信息，目标关键帧和目标对象的位置信息是在同一时刻采集的；从多个关键帧数据库中确定与位置信息相匹配的多个候选关键帧数据库，每个关键帧数据库包括多个关键帧，每个关键帧与同一时刻采集的目标对象的位姿信息相对应，位姿信息包括位置信息；从多个候选关键帧数据库各自的多个关键帧中确定与目标关键帧相匹配的多个候选关键帧；以及基于目标关键帧和多个候选关键帧，确定目标对象在地图中的定位结果。确定目标对象在地图中的定位结果。确定目标对象在地图中的定位结果。

【技术实现步骤摘要】
定位方法、装置、电子设备、介质以及自动驾驶设备


[0001]本公开涉及人工智能
，尤其涉及自动驾驶
、计算机视觉定位
等。具体涉及一种定位方法、装置、电子设备、存储介质、程序产品以及自动驾驶设备。

技术介绍

[0002]自动驾驶是经济发展、技术进步的重要体现。自动驾驶功能的完成主要包括环境感知、自主决策以及运动控制。环境感知包括对周围障碍物的感知以及在地图中的定位感知。自动驾驶中的环境感知能力的提升，将进一步提高自主决策以及运动控制等能力的提升。

技术实现思路

[0003]本公开提供了一种定位方法、装置、电子设备、存储介质、程序产品以及自动驾驶设备。
[0004]根据本公开的一方面，提供了一种定位方法，包括：确定与目标关键帧相对应的目标对象的位置信息，其中，上述目标关键帧和上述目标对象的位置信息是在同一时刻采集的；从多个关键帧数据库中确定与上述位置信息相匹配的多个候选关键帧数据库，其中，每个上述关键帧数据库包括多个关键帧，每个上述关键帧与同一时刻采集的上述目标对象的位姿信息相对应，上述位姿信息包括位置信息；从上述多个候选关键帧数据库各自的多个关键帧中确定与上述目标关键帧相匹配的多个候选关键帧；以及基于上述目标关键帧和上述多个候选关键帧，确定上述目标对象在地图中的定位结果。
[0005]根据本公开的另一方面，提供了一种定位装置，包括：第一确定模块，用于确定与目标关键帧相对应的目标对象的位置信息，其中，上述目标关键帧和上述目标对象的位置信息是在同一时刻采集的；第二确定模块，用于从多个关键帧数据库中确定与上述位置信息相匹配的多个候选关键帧数据库，其中，每个上述关键帧数据库包括多个关键帧，每个上述关键帧与同一时刻采集的上述目标对象的位姿信息相对应，上述位姿信息包括位置信息；第三确定模块，用于从上述多个候选关键帧数据库各自的多个关键帧中确定与上述目标关键帧相匹配的多个候选关键帧；以及第四确定模块，用于基于上述目标关键帧和上述多个候选关键帧，确定上述目标对象在地图中的定位结果。
[0006]根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与上述至少一个处理器通信连接的存储器；其中，上述存储器存储有可被上述至少一个处理器执行的指令，上述指令被上述至少一个处理器执行，以使上述至少一个处理器能够执行如本公开的方法。
[0007]根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，上述计算机指令用于使上述计算机执行如本公开的方法。
[0008]根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，上述计算
机程序在被处理器执行时实现如本公开的方法。
[0009]根据本公开的另一方法，提供了一种自动驾驶设备，包括如本公开的电子设备。
[0010]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0011]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0012]图1示意性示出了根据本公开实施例的可以应用定位方法及装置的示例性系统架构；
[0013]图2示意性示出了根据本公开实施例的定位方法的流程图；
[0014]图3示意性示出了根据本公开实一施例的确定候选关键帧数据库的示意图；
[0015]图4示意性示出了根据本公开实施例的确定关键帧的示意图；
[0016]图5示意性示出了根据本公开另一实施例的确定候选关键帧数据库的流程图；
[0017]图6示意性示出了根据本公开实施例的确定目标对象的位姿信息的流程图；
[0018]图7示意性示出了根据本公开实施例的定位装置的框图；以及
[0019]图8示意性示出了根据本公开实施例的适于实现定位方法的电子设备的框图。
具体实施方式
[0020]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0021]本公开提供了一种定位方法、装置、电子设备、存储介质、程序产品以及自动驾驶设备。
[0022]根据本公开的实施例，提供了一种定位方法，包括：确定与目标关键帧相对应的目标对象的位置信息，目标关键帧和目标对象的位置信息是在同一时刻采集的；从多个关键帧数据库中确定与位置信息相匹配的多个候选关键帧数据库，每个关键帧数据库包括多个关键帧，每个关键帧与同一时刻采集的目标对象的位姿信息相对应，位姿信息包括位置信息；从多个候选关键帧数据库各自的多个关键帧中确定与目标关键帧相匹配的多个候选关键帧；以及基于目标关键帧和多个候选关键帧，确定目标对象在地图中的定位结果。
[0023]在本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供、公开和应用等处理，均符合相关法律法规的规定，采取了必要保密措施，且不违背公序良俗。
[0024]在本公开的技术方案中，在获取或采集用户个人信息之前，均获取了用户的授权或同意。
[0025]图1示意性示出了根据本公开实施例的可以应用定位方法及装置的示例性系统架构。
[0026]需要注意的是，图1所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的
技术实现思路
，但并不意味着本公开实施例不可以用于其他设备、
系统、环境或场景。例如，在另一实施例中，可以应用定位方法及装置的示例性系统架构可以包括自动驾驶设备，但自动驾驶设备可以无需与服务器进行交互，即可实现本公开实施例提供的定位方法及装置。
[0027]如图1所示，根据该实施例的系统架构100可以包括自动驾驶设备101，网络102和服务器103。网络102用以在自动驾驶设备101和服务器103之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线和/或无线通信链路等等。
[0028]自动驾驶设备101可以包括机器人、自动驾驶车辆或者其他可以自动移动、定位的设备。自动驾驶设备101上可以装载有各种数据采集设备，例如全球定位系统(Global Positioning System，GPS)、惯性测量单元、信息采集装置、激光传感器、距离传感器、里程计、加速度计和陀螺仪等。
[0029]服务器103可以是提供各种服务的服务器，例如对自动驾驶设备101提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的目标关键帧进行分析等处理，并将定位结果反馈给自动驾驶设备101。
[0030]需要说明的是，本公开实施例所提供的定位方法一般可以由自动驾驶设备101执行。相应地，本公开实施例所提供的定位装置也可以设置于自动驾驶设备101中。
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种定位方法，包括：确定与目标关键帧相对应的目标对象的位置信息，其中，所述目标关键帧和所述目标对象的位置信息是在同一时刻采集的；从多个关键帧数据库中确定与所述位置信息相匹配的多个候选关键帧数据库，其中，每个所述关键帧数据库包括多个关键帧，每个所述关键帧与同一时刻采集的所述目标对象的位姿信息相对应，所述位姿信息包括位置信息；从所述多个候选关键帧数据库各自的多个关键帧中确定与所述目标关键帧相匹配的多个候选关键帧；以及基于所述目标关键帧和所述多个候选关键帧，确定所述目标对象在地图中的定位结果。2.根据权利要求1所述的方法，还包括：确定关键帧和与所述关键帧相对应的所述目标对象的位姿信息；将所述关键帧和所述位姿信息添加至关键帧集合中；以及在确定所述关键帧集合中的关键帧数量满足预定数量阈值的情况下，基于所述关键帧集合，生成所述关键帧数据库。3.根据权利要求2所述的方法，其中，所述从多个关键帧数据库中确定与所述位置信息相匹配的多个候选关键帧数据库，包括：基于关键帧数据库与位置信息之间的映射关系和所述位置信息，从所述多个关键帧数据库中确定与所述位置信息相匹配的多个候选关键帧数据库，其中，所述关键帧数据库与位置信息之间的映射关系是基于与关键帧数据库中的多个关键帧各自相对应的所述目标对象的位姿信息生成的。4.根据权利要求1所述的方法，其中，所述从所述多个候选关键帧数据库各自的多个关键帧中确定与所述目标关键帧相匹配的多个候选关键帧，包括：针对每个所述候选关键帧数据库，确定所述候选关键帧数据库的多个关键帧各自与所述目标关键帧之间的匹配度，得到匹配度列表；以及基于多个所述匹配度列表，从所述多个候选关键帧数据库中确定与所述目标关键帧相匹配的所述多个候选关键帧。5.根据权利要求4所述的方法，其中，所述基于多个所述匹配度列表，从所述多个候选关键帧数据库中确定与所述目标关键帧相匹配的所述多个候选关键帧，包括：针对每个所述候选关键帧数据库，基于与所述候选关键帧数据库相匹配的所述匹配度列表，从所述候选关键帧数据库中确定预定数量的候选关键帧；以及基于每个所述候选关键帧数据库中的所述预定数量的候选关键帧，确定所述多个候选关键帧。6.根据权利要求5所述的方法，其中，所述基于与所述候选关键帧数据库相匹配的所述匹配度列表，从所述候选关键帧数据库中确定预定数量的候选关键帧，包括：在确定与所述候选关键帧数据库相匹配的所述匹配度列表为预定类型的匹配度列表的情况下，基于所述匹配度列表，从所述候选关键帧数据库中确定所述预定数量的候选关键帧。7.根据权利要求6所述的方法，其中，所述基于与所述候选关键帧数据库相匹配的所述
匹配度列表，从所述候选关键帧数据库中确定预定数量的候选关键帧，还包括：确定所述匹配度列表中的多个匹配度彼此之间的差值，得到多个差值；以及在确定所述多个差值均小于或者等于预定差值阈值的情况下，将所述匹配度列表确定为所述预定类型的匹配度列表。8.根据权利要求4所述的方法，其中，所述基于所述目标关键帧和所述多个候选关键帧，确定所述目标对象在地图中的定位结果，包括：针对每个所述候选关键帧，从所述地图中确定与所述候选关键帧相匹配的待匹配三维点云，得到与所述多个候选关键帧一一对应的多个待匹配三维点云；以及基于所述目标关键帧和所述多个待匹配三维点云，确定所述目标对象在所述地图中的位姿信息，将所述位姿信息作为所述定位结果。9.根据权利要求8所述的方法，其中，所述基于所述目标关键帧和所述多个待匹配三维点云，确定所述目标对象在所述地图中的位姿信息，包括：针对每个所述待匹配三维点云，确定所述目标关键帧与所述待匹配三维点云之间的匹配结果；基于所述匹配结果，确定与所述待匹配三维点云相对应的内点数量；基于多个所述内点数量和多个所述匹配度，从多个所述匹配结果中确定目标匹配结果，其中，所述匹配度为与所述待匹配三维点云相对应的候选关键帧与所述目标关键帧之间的匹配度；以及.基于所述目标匹配结果，确定所述位姿信息。10.根据权利要求9所述的方法，其中，所述基于多个所述内点数量和多个所述匹配度，从多个所述匹配结果中确定目标匹配结果，包括：基于多个所述内点数量，从多个所述匹配结果中确定初始目标匹配结果；在确定与所述初始目标匹配结果相对应的所述内点数量和所述匹配度均符合预定匹配条件的情况下，将所述初始目标匹配结果作为所述目标匹配结果。11.根据权利要求8所述的方法，其中，所述基于所述目标关键帧和所述多个待匹配三维点云，确定所述目标对象在所述地图中的位姿信息，包括：重复执行下述操作，直至内点数量和所述匹配度均符合预定匹配条件：针对每个所述待匹配三维点云，确定所述目标关键帧与所述待匹配三维点云之间的匹配结果；基于所述匹配结果，确定与所述待匹配三维点云相对应的所述内点数量；基于多个所述内点数量和多个所述匹配度，从多个所述匹配结果中确定初始目标匹配结果，其中，所述匹配度为与所述待匹配三维点云相对应的候选关键帧与所述目标关键帧之间的匹配度；以及在确定与所述初始目标匹配结果相对应的所述内点数量和所述匹配度存在至少一个不符合所述预定匹配条件的情况下，针对每个所述候选关键帧，从所述地图中确定与所述候选关键帧相匹配的更新后待匹配三维点云，得到与所述多个候选关键帧一一对应的多个更新后待匹配三维点云，其中，所述更新后待匹配三维点云的数据范围大于所述待匹配三维点云的数据范围；以及基于所述目标匹配结果，确定所述位姿信息。
12.根据权利要求10或11所述的方法，其中，所述基于所述目标关键帧和所述多个待匹配三维点云，确定所述目标对象在所述地图中的位姿信息，还包括：在确定所述待匹配三维点云的匹配度为所述多个匹配度中匹配度最大的情况下，确定所述匹配度符合所述预定匹配条件；以及在确定所述待匹配三维点云的内点数量为所述多个内点数量中数量最大的情况下，确定所述内点数量符合所述预定匹配条件。13.根据权利要求2所述的方法，其中，所述确定关键帧，包括：获取待确认关键帧；以及在确定所述待确认关键帧符合预定关键帧条件的情况下，将所述待确认关键帧作为所述关键帧。14.根据权利要求1所述的方法，还包括：获取初始目标关键帧；以及在确定所述初始目标关键帧符合预定关键帧条件的情况下，将所述初始目标关键帧作为所述目标关键帧。15.根据权利要求13或14所述的方法，其中，所述预定关键帧条件包括以下至少一项：图像质量条件、三角化匹配点数量条件、距离差值条件、角度差值条件。16.根据权利要求13所述的方法，其中，所述在确定所述待确认关键帧符合预定关键帧条件的情况下，将所述待确认关键帧作为所述关键帧，包括：在确定所述待确认关键帧的图像质量符合所述图像质量条件的情况下，确定所述待确认关键帧的三角化数据；在确定所述待确认关键帧的三角化数据与上一时刻关键帧的三角化数据之间的三角化匹配点数量符合所述三角化匹配点数量条件的情况下，确定与所述待确认关键帧相对应的目标对象的位置信息和角度信息；以及在确定与所述待确认关键帧相对应的所述目标对象的位置信息和与所述上一时刻关键帧相对应的所述目标对象的位置信息之间的距离差值符合所述预定距离差值条件，且与所述待确认关键帧相对应的所述目标对象的角度信息和与所述上一时刻关键帧相对应的所述目标对象的角度信息之间的角度差值符合所述角度差值条件的情况下，将所述待确认关键帧作为所述关键帧。17.一种定位装置，包括：第一确定模块，用于确定与目标关键帧相对应的目标对象的位置信息，其中，所述目标关键帧和所述目标对象的位置信息是在同一时刻采集的；第二确定模块，用于从多个关键帧数据库中确定与所述位置信息相匹配的多个候选关键帧数据库，其中，每个所述关...

【专利技术属性】
技术研发人员：吴家征，
申请(专利权)人：阿波罗智联北京科技有限公司，
类型：发明
国别省市：