用于确定视觉设备的位姿的方法和装置制造方法及图纸

本公开涉及人工智能领域。本公开的实施例公开了用于确定视觉设备的位姿的方法和装置。该方法包括：获取视觉设备采集的图像作为位姿查询图像，检索出与位姿查询图像匹配的点云子图；基于位姿查询图像与点云子图的匹配特征点进行相对位姿估计，得到至少一个候选位姿信息；从位姿查询图像中提取出二维线段，从三维点云地图中提取出对应的三维线段；基于各候选位姿信息将与二维线段对应的三维线段投影至二维平面分别得到各候选位姿信息对应的二维投影直线，针对各候选位姿信息，确定二维线段与对应的二维投影直线之间的第一偏差；基于各候选位姿信息对应的第一偏差，从候选位姿信息中确定出视觉设备的位姿信息。该方法提升了视觉定位的准确性。

Methods and devices for determining the position and orientation of visual equipment

【技术实现步骤摘要】
用于确定视觉设备的位姿的方法和装置
本公开的实施例涉及人工智能领域，具体涉及视觉定位
，尤其涉及用于确定视觉设备的位姿的方法和装置。
技术介绍
视觉定位技术，是基于场景的三维点云计算采集图像的视觉设备在该点云中的位置和方向的技术。视觉定位技术能够提供准确的位置服务，是无人驾驶、室内外导航、增强现实等人工智能场景中的关键技术。视觉定位技术一般是基于离线点云地图与二维图像的特征点匹配来估算图像采集设备的位姿。为了满足系统的实时性要求，通常提取部分特征点来进行匹配，这种方式获得的位姿信息在一些复杂场景下往往可能是错误的，如果这时候系统感知不到，则对系统的决策行为将会造成严重的影响。
技术实现思路
本公开的实施例提出了用于确定视觉设备的位姿的方法和装置、电子设备和计算机可读介质。第一方面，本公开的实施例提供了一种用于确定视觉设备的位姿的方法，包括：获取视觉设备采集的图像作为位姿查询图像，从预先构建的三维点云地图中检索出与位姿查询图像匹配的点云子图；基于位姿查询图像与点云子图的匹配特征点进行相对位姿估计，得到至少一个候选位姿信息；从位姿查询图像中提取出二维线段，并从三维点云地图中提取出二维线段对应的三维线段，其中，三维点云地图包括对应场景中的三维线段的位置信息；基于各候选位姿信息以及三维线段的位置信息将与二维线段对应的三维线段投影至二维平面分别得到各候选位姿信息对应的二维投影直线，并针对各候选位姿信息，分别确定二维线段与对应的二维投影直线之间的第一偏差；基于各候选位姿信息对应的第一偏差，从至少一个候选位姿信息中确定出视觉设备的位姿信息。在一些实施例中，上述三维点云地图按照如下方式构建：对预设场景的三维点云进行直线检测，确定预设场景的三维点云中的三维线段的位置信息。在一些实施例中，上述从三维点云地图中提取出二维线段对应的三维线段，包括：从与位姿查询图像匹配的点云子图中提取出至少一个三维线段，基于二维线段与提取出的至少一个三维线段进行匹配，根据匹配结果确定与二维线段对应的三维线段。在一些实施例中，上述预先构建的三维点云地图还包括对应场景中的对象的三维位置信息；以及上述方法还包括：响应于在位姿查询图像中检测到的二维线段不满足预设的条件，对位姿查询图像进行对象检测，得到位姿查询图像中的目标对象的二维位置信息；根据预先构建的三维点云地图，确定目标对象的三维位置信息；基于各候选位姿信息将目标对象的三维位置信息投影至二维平面分别得到各候选位姿信息对应的目标对象的二维投影位置信息，并针对各候选位姿信息，分别确定目标对象的二维投影位置信息与目标对象的二维位置信息之间的第二偏差；基于各候选位姿信息对应的第二偏差，从至少一个候选位姿信息中确定出视觉设备的位姿信息。在一些实施例中，上述三维点云地图按照如下方式构建：对预设场景的点云地图进行对象检测，确定检测出的对象的三维边界位置信息作为检测出的对象的三维位置信息。在一些实施例中，上述对象的三维边界位置信息包括对象的最小外接椭球的边界位置信息，或者对象的最大内切椭球的边界位置信息。第二方面，本公开的实施例提供了一种用于确定视觉设备的位姿的装置，包括：检索单元，被配置为获取视觉设备采集的图像作为位姿查询图像，从预先构建的三维点云地图中检索出与位姿查询图像匹配的点云子图；估计单元，被配置为基于位姿查询图像与点云子图的匹配特征点进行相对位姿估计，得到至少一个候选位姿信息；提取单元，被配置为从位姿查询图像中提取出二维线段，并从三维点云地图中提取出二维线段对应的三维线段，其中，三维点云地图包括对应场景中的三维线段的位置信息；第一投影单元，被配置为基于各候选位姿信息以及三维线段的位置信息将与二维线段对应的三维线段投影至二维平面分别得到各候选位姿信息对应的二维投影直线，并针对各候选位姿信息，分别确定二维线段与对应的二维投影直线之间的第一偏差；第一确定单元，被配置为基于各候选位姿信息对应的第一偏差，从至少一个候选位姿信息中确定出视觉设备的位姿信息。在一些实施例中，上述三维点云地图按照如下方式构建：对预设场景的三维点云进行直线检测，确定预设场景的三维点云中的三维线段的位置信息。在一些实施例中，上述提取单元，被配置为按照如下方式从三维点云地图中提取出二维线段对应的三维线段：从与位姿查询图像匹配的点云子图中提取出至少一个三维线段，基于二维线段与提取出的至少一个三维线段进行匹配，根据匹配结果确定与二维线段对应的三维线段。在一些实施例中，上述预先构建的三维点云地图还包括对应场景中的对象的三维位置信息；以及上述装置还包括：检测单元，被配置为响应于在位姿查询图像中检测到的二维线段不满足预设的条件，对位姿查询图像进行对象检测，得到位姿查询图像中的目标对象的二维位置信息；匹配单元，被配置为根据预先构建的三维点云地图，确定目标对象的三维位置信息；第二投影单元，被配置为基于各候选位姿信息将目标对象的三维位置信息投影至二维平面分别得到各候选位姿信息对应的目标对象的二维投影位置信息，并针对各候选位姿信息，分别确定目标对象的二维投影位置信息与目标对象的二维位置信息之间的第二偏差；第二确定单元，被配置为基于各候选位姿信息对应的第二偏差，从至少一个候选位姿信息中确定出视觉设备的位姿信息。在一些实施例中，上述三维点云地图按照如下方式构建：对预设场景的点云地图进行对象检测，确定检测出的对象的三维边界位置信息作为检测出的对象的三维位置信息。在一些实施例中，上述对象的三维边界位置信息包括对象的最小外接椭球的边界位置信息，或者对象的最大内切椭球的边界位置信息。第三方面，本公开的实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如第一方面提供的用于确定视觉设备的位姿的方法。第四方面，本公开的实施例提供了一种计算机可读介质，其上存储有计算机程序，其中，程序被处理器执行时实现第一方面提供的用于确定视觉设备的位姿的方法。本公开的上述实施例的用于确定视觉设备的位姿的方法和装置，通过获取视觉设备采集的图像作为位姿查询图像，从预先构建的三维点云地图中检索出与位姿查询图像匹配的点云子图，而后基于位姿查询图像与点云子图的匹配特征点进行相对位姿估计，得到至少一个候选位姿信息，然后从位姿查询图像中提取出二维线段，并从三维点云地图中提取出二维线段对应的三维线段，其中，三维点云地图包括对应场景中的三维线段的位置信息，之后基于各候选位姿信息以及三维线段的位置信息将与二维线段对应的三维线段投影至二维平面分别得到各候选位姿信息对应的二维投影直线，并针对各候选位姿信息，分别确定二维线段与对应的二维投影直线之间的第一偏差，最后基于各候选位姿信息对应的第一偏差，从至少一个候选位姿信息中确定出视觉设备的位姿信息，实现了快速、准确的视觉定位。附图说明通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本公开的其它特征、目的和优点将会变得更明显：图1本文档来自技高网...

【技术保护点】
1.一种用于确定视觉设备的位姿的方法，包括：/n获取视觉设备采集的图像作为位姿查询图像，从预先构建的三维点云地图中检索出与所述位姿查询图像匹配的点云子图；/n基于所述位姿查询图像与所述点云子图的匹配特征点进行相对位姿估计，得到至少一个候选位姿信息；/n从所述位姿查询图像中提取出二维线段，并从所述三维点云地图中提取出所述二维线段对应的三维线段，其中，所述三维点云地图包括对应场景中的三维线段的位置信息；/n基于各所述候选位姿信息以及所述三维线段的位置信息将与所述二维线段对应的三维线段投影至二维平面分别得到各所述候选位姿信息对应的二维投影直线，并针对各所述候选位姿信息，分别确定所述二维线段与对应的二维投影直线之间的第一偏差；/n基于各所述候选位姿信息对应的所述第一偏差，从至少一个所述候选位姿信息中确定出所述视觉设备的位姿信息。/n

【技术特征摘要】
1.一种用于确定视觉设备的位姿的方法，包括：
获取视觉设备采集的图像作为位姿查询图像，从预先构建的三维点云地图中检索出与所述位姿查询图像匹配的点云子图；
基于所述位姿查询图像与所述点云子图的匹配特征点进行相对位姿估计，得到至少一个候选位姿信息；
从所述位姿查询图像中提取出二维线段，并从所述三维点云地图中提取出所述二维线段对应的三维线段，其中，所述三维点云地图包括对应场景中的三维线段的位置信息；
基于各所述候选位姿信息以及所述三维线段的位置信息将与所述二维线段对应的三维线段投影至二维平面分别得到各所述候选位姿信息对应的二维投影直线，并针对各所述候选位姿信息，分别确定所述二维线段与对应的二维投影直线之间的第一偏差；
基于各所述候选位姿信息对应的所述第一偏差，从至少一个所述候选位姿信息中确定出所述视觉设备的位姿信息。


2.根据权利要求1所述的方法，其中，所述三维点云地图按照如下方式构建：
对预设场景的三维点云进行直线检测，确定所述预设场景的三维点云中的三维线段的位置信息。


3.根据权利要求1所述的方法，其中，所述从所述三维点云地图中提取出所述二维线段对应的三维线段，包括：
从所述与所述位姿查询图像匹配的点云子图中提取出至少一个三维线段，基于所述二维线段与提取出的至少一个三维线段进行匹配，根据匹配结果确定与所述二维线段对应的三维线段。


4.根据权利要求1-3任一项所述的方法，其中，所述预先构建的三维点云地图还包括对应场景中的对象的三维位置信息；以及
所述方法还包括：
响应于在所述位姿查询图像中检测到的二维线段不满足预设的条件，对所述位姿查询图像进行对象检测，得到所述位姿查询图像中的目标对象的二维位置信息；
根据所述预先构建的三维点云地图，确定所述目标对象的三维位置信息；
基于各所述候选位姿信息将所述目标对象的三维位置信息投影至二维平面分别得到各所述候选位姿信息对应的目标对象的二维投影位置信息，并针对各所述候选位姿信息，分别确定所述目标对象的二维投影位置信息与所述目标对象的二维位置信息之间的第二偏差；
基于各所述候选位姿信息对应的所述第二偏差，从至少一个所述候选位姿信息中确定出所述视觉设备的位姿信息。


5.根据权利要求4所述的方法，其中，所述三维点云地图按照如下方式构建：
对预设场景的点云地图进行对象检测，确定检测出的对象的三维边界位置信息作为检测出的对象的三维位置信息。


6.根据权利要求5所述的方法，其中，所述对象的三维边界位置信息包括所述对象的最小外接椭球的边界位置信息，或者所述对象的最大内切椭球的边界位置信息。


7.一种用于确定视觉设备的位姿的装置，包括：
检索单元，被配置为获取视觉设备采集的图像作为位姿查询图像，从预先构建的三维点云地图中检索出与所述位姿查询图像匹配的点云子图；
估计单元，被配置为基于所述位姿查询图像与所述点云子图的匹配特征点进行相对位姿估计，得到至少一个候...

【专利技术属性】
技术研发人员：李照虎，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11