一种基于3D点云的视觉即时定位与建图的方法与系统技术方案

本申请的目的是提供一种基于3D点云的视觉即时定位与建图的方法与系统，具体包括：确定新获取的图片帧的相机位姿信息；基于所述相机位姿信息检测所述图片帧是否为关键帧；若所述图片帧为关键帧，根据所述图片帧对应的3D点云拟合生成地图中的3D直线。本申请在现有基于点特征的vSLAM方法的基础上提出了一种全新的基于点线特征的方案，本方案通过直接法提取的特征点在边缘处梯度变化较明显，有利于在三维空间中提取直线；而且，在三维空间的点云中检测直线，不仅减少了不匹配直线的检测，还能够省略直线三角化的计算。

【技术实现步骤摘要】
一种基于3D点云的视觉即时定位与建图的方法与系统
本申请涉及智能驾驶领域，尤其涉及一种基于3D点云的视觉即时定位与建图的技术。
技术介绍
即时定位与地图构建(simultaneouslocalizationandmapping，SLAM)是机器人等智能设备在未知环境中从一个未知位置开始移动，在移动过程中根据位置估计和地图进行自身定位，同时在自身定位的基础上建造增量式地图，实现机器人的自主定位和导航。由于其重要的理论和应用价值，即时定位与地图构建技术已被很多学者认为是实现真正自主移动机器人或智能驾驶的关键。相比于过去采用激光雷达进行定位与建图，现在采用相机作为传感器的定位与建图方法已逐渐成为主流，称为视觉即时定位与地图构建(vSLAM)。现阶段的vSLAM方法主要包括基于特征点、最小化匹配点重投影误差的间接法及基于像素强度、最小化光测误差的直接法，这两种方法依赖于点特征的提取与匹配，能够较好地处理丰富纹理信息的场景。
技术实现思路
本申请的一个目的是提供一种基于3D点云的视觉即时定位与建图的方法与系统。根据本申请的一个方面，提供了一种用于视觉即时定位与建图的方法，该方法包括：确定新获取的图片帧的相机位姿信息；基于所述相机位姿信息检测所述图片帧是否为关键帧；若所述图片帧为关键帧，根据所述图片帧对应的3D点云拟合生成地图中的3D直线。根据本申请的一个方面，提供了一种用于视觉即时定位与建图的系统，该系统包括：位姿确定模块，用于确定新获取的图片帧的相机位姿信息；关键帧检测模块，用于基于所述相机位姿信息检测所述图片帧是否为关键帧；直线拟合模块，若所述图片帧为关键帧，用于根据所述图片帧对应的3D点云拟合生成地图中的3D直线。根据本申请的一个方面，提供了一种用于视觉即时定位与建图的设备，该设备包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行：确定新获取的图片帧的相机位姿信息；基于所述相机位姿信息检测所述图片帧是否为关键帧；若所述图片帧为关键帧，根据所述图片帧对应的3D点云拟合生成地图中的3D直线。根据本申请的一个方面，提供了一种包括指令的计算机可读介质，所述指令在被执行时使得系统进行：确定新获取的图片帧的相机位姿信息；基于所述相机位姿信息检测所述图片帧是否为关键帧；若所述图片帧为关键帧，根据所述图片帧对应的3D点云拟合生成地图中的3D直线。与现有技术相比，本申请在现有基于点特征的vSLAM方法的基础上提出了一种全新的基于点线特征的方案，本方案通过直接法提取的特征点在边缘处梯度变化较明显，有利于在三维空间中提取直线；而且，在三维空间的点云中检测直线，不仅减少了不匹配直线的检测，还能够省略直线三角化的计算。附图说明通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：图1示出根据本申请一个实施例的一种用于视觉即时定位与建图的方法流程图；图2示出了图1中一个步骤的子步骤；图3示出根据本申请一个实施例的一种用于视觉即时定位与建图的系统结构图；图4示出根据本申请各实施例的示例性系统。附图中相同或相似的附图标记代表相同或相似的部件。具体实施方式下面结合附图对本申请作进一步详细描述。在本申请一个典型的配置中，终端、服务网络的设备和可信方均包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flashRAM)。内存是计算机可读介质的示例。计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。本申请所指设备包括但不限于用户设备、网络设备、或用户设备与网络设备通过网络相集成所构成的设备。所述用户设备包括但不限于任何一种可与用户进行人机交互(例如通过触摸板进行人机交互)的移动电子产品，例如智能手机、平板电脑等，所述移动电子产品可以采用任意操作系统，如android操作系统、iOS操作系统等。其中，所述网络设备包括一种能够按照事先设定或存储的指令，自动进行数值计算和信息处理的电子设备，其硬件包括但不限于微处理器、专用集成电路(ASIC)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、嵌入式设备等。所述网络设备包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云；在此，云由基于云计算(CloudComputing)的大量计算机或网络服务器构成，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个虚拟超级计算机。所述网络包括但不限于互联网、广域网、城域网、局域网、VPN网络、无线自组织网络(AdHoc网络)等。优选地，所述设备还可以是运行于所述用户设备、网络设备、或用户设备与网络设备、网络设备、触摸终端或网络设备与触摸终端通过网络相集成所构成的设备上的程序。当然，本领域技术人员应能理解上述设备仅为举例，其他现有的或今后可能出现的设备如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。在本申请的描述中，“多个”的含义是两个或者更多，除非另有明确具体的限定。图1示出了根据本申请的一种用于视觉即时定位与建图的方法，该方法包括步骤S11、步骤S12和步骤S13。在步骤S11中，视觉即时定位与建图系统确定新获取的图片帧的相机位姿信息；在步骤S12中，视觉即时定位与建图系统基于所述相机位姿信息检测所述图片帧是否为关键帧；在步骤S13中，若所述图片帧为关键帧，视觉即时定位与建图系统根据所述图片帧对应的3D点云拟合生成地图中的3D直线。具体而言，在步骤S11中，视觉即时定位与建图系统确定新获取的图片帧的相机位姿信息。例如，视觉即时定位与建图系统接收新的图片帧，基于该图片帧与其他帧间的特征点进行匹配，并利用匹配结果通过最小化重投影误差，来获取当前图片帧的相机位姿信息。又如，视觉即时定位与建图系统接收新的图片帧，通过将新的图片帧与该图片帧的前一图片帧进行直接图像配准，使用图像金字塔技术，并采用从粗到细的跟踪方式，确定该图片帧的信息相机位姿信息。还如，视觉即时定位与建图系统将前两例获取的相机位姿信息作为初值，将地图中的点线特征反投回图像中，获取更加精确的相机位姿信息，本方案的实施例中以该方法为例获取精度较高的相机位姿信息。在步骤S12中，视觉即时定位与建图系统基于所述相机位姿信息检测所述图片帧是否为关键帧。例如，视觉即时定位与建图系统根据当前图片帧的相机位姿信息以及其他关键帧间的相关信息检测该图片帧是否为关键帧。在步本文档来自技高网...

【技术保护点】
一种用于视觉即时定位与建图的方法，其中，该方法包括：确定新获取的图片帧的相机位姿信息；基于所述相机位姿信息检测所述图片帧是否为关键帧；若所述图片帧为关键帧，根据所述图片帧对应的3D点云拟合生成地图中的3D直线。

【技术特征摘要】
1.一种用于视觉即时定位与建图的方法，其中，该方法包括：确定新获取的图片帧的相机位姿信息；基于所述相机位姿信息检测所述图片帧是否为关键帧；若所述图片帧为关键帧，根据所述图片帧对应的3D点云拟合生成地图中的3D直线。2.根据权利要求1所述的方法，其中，所述方法还包括：对所述地图中的点线特征以及所述相机位姿信息进行优化。3.根据权利要求1所述的方法，其中，所述若所述图片帧为关键帧，根据所述图片帧对应的3D点云拟合生成地图中的3D直线，还包括：根据所述3D直线在所述图片帧中的投影区域确定与所述3D直线关联的2D直线；其中，所述方法还包括：根据所述3D直线及与所述3D直线关联的2D直线呈现所述地图。4.根据权利要求1至3中任一项所述的方法，其中，所述若所述图片帧为关键帧，根据所述图片帧对应的3D点云拟合生成地图中的3D直线，包括：若所述图片帧为关键帧，通过将地图中的激活点投影至所述图片帧，生成所述图片帧对应的3D点云；根据所述3D点云拟合生成所述地图中的3D直线。5.根据权利要求4所述的方法，其中，所述根据所述3D点...

【专利技术属性】
技术研发人员：李仕杰，林伟，
申请(专利权)人：驭势科技北京有限公司，
类型：发明
国别省市：北京,11