一种进行SLAM初始化的方法与设备技术

本申请的目的是提供一种进行SLAM初始化的方法与设备，具体包括：建立或更新对应的点云数据库，其中，所述点云数据库中包含关于目标区域的一组或多组初始点云信息，每组初始点云信息包括该组点云信息对应的关键帧的光照度信息；通过摄像装置拍摄关于所述目标区域的当前图像帧；根据所述当前图像帧与所述点云数据库的所述一组或多组初始点云信息进行光照度信息匹配，确定该初始点云信息为对应的目标点云信息；根据所述当前图像帧与所述目标点云信息进行重定位以完成SLAM初始化。本申请结合光照度分布信息，提高SLAM初始化的鲁棒性和准确性。

A method and equipment of slam initialization

【技术实现步骤摘要】
一种进行SLAM初始化的方法与设备
本申请涉及图像领域，尤其涉及一种进行SLAM初始化的技术。
技术介绍
增强现实技术（AugmentedReality，简称AR），是一种实时地计算摄影机影像的位置及角度并加上相应图像、视频、3D模型的技术，这种技术的目标是在屏幕上把虚拟世界叠加在显示界面并进行互动。它是一种将真实世界信息和虚拟世界信息"无缝"集成的新技术，该技术由1990年提出，随着随身电子产品CPU运算能力的提升，预期增强现实的用途将会越来越广。在运用增强现实技术时，通常需要进行同步定位与建图（SimultaneousLocalizationandMapping，简称SLAM），具体地，SLAM是指机器人在未知环境中从一个未知位置开始移动，在移动过程中根据位置估计和地图进行自身定位，同时在自身定位的基础上建造增量式地图，实现机器人的自主定位和导航。在复杂场景下通过纯视觉SLAM在制定目标上虚拟显示相关信息和模型，实现稳定的增强现实体验，是计算机视觉和增强现实领域富有挑战性的工作，它的困难之处在于视觉SLAM依靠图像中的特征实现跟踪和稀疏地图的构建，而图像中的特征一般受光照变化、运动变化、场景变化、遮挡、运动模糊等影响，造成视觉特征的不稳定。增强现实的应用要求对变化的场景具有一定的鲁棒性，尤其是在户外、家庭和公共场所受自然光影响的环境中。SLAM初始化的结果直接影响SLAM后续的跟踪精度和稳定性，因而初始化是SLAM比较重要的模块。
技术实现思路
本申请的一个目的是提供一种进行SLAM初始化的方法与设备。根据本申请的一个方面，提供了一种进行SLAM初始化的方法，该方法包括：建立或更新对应的点云数据库，其中，所述点云数据库中包含关于目标区域的一组或多组初始点云信息，每组初始点云信息包括该组点云信息对应的关键帧的光照度信息；通过摄像装置拍摄关于所述目标区域的当前图像帧；根据所述当前图像帧与所述点云数据库的所述一组或多组初始点云信息进行光照度信息匹配，若所述一组或多组初始点云信息中存在对应的某初始点云信息的关键帧的光照度信息与所述当前图像帧的光照度信息相匹配，则确定该初始点云信息为对应的目标点云信息；根据所述当前图像帧与所述目标点云信息进行重定位以完成SLAM初始化。根据本申请的一个方面，提供了一种进行SLAM初始化的设备，该设备包括：一一模块，用于建立或更新对应的点云数据库，其中，所述点云数据库中包含关于目标区域的一组或多组初始点云信息，每组初始点云信息包括该组点云信息对应的关键帧的光照度信息；一二模块，用于通过摄像装置拍摄关于所述目标区域的当前图像帧；一三模块，用于根据所述当前图像帧与所述点云数据库的所述一组或多组初始点云信息进行光照度信息匹配，若所述一组或多组初始点云信息中存在对应的某初始点云信息的关键帧的光照度信息与所述当前图像帧的光照度信息相匹配，则确定该初始点云信息为对应的目标点云信息；一四模块，用于根据所述当前图像帧与所述目标点云信息进行重定位以完成SLAM初始化。根据本申请的一个方面，提供了一种进行SLAM初始化的设备，该设备包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如上所述任一方法的操作。根据本申请的另一个方面，提供了一种存储指令的计算机可读介质，所述指令在被执行时使得系统进行如上所述任一方法的操作。与现有技术相比，本申请通过建立或更新对应的点云数据库，其中，所述点云数据库中包含关于目标区域的一组或多组初始点云信息，每组初始点云信息包括该组点云信息对应的关键帧的光照度信息；通过摄像装置拍摄关于所述目标区域的当前图像帧；根据所述当前图像帧与所述点云数据库的所述一组或多组初始点云信息进行光照度信息匹配，若所述一组或多组初始点云信息中存在对应的某初始点云信息的关键帧的光照度信息与所述当前图像帧的光照度信息相匹配，则确定该初始点云信息为对应的目标点云信息；根据所述当前图像帧与所述目标点云信息进行重定位以完成SLAM初始化。本申请能够适用于复杂度更高的场景，实现SLAM快速初始化。进一步地，在此基础上，能够结合光照度分布信息，解决光照变化场景下的SLAM初始化，从而提高了基于SLAM的增强现实应用的鲁棒性和准确性。附图说明通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：图1示出根据本申请一个方面的一种进行SLAM初始化的方法流程图；图2示出根据本申请一个方面的图1所示方法的步骤S105；图3示出根据本申请一个实施例的一种中心布点法的布点示意图；图4示出根据本申请另一个实施例的一种四角布点法的布点示意图；图5示出根据本申请一个方面的图1示出的步骤S103的子步骤S1031和子步骤S1032；图6示出根据本申请一个方面的图1示出的步骤S104的子步骤S1041和子步骤S1042；图7示出根据本申请一个方面的图1所示方法的步骤S106；图8示出根据本申请一个方面的图1所示方法的步骤S107；图9示出根据本申请一个方面的图1所示方法的步骤S108；图10示出根据本申请一个方面的一种进行SLAM算法的方法流程图；图11示出根据本申请一个方面的图1所示方法的步骤S109；图12示出根据本申请一个方面的一种计算设备的功能模块；图13示出可被用于实施本申请中所述的各个实施例的示例性系统。附图中相同或相似的附图标记代表相同或相似的部件。具体实施方式下面结合附图对本申请作进一步详细描述。在本申请一个典型的配置中，终端、服务网络的设备和可信方均包括一个或多个处理器(例如，中央处理器（CentralProcessingUnit，CPU）)、输入/输出接口、网络接口和内存。内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RandomAccessMemory，RAM)和/或非易失性内存等形式，如只读存储器(ReadOnlyMemory，ROM)或闪存(FlashMemory)。内存是计算机可读介质的示例。计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存（Phase-ChangeMemory，PCM）、可编程随机存取存储器(ProgrammableRandomAccessMemory，PRAM)、静态随机存取存储器(StaticRandom-AccessMemory，SRAM)、动态随机存取存储器(DynamicRandomAccessMemory，DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(Electrically-ErasableProg本文档来自技高网...

【技术保护点】
1.一种进行SLAM初始化的方法，其中，该方法包括：/n建立或更新对应的点云数据库，其中，所述点云数据库中包含关于目标区域的一组或多组初始点云信息，每组初始点云信息包括该组点云信息对应的关键帧的光照度信息；/n通过摄像装置拍摄关于所述目标区域的当前图像帧；/n根据所述当前图像帧与所述点云数据库的所述一组或多组初始点云信息进行光照度信息匹配，若所述一组或多组初始点云信息中存在对应的某初始点云信息的关键帧的光照度信息与所述当前图像帧的光照度信息相匹配，则确定该初始点云信息为对应的目标点云信息；/n根据所述当前图像帧与所述目标点云信息进行重定位以完成SLAM初始化。/n

【技术特征摘要】
1.一种进行SLAM初始化的方法，其中，该方法包括：
建立或更新对应的点云数据库，其中，所述点云数据库中包含关于目标区域的一组或多组初始点云信息，每组初始点云信息包括该组点云信息对应的关键帧的光照度信息；
通过摄像装置拍摄关于所述目标区域的当前图像帧；
根据所述当前图像帧与所述点云数据库的所述一组或多组初始点云信息进行光照度信息匹配，若所述一组或多组初始点云信息中存在对应的某初始点云信息的关键帧的光照度信息与所述当前图像帧的光照度信息相匹配，则确定该初始点云信息为对应的目标点云信息；
根据所述当前图像帧与所述目标点云信息进行重定位以完成SLAM初始化。


2.根据权利要求1所述的方法，其中，所述方法还包括：
获取所述当前图像帧对应的光照度信息。


3.根据权利要求2所述的方法，其中，所述获取所述当前图像帧对应的光照度信息，包括：
通过对应的光照测量装置确定所述当前图像帧的光照度信息。


4.根据权利要求2所述的方法，其中，所述根据所述当前图像帧与所述点云数据库的所述一组或多组初始点云信息进行光照度信息匹配，若所述一组或多组初始点云信息中存在对应的某初始点云信息的关键帧的光照度信息与所述当前图像帧的光照度信息相匹配，则确定该初始点云信息为对应的目标点云信息，包括：
提取所述当前图像帧的特征点；
根据所述当前图像帧的特征点与所述点云数据库的所述一组或多组初始点云信息进行光照度信息匹配，若所述一组或多组初始点云信息中存在对应的某初始点云信息的关键帧的光照度信息与所述当前图像帧的光照度信息相匹配，则确定该初始点云信息为对应的目标点云信息。


5.根据权利要求4所述的方法，其中所述根据所述当前图像帧的特征点与所述点云数据库的所述一组或多组初始点云信息进行光照度信息匹配，若所述一组或多组初始点云信息中存在对应的某初始点云信息的关键帧的光照度信息与所述当前图像帧的光照度信息相匹配，则确定该初始点云信息为对应的目标点云信息，包括：
根据所述当前图像帧的特征点与所述点云数据库的所述一组或多组初始点云信息的关键帧进行特征点匹配，确定每组初始点云信息与所述当前图像帧的特征点对；
根据所述每组初始点云信息与所述当前图像帧的特征点对进行光照相似度匹配，若所述一组或多组初始点云信息中存在对应的某初始点云信息的关键帧的光照度信息与所述当前图像帧的光照度信息相匹配，则确定该初始点云信息为对应的目标点云信息。


6.根据权利要求5所述的方法，其中，所述获取所述当前图像帧对应的光照度信息，包括：
根据所述当前图像帧的特征点的灰度值计算各特征点对应的光照度信息。


7.根据权利要求5所述的方法，其中，所述获取所述当前图像帧对应的光照度信息，包括：
根据所述每组初始点云信息的关键帧与所述当前图像帧的特征点对中所述当前图像帧对应的匹配特征点的灰度值，计算各匹配特征点对应的光照度信息。


8.根据权利要求4至7中任一项所述的方法，其中，所述若所述一组或多组初始点云信息中存在对应的某初始点云信息的关键帧的光照度信息与所述当前图像帧的光照度信息相匹配，则确定该初始点云信息为对应的目标点云信息，包括以下至少任一项：
若所述一组或多组初始点云信息中存在某初始点云信息的关键帧与所述当前图像帧的特征点对的光照相似度大于或等于第一光照相似度阈值；
若所述一组或多组初始点云信息中存在某初始点云信息的关键帧与所述当前图像帧的特征点对的光照相似度最大；
若所述一组或多组初始点云信息中存在某初始点云信息的关键帧与所述当前图像帧的相似特征点对数量大于或等于第一数量阈值，其中，所述相似特征点对包括光照相似度大于或等于第二光照相似度阈值的特征点对；
若所述一组或多组初始点云信息中存在某初始点云信息的关键帧与所述当前图像帧的相似特征点对数量最大，其中，所述相似特征点对包括光照相似度大于或等于第二光照相似度阈值的特征点对；
若所述一组或多组初始点云信息中存在某候选点云信息的关键帧与所述当前图像帧的特征点对的光照相似度大于或等于第三光照相似度阈值，其中，所述候选点云信息包括与所述当前图像帧的特征点对数量大于或等于第二数量阈值的初始点云信息；
若所述一组或多组初始点云信息中存在某候选点云信息的关键帧与所述当前图像帧的特征点对的光照相似度最大，其中，所述候选点云信息包括与所述当前图像帧的特征点对数量大于或等于第二数量阈值的初始点云信息。


9.根据权利要求5至7中任一项所述的方法，其中，所述根据所述当前图像帧与所述目标点云信息进行重定位以完成SLAM初始化，包括：
将所述当前图像帧的特征点与所述目标点云信息的关键帧中特征点进行匹配，若目标点云信息中的某关键帧中匹配的特征点的数量大于或等于预设数量阈值，将该关键帧作为候选关键帧；
根据所述候选关键帧获取所述摄像装置的位姿信息，以完成SLAM初始化。


10.根据权利要求9所述的方法，其中，所述根据所述候选关键帧获取所述摄像装置的位姿信息，以完成SLAM初始...

【专利技术属性】
技术研发人员：刘理想，周俊颖，侯晓辉，
申请(专利权)人：亮风台上海信息科技有限公司，
类型：发明
国别省市：上海;31