SLAM系统的初始化、AR控制方法、装置和系统制造方法及图纸

本发明专利技术提供一种同时定位与地图构建(Simultaneous Localization And Mapping，SLAM)系统的初始化、现实增强(Augmented Reality，AR)控制方法、装置和系统。该方法包括：根据重力方向、电子设备的主摄像头沿第一方向拍摄得到的主图像和同一时刻电子设备的备摄像头拍摄得到的备图像，确定主摄像头的对面高度；根据重力方向和对面高度确定参考面；将主图像投影到参考面中，确定主图像中至少一个特征点的三维坐标信息和/或深度信息。本发明专利技术实施例提高了SLAM的初始化速度，也提高了对面高度的准确性和视觉初始化过程中地图构建的准确性。

Initialization of SLAM System, AR Control Method, Device and System

【技术实现步骤摘要】
SLAM系统的初始化、AR控制方法、装置和系统
本专利技术涉及计算机图像处理技术，尤其涉及一种SLAM系统的初始化、AR控制方法、装置和系统。
技术介绍
SLAM系统可广泛应用于增强现实、虚拟现实、机器人和自动驾驶等领域。SLAM系统用于获取所在的电子设备自身姿态、电子设备所在的环境以及电子设备在环境中的位置。当用户使用电子设备时，SLAM系统首先进行初始化，获取电子设备的初始运动状态信息以及电子设备所在环境的初始环境信息，然后再据此进行电子设备状态跟踪、场景的地图实时构建等处理。SLAM系统初始化速度的快慢影响了用户使用电子设备的等待时长，且SLAM系统初始化获取的信息的准确度也影响了基于SLAM系统实现增强现实等应用的效果。
技术实现思路
本专利技术实施例提供一种SLAM系统的初始化技术方案和AR控制技术方案。第一方面，本专利技术实施例提供一种基于双摄像头的SLAM系统的初始化方法，包括：根据重力方向、电子设备的主摄像头沿第一方向拍摄得到的主图像和同一时刻所述电子设备的备摄像头拍摄得到的备图像，确定所述主摄像头的对面高度；根据所述重力方向和所述对面高度确定参考面；将所述主图像投影到所述参考面中，确定所述主图像中至少一个特征点的三维坐标信息和/或深度信息。在第一方面的一种可行的实施方式中，所述参考面包括：地平面或水平物面。在第一方面的一种可行的实施方式中，SLAM系统的初始化方法还包括：根据所述电子设备的重力传感器获得所述重力方向。在第一方面的一种可行的实施方式中，所述主摄像头和所述备摄像头设于所述电子设备的同一平面。在第一方面的一种可行的实施方式中，SLAM系统的初始化方法还包括：获取所述主摄像头朝向除所述第一方向之外的至少一个其他方向拍摄的视频；确定所述视频中至少一帧图像中的相对于所述主图像的共同特征点；根据所述共同特征点，将所述参考面按照所述至少一帧图像中的每帧图像对应的主摄像头的位置和朝向信息分别投影到所述每帧图像中，获取所述每帧图像中的特征点的初始三维坐标信息。在第一方面的一种可行的实施方式中，SLAM系统的初始化方法还包括：对所述特征点的初始三维坐标信息进行非线性优化，获取每个特征点优化后的三维坐标信息以及所述每帧图像对应的主摄像头的朝向和位置；根据所述每帧图像对应的主摄像头的位置和朝向信息确定相应特征点的深度信息。在第一方面的一种可行的实施方式中，所述获取所述主摄像头朝向除所述第一方向之外的至少一个其他方向拍摄的视频，包括：获取所述主摄像头在移动过程中拍摄得到的视频。在第一方面的一种可行的实施方式中，所述获取所述主摄像头在移动过程中拍摄得到的视频之前，SLAM系统的初始化方法还包括：呈现用于提示移动所述电子设备和/或所述主摄像头的信息。在第一方面的一种可行的实施方式中，SLAM系统的初始化方法还包括：根据所述每帧图像对应的主摄像头的位置和朝向信息，对电子设备的惯性测量单元IMU的参数进行初始化。在第一方面的一种可行的实施方式中，所述根据所述每帧图像对应的主摄像头的位置和朝向信息，对电子设备的惯性测量单元IMU的参数进行初始化，包括：根据每帧图像对应的主摄像头的位置和朝向信息，以及所述主摄像头和所述IMU的相对位置信息，确定每帧图像对应的所述IMU的位置和朝向信息。在第一方面的一种可行的实施方式中，所述根据所述每帧图像对应的主摄像头的位置和朝向信息，对电子设备的惯性测量单元IMU的参数进行初始化，还包括：根据所述视频中至少二帧图像各自对应的所述IMU的朝向信息，以及所述至少二帧图像之间的时间间隔内的所述IMU的角速度，确定所述IMU的角速度偏差信息。在第一方面的一种可行的实施方式中，所述根据所述每帧图像对应的主摄像头的位置和朝向信息，对电子设备的惯性测量单元IMU的参数进行初始化，还包括：根据所述视频中至少二帧图像各自对应的所述IMU的朝向信息和位置信息，以及所述至少二帧图像之间的时间间隔内的所述IMU的角速度和加速度，确定所述时间间隔内的帧图像对应的电子设备的速度信息和/或所述IMU的加速度偏差信息。第二方面，本专利技术实施例还提供一种增强现实AR控制方法，包括：AR引擎获取采用如上述第一方面或第一方面的任意可能的实现中的方法进行初始化后的SLAM系统输出的电子设备的定位和/或地图构建信息；所述AR引擎根据所述SLAM系统输出的信息，在所述电子设备所在场景或场景的拍摄视频中绘制虚拟物体。第三方面，本专利技术实施例还提供一种SLAM系统，包括：对面高度获取模块，用于根据重力方向、电子设备的主摄像头沿第一方向拍摄得到的主图像和同一时刻所述电子设备的备摄像头拍摄得到的备图像，确定所述主摄像头的对面高度；参考面获取模块，用于根据所述重力方向和所述对面高度确定参考面；特征点信息获取模块，用于将所述主图像投影到所述参考面中，确定所述主图像中至少一个特征点的三维坐标信息和/或深度信息。在第三方面的一种可行的实施方式中，所述参考面包括：地平面或水平物面。在第三方面的一种可行的实施方式中，SLAM系统还包括：重力方向获取模块，用于根据所述电子设备的重力传感器获得所述重力方向。在第三方面的一种可行的实施方式中，所述主摄像头和所述备摄像头设于所述电子设备的同一平面。在第三方面的一种可行的实施方式中，SLAM系统还包括：视频获取模块，用于获取所述主摄像头朝向除所述第一方向之外的至少一个其他方向拍摄的视频；共同特征点获取模块，用于确定所述视频中至少一帧图像中的相对于所述主图像的共同特征点；初始坐标获取模块，用于根据所述共同特征点，将所述参考面按照所述至少一帧图像中的每帧图像对应的主摄像头的位置和朝向信息分别投影到所述每帧图像中，获取所述每帧图像中的特征点的初始三维坐标信息。在第三方面的一种可行的实施方式中，SLAM系统还包括：优化模块，用于对所述特征点的初始三维坐标信息进行非线性优化，获取每个特征点优化后的三维坐标信息以及所述每帧图像对应的主摄像头的朝向和位置；深度信息获取模块，用于根据所述每帧图像对应的主摄像头的位置和朝向信息确定相应特征点的深度信息。在第三方面的一种可行的实施方式中，SLAM系统还包括：所述视频获取模块具体用于，获取所述主摄像头在移动过程中拍摄得到的视频。在第三方面的一种可行的实施方式中，SLAM系统还包括：提醒模块，用于呈现用于提示移动所述电子设备和/或所述主摄像头的信息。在第三方面的一种可行的实施方式中，SLAM系统还包括：IMU参数初始化模块，用于根据所述每帧图像对应的主摄像头的位置和朝向信息，对电子设备的惯性测量单元IMU的参数进行初始化。在第三方面的一种可行的实施方式中，所述IMU参数初始化模块包括：位置朝向获取单元，用于根据每帧图像对应的主摄像头的位置和朝向信息，以及所述主摄像头和所述IMU的相对位置信息，确定每帧图像对应的所述IMU的位置和朝向信息。在第三方面的一种可行的实施方式中，所述IMU参数初始化模块包括：角速度偏差信息获取单元，用于根据所述视频中至少二帧图像各自对应的所述IMU的朝向信息，以及所述至少二帧图像之间的时间间隔内的所述IMU的角速度，确定所述IMU的角速度偏差信息。在第三方面的一种可行的实施方式中，所述IMU参数初始化模块包括：速度和/或加速度偏差信息获取单元，用于根本文档来自技高网...

【技术保护点】
1.一种同时定位与地图构建SLAM系统的初始化方法，其特征在于，包括：根据重力方向、电子设备的主摄像头沿第一方向拍摄得到的主图像和同一时刻所述电子设备的备摄像头拍摄得到的备图像，确定所述主摄像头的对面高度；根据所述重力方向和所述对面高度确定参考面；将所述主图像投影到所述参考面中，确定所述主图像中至少一个特征点的三维坐标信息和/或深度信息。

【技术特征摘要】
1.一种同时定位与地图构建SLAM系统的初始化方法，其特征在于，包括：根据重力方向、电子设备的主摄像头沿第一方向拍摄得到的主图像和同一时刻所述电子设备的备摄像头拍摄得到的备图像，确定所述主摄像头的对面高度；根据所述重力方向和所述对面高度确定参考面；将所述主图像投影到所述参考面中，确定所述主图像中至少一个特征点的三维坐标信息和/或深度信息。2.根据权利要求1所述的方法，其特征在于，还包括：获取所述主摄像头朝向除所述第一方向之外的至少一个其他方向拍摄的视频；确定所述视频中至少一帧图像中的相对于所述主图像的共同特征点；根据所述共同特征点，将所述参考面按照所述至少一帧图像中的每帧图像对应的主摄像头的位置和朝向信息分别投影到所述每帧图像中，获取所述每帧图像中的特征点的初始三维坐标信息。3.根据权利要求2所述的方法，其特征在于，还包括：对所述特征点的初始三维坐标信息进行非线性优化，获取每个特征点优化后的三维坐标信息以及所述每帧图像对应的主摄像头的朝向和位置；根据所述每帧图像对应的主摄像头的位置和朝向信息确定相应特征点的深度信息。4.根据权利要求3所述的方法，其特征在于，还包括：根据所述每帧图像对应的主摄像头的位置和朝向信息，对电子设备的惯性测量单元IMU的参数进行初始化。5.根据权利要求4所述的方法，其特征在于，所述根据所述每帧图像对应的主摄像头的位置和朝向信息，对电子设备的惯性测量单元IMU的参数进行初始化，包括：根据每帧图像对应的主摄像头的位置和朝向信息，以及所述主摄像头和所述IMU的相对...

【专利技术属性】
技术研发人员：鲍虎军，章国锋，王楠，陈丹鹏，
申请(专利权)人：浙江商汤科技开发有限公司，
类型：发明
国别省市：浙江,33