用于视觉惯导信息融合的初始化方法和装置以及存储介质制造方法及图纸

本发明专利技术揭示了一种用于视觉惯导信息融合的初始化方法，包括：从终端的图像传感器和惯性传感器分别获取图像数据和惯导数据；以及基于所述图像数据中相邻图像之间的几何约束条件，以及所述惯导数据在所述相邻图像的获取时间之间的积分相对量，来获取所述终端的初始化变量，其中，在获取所述终端的初始化变量时，引入由于所述惯导数据的噪声对所述积分相对量产生的不确定性度量。根据本发明专利技术实施例提供的用于视觉惯导信息融合的初始化方案，通过引入由于惯导数据的噪声对积分相对量产生的不确定性度量，大大提高了初始化的易用性和稳定性。

Initialization methods and devices for visual inertial navigation information fusion and storage media

The invention discloses an initialization method for visual inertial navigation information fusion, which includes acquiring image data and inertial navigation data from image sensors and inertial sensors of terminals respectively, and acquiring the said inertial navigation data based on geometric constraints between adjacent images in the image data and integral relative amount between acquisition times of the adjacent images. Initialization variables of the terminal, in which the uncertainty measurement of the integral relative quantity due to the noise of the inertial navigation data is introduced when the initialization variables of the terminal are acquired. According to the initialization scheme for visual inertial navigation information fusion provided by the embodiment of the present invention, the simplicity and stability of initialization are greatly improved by introducing the uncertainty measure of integral relative quantity caused by the noise of inertial navigation data.

【技术实现步骤摘要】
用于视觉惯导信息融合的初始化方法和装置以及存储介质
本专利技术涉及计算机
，特别涉及一种用于视觉惯导信息融合的初始化方法和装置以及计算机存储介质和电子设备。
技术介绍
视觉惯导信息融合通常是表示一类将视觉信息和惯导信息进行融合，并用于同步定位和环境重建的方法。这里的视觉信息一般是指由摄像头拍摄所得到的二维图像，而惯导信息一般是指IMU(InertialMeasurementUnit，惯性测量单元)输出的角速度信息和加速度等信息。举例来说，通过移动终端摄像头拍摄所得到的图像是二维的，也即是对三维环境的降维表示；然而，结合IMU输出的惯导信息，便可基于摄像头在不同时刻、不同位置所拍摄得到的图像，重构移动终端所处三维环境，并推断其在不同时刻的历史位置。这一过程便是基于视觉惯导信息融合的同步定位和环境重建。一旦获得移动终端的位置和环境信息，便使其具备了和环境交互的能力。例如，在VR(VirtuaReality，虚拟现实)和AR(AugmentedReality，增强现实)应用中，基于已知的环境信息，可以将虚拟物品放置在真实环境中。同时，结合已知的终端位置信息，可以通过相对应的位置关系，将真实的环境和虚拟的环境渲染为终端屏幕上显示的图像。例如，在商场导航中，基于已知的环境信息，可以帮助用户识别所处的环境；同时，结合已知的位置信息，通过在终端屏幕显示的真实环境上，叠加显示虚拟的导航信息，可以根据需求将用户指引到附近的餐厅、商店、洗手间等。随着VR和AR等技术的飞速发展，同步定位和环境重建也逐渐成为计算机视觉领域里一个非常重要的研究方向，有着广阔的应用。然而，另一方面，如上所述，同步定位与环境构建是一个从低维信息推导出高维信息的过程，这个过程是高度非线性的，因而难以进行计算。为了使得基于视觉惯导信息融合的同步定位与地图构建能够顺利执行，通常需要为这一过程选择适当的变量初始值，在相关技术中，这往往要求用户按照特定的方式执行特定的动作来完成，因此给用户造成额外的操作约束，启动过程也较复杂，整体的易用性较差。
技术实现思路
为了解决相关技术中基于视觉惯导信息融合的变量初始化过程复杂、易用性差的问题，本专利技术提供了一种用于视觉惯导信息融合的初始化方法和装置以及计算机存储介质和电子设备。根据本专利技术的实施例，提供一种用于视觉惯导信息融合的初始化方法，包括：从终端的图像传感器和惯性传感器分别获取图像数据和惯导数据；以及基于所述图像数据中相邻图像之间的几何约束条件，以及所述惯导数据在所述相邻图像的获取时间之间的积分相对量，来获取所述终端的初始化变量，其中，在获取所述终端的初始化变量时，引入由于所述惯导数据的噪声对所述积分相对量产生的不确定性度量。根据本专利技术的实施例，提供一种用于视觉惯导信息融合的初始化装置，包括：获取模块，用于从终端的图像传感器和惯性传感器分别获取图像数据和惯导数据；以及初始化模块，用于基于所述图像数据中相邻图像之间的几何约束条件，以及所述惯导数据在所述相邻图像的获取时间之间的积分相对量，来获取所述终端的初始化变量，其中，所述初始化模块在获取所述终端的初始化变量时，引入由于所述惯导数据的噪声对所述积分相对量产生的不确定性度量。根据本专利技术的实施例，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的用于视觉惯导信息融合的初始化方法。根据本专利技术的实施例，提供一种电子设备，包括：处理器；以及存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时实现如上所述的用于视觉惯导信息融合的初始化方法。本专利技术的实施例提供的技术方案可以包括以下有益效果：根据本专利技术实施例提供的用于视觉惯导信息融合的初始化方案，通过引入由于惯导数据的噪声对积分相对量产生的不确定性度量，大大提高了初始化的易用性和稳定性。应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本专利技术。附图说明此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本专利技术的实施例，并于说明书一起用于解释本专利技术的原理。图1示出了适于用来实现本专利技术实施例的电子设备的结构示意图。图2是根据一示例性实施例示出的一种用于视觉惯导信息融合的初始化方法的流程图。图3是根据另一示例性实施例示出的一种用于视觉惯导信息融合的初始化方法的流程图。图4是根据一示例性实施例示出的一种用于视觉惯导信息融合的初始化装置的框图。图5是根据另一示例性实施例示出的一种用于视觉惯导信息融合的初始化装置的框图。具体实施方式现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本专利技术将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本专利技术的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本专利技术的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本专利技术的各方面。附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。图1示出了适于用来实现本公开实施例的电子设备的结构示意图。需要说明的是，图1示出的电子设备100仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。该电子设备100可以是手机或平板电脑等移动终端。参照图1，终端100可以包括以下一个或多个组件：处理组件102、存储器104、电源组件106、多媒体组件108、输入/输出(I/O)接口112、传感器组件114、以及通信组件116。处理组件102通常控制终端100的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理元件102可以包括一个或多个处理器来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件102可以包括一个或多个模块，便于处理组件102和其他组件之间的交互。例如，处理部件102可以包括多媒体模块，以方便多媒体组件108和处理组件102之间的交互。存储器104被配置为存储各种类型的数据以支持在终端100的操作。这些数据的示例包括用于在终端100上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器104可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。电源组件106为终端100的各种组件提供本文档来自技高网...

【技术保护点】
1.一种用于视觉惯导信息融合的初始化方法，其特征在于，所述方法包括：从终端的图像传感器和惯性传感器分别获取图像数据和惯导数据；以及基于所述图像数据中相邻图像之间的几何约束条件，以及所述惯导数据在所述相邻图像的获取时间之间的积分相对量，来获取所述终端的初始化变量，其中，在获取所述终端的初始化变量时，引入由于所述惯导数据的噪声对所述积分相对量产生的不确定性度量。

【技术特征摘要】
1.一种用于视觉惯导信息融合的初始化方法，其特征在于，所述方法包括：从终端的图像传感器和惯性传感器分别获取图像数据和惯导数据；以及基于所述图像数据中相邻图像之间的几何约束条件，以及所述惯导数据在所述相邻图像的获取时间之间的积分相对量，来获取所述终端的初始化变量，其中，在获取所述终端的初始化变量时，引入由于所述惯导数据的噪声对所述积分相对量产生的不确定性度量。2.如权利要求1所述的方法，其特征在于，所述的获取所述终端的初始化变量，包括：基于所述几何约束和所述积分相对量构造所述初始化变量的目标函数；以及通过使所述目标函数的值最大化或最小化，来获取所述初始化变量。3.如权利要求2所述的方法，其特征在于，所述的获取所述终端的初始化变量，还包括：迭代式的获取所述积分相对量的离散化表示，并基于误差态获取所述积分相对量的协方差矩阵；以及根据所述协方差矩阵获取所述初始化变量的更新目标函数。4.如权利要求3所述的方法，其特征在于，所述的基于所述几何约束和所述积分相对量构造所述初始化变量的目标函数，包括：构造所述目标函数为：其中，Δt表示第k和k+1帧图像数据之间的时间间隔，和表示所述惯导数据在第k和k+1帧图像数据之间的积分相对量，和分别表示在获取第k帧图像数据时的惯性传感器坐标系和图像传感器坐标系，分别表示从Y坐标系到X坐标系的三维位置、速度和旋转，表示图像传感器坐标系下的重力加速度。5.如权利要求4所述的方法，其特征在于，所述的根据所述协方差矩阵获取所述初始化变量的更新目标函数，包括：获取所述更新目标函数为：6.如权利要求4所述的方法，其特征在于，所述的迭代式的获取所述积分相对量的离散化表示，包括：基于下式获取所述积分相对量的...

【专利技术属性】
技术研发人员：凌永根，暴林超，刘威，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东,44