用于获得设备位姿的方法、装置和存储介质制造方法及图纸

本公开提出了获得设备位姿的方法。该方法包括：获取惯性测量单元IMU数据；采用集束优化的方法，基于IMU数据来估计设备的基础位姿以及IMU参数；其中，采用以下操作中的任一项或任意多项的组合进行处理：采用设备的静止状态对设备的基础位姿进行约束；采用松耦合集束优化的方法对IMU参数进行优化；对IMU数据进行积分得到位姿变化，根据位姿变化和基础位姿得到设备的第二位姿，在基础位姿更新后，对第二位姿与更新的基础位姿之间的差异进行补偿；利用深度学习网络来预测设备的未来位姿；根据历史图像帧对应的设备的位姿和当前图像帧对应的设备的位姿，对历史图像帧进行变形得到当前图像帧。本公开还提出了对应设备和存储介质。

Method, device and storage medium for obtaining device posture

【技术实现步骤摘要】
用于获得设备位姿的方法、装置和存储介质
本公开涉及同步定位与地图构建领域，更具体地，涉及用于获得设备位姿的方法、装置和存储介质。
技术介绍
现有的多传感器紧耦合方法能够得到高精度的设备位姿(设备位姿指的是设备的位置和朝向)，然而其要考虑的约束较多，导致计算速度偏慢，延迟比较大。为此需要一种计算快，延迟小的位姿确定方法。
技术实现思路
为了至少部分解决或减轻上述问题，本公开实施例提出了用于获得设备的位姿的方法、装置和计算机存储介质。根据本公开的第一方面，提出了一种用于获得设备位姿的方法，该方法包括：获取惯性测量单元(IMU)数据；基于IMU数据来估计设备的第一位姿以及IMU参数；其中，采用以下操作中的任一项或任意多项的组合进行处理：在所述集束优化的过程中，采用所述设备的静止状态对所述设备的第一位姿进行约束；在所述集束优化的过程中，采用松耦合集束优化的方法对IMU参数进行优化；对IMU数据进行积分得到位姿变化，根据位姿变化和第一位姿得到所述设备的第二位姿，在所述第一位姿更新后，对所述第二位姿与更新的第一位姿之间的差异进行补偿；预测所述设备在未来时刻的位姿，其中，在预测所述设备的未来位姿的过程中，利用深度学习网络来预测所述设备的未来位姿；根据所述设备在未来时刻的位姿绘制虚拟物体，其中，在绘制虚拟物体的过程中，根据历史图像帧对应的所述设备的位姿和当前图像帧对应的所述设备的位姿，对历史图像帧进行变形得到当前图像帧。在一些实施例中，所述采用松耦合集束优化的方法对IMU参数进行优化包括：固定所述设备在多帧图像中的位姿，根据所述多帧图像之间的IMU数据以及所述设备在所述多帧图像中的位姿，估计IMU参数。在一些实施例中，所述采用设备的静止状态对所述设备的位姿进行约束包括：静止期间的所述设备的位姿保持不变。在一些实施例中，所述对所述第二位姿与更新的第一位姿之间的差异进行补偿包括：获取所述第二位姿与更新的第一位姿之间的差异；获取更新的第一位姿到下一次第一位姿更新所需要的所述积分的次数和/或感知相关信息；根据所述次数和/或感知相关信息、以及所述差异，得到补偿量，根据补偿量对所述第一位姿更新后的位姿变化进行调整。在一些实施例中，所述感知相关信息包括如下中的至少一种：眼球的运动速度，头部的旋转速度。在一些实施例中，所述利用深度学习网络来预测所述设备的未来位姿包括：利用多层长短期记忆(LSTM)网络来预测所述设备在未来时刻的位姿。在一些实施例中，所述利用多层长短期记忆LSTM网络来预测所述设备在未来时刻的位姿包括：以所述设备的当前状态信息作为LSTM网络的输入来获得所述设备在未来时刻的状态信息，并基于所述未来时刻的状态信息来获得所述设备的未来位姿。在一些实施例中，所述方法还可包括在将所述当前状态信息输入所述LSTM网络之前，使用卡尔曼滤波(EKF)来修正所述当前状态信息。在一些实施例中，使用卡尔曼滤波EKF来修正所述当前状态信息包括：将所述设备的位置、速度作为EKF的输入，将所述设备的速度作为EKF的输出。上述实施例中的状态信息可以具有任何格式，例如在一些实施例中，状态信息可以通过状态向量的形式提供。在一些实施例中，在绘制虚拟物体的过程中，根据历史图像帧对应的所述设备的位姿和当前图像帧对应的所述设备的位姿，对历史图像帧进行变形得到当前图像帧。所述对历史图像帧进行变形得到当前图像帧包括：基于所述当前图像帧的各个像素的深度信息以及所述当前图像帧和所述历史图像帧所对应的所述设备的位姿，计算所述当前图像帧的各个像素在所述历史图像帧中的位置；以及将所述历史图像帧中的各个位置处的像素复制到所述像素在所述当前图像帧中的对应位置处，来绘制所述当前图像帧。上述图像帧可以是全息图像帧。根据本公开的第二方面，提出了一种用于获得设备位姿的装置。该装置包括位姿估计模块和参数获取模块。参数获取模块用于获取惯性测量单元IMU数据。位姿估计模块用于采用集束优化的方法，基于IMU数据来估计设备的第一位姿以及IMU参数；其中，采用以下操作中的任一项或任意多项的组合进行处理：在所述集束优化的过程中，采用所述设备的静止状态对所述设备的第一位姿进行约束；在所述集束优化的过程中，采用松耦合集束优化的方法对IMU参数进行优化；对IMU数据进行积分得到位姿变化，根据位姿变化和第一位姿得到所述设备的第二位姿，在所述第一位姿更新后，对所述第二位姿与更新的第一位姿之间的差异进行补偿；预测所述设备在未来时刻的位姿，其中，在预测所述设备的未来位姿的过程中，利用深度学习网络来预测所述设备的未来位姿；根据所述设备在未来时刻的位姿绘制虚拟物体，其中，在绘制虚拟物体的过程中，根据历史图像帧对应的所述设备的位姿和当前图像帧对应的所述设备的位姿，对历史图像帧进行变形得到当前图像帧。根据本公开的第三方面，提出了一种用于获得设备的位姿的设备，包括：处理器和存储器。存储器存储有指令，所述指令在由所述处理器执行时使得所述处理器执行上述任一方法。根据本公开的第四方面，提出了一种存储指令的计算机可读存储介质，所述指令在由处理器执行时使得所述处理器能够执行根据本公开第一方面所述的方法。基于本公开实施例的方案，能够利用惯性测量单元(InertialMeasurementUnit，IMU)对运动数据进行积分，以获得计算快、延迟小的位姿输出。附图说明根据以下结合附图给出的对部分具体实施例的描述，本公开的这些和/或其它方面及优点将会变得清楚，并且更易于理解，其中：图1示出了集束优化的一个示例的示意图。图2是示出了根据本公开实施例的用于获得设备的位姿的方法200的流程图。图3是示出了根据本公开实施例的感知驱动的误差矫正的示意图。图4是示出了根据本公开实施例的用于获得设备的位姿的装置400的框图。图5示出了根据本专利技术实施例的一个具体实现的总体流程示意图。图6示出了根据上述实现的增加静止检测的紧耦合集束优化的方案的示意图。图7示出了根据该实现的静止检测的具体实现的示意图。图8示出了根据本专利技术实施例的二次集束优化的策略的示意图。图9示出了回环检测导致抖动的场景的示意图。图10示出了根据本专利技术实施例的深度EKF单元的结构示意图。图11示出了本文中使用深度EKF的状态回归过程的示意图。图12示出了根据本专利技术实施例的通过绘制结果调整减少延迟的方法的示意图。图13是示出了根据本公开实施例的示例装置的示例硬件布置的框图。具体实施方式下面参照附图对本公开的优选实施例进行详细说明，在描述过程中省略了对于本公开来说是不必要的细节和功能，以防止对本公开的理解造成混淆。在本说明书中，下述用于描述本公开原理的各种实施例只是说明，不应该以任何方式解释为限制公开的范围。参照附图的下述描述用于帮助全面理解由权利要求及其等同物限定的本公开的示例性实施例。下述描述包括多种具体细节来帮助理解，但这些细节应认为仅仅是示例性的。因此，本领域普通技术人员应认识到，在不脱离本公开的范围和精神的情况下，可以对本文中描述的实施例进行多种改变和修改。此外，为了清楚和简洁起见，省略了公知功能和结构的描述。此外，贯穿附图，相同的附图标记用于相同或相似的功能和操作。此外，可以将下述不同实施例中描述的全部或部分功能、特征、单元、模块等加以结合、删除和/或修改，以构成新的实施本文档来自技高网...

【技术保护点】
1.一种获得设备位姿的方法，包括：获取惯性测量单元IMU数据；采用集束优化的方法，基于IMU数据来估计设备的第一位姿以及IMU参数；其中，采用以下操作中的任一项或任意多项的组合进行处理：在所述集束优化的过程中，采用所述设备的静止状态对所述设备的第一位姿进行约束；在所述集束优化的过程中，采用松耦合集束优化的方法对IMU参数进行优化；对IMU数据进行积分得到位姿变化，根据位姿变化和第一位姿得到所述设备的第二位姿，在所述第一位姿更新后，对所述第二位姿与更新的第一位姿之间的差异进行补偿；预测所述设备在未来时刻的位姿，其中，在预测所述设备的未来位姿的过程中，利用深度学习网络来预测所述设备的未来位姿；根据所述设备在未来时刻的位姿绘制虚拟物体，其中，在绘制虚拟物体的过程中，根据历史图像帧对应的所述设备的位姿和当前图像帧对应的所述设备的位姿，对历史图像帧进行变形得到当前图像帧。

【技术特征摘要】
1.一种获得设备位姿的方法，包括：获取惯性测量单元IMU数据；采用集束优化的方法，基于IMU数据来估计设备的第一位姿以及IMU参数；其中，采用以下操作中的任一项或任意多项的组合进行处理：在所述集束优化的过程中，采用所述设备的静止状态对所述设备的第一位姿进行约束；在所述集束优化的过程中，采用松耦合集束优化的方法对IMU参数进行优化；对IMU数据进行积分得到位姿变化，根据位姿变化和第一位姿得到所述设备的第二位姿，在所述第一位姿更新后，对所述第二位姿与更新的第一位姿之间的差异进行补偿；预测所述设备在未来时刻的位姿，其中，在预测所述设备的未来位姿的过程中，利用深度学习网络来预测所述设备的未来位姿；根据所述设备在未来时刻的位姿绘制虚拟物体，其中，在绘制虚拟物体的过程中，根据历史图像帧对应的所述设备的位姿和当前图像帧对应的所述设备的位姿，对历史图像帧进行变形得到当前图像帧。2.根据权利要求1所述的方法，其中，所述采用松耦合集束优化的方法对IMU参数进行优化包括：固定所述设备在多帧图像中的位姿，根据所述多帧图像之间的IMU数据以及所述设备在所述多帧图像中的位姿，估计IMU参数。3.根据权利要求1所述的方法，其中，所述采用设备的静止状态对所述设备的位姿进行约束包括：静止期间的所述设备的位姿保持不变。4.根据权利要求1所述的方法，其中，所述对所述第二位姿与更新的第一位姿之间的差异进行补偿包括：获取所述第二位姿与更新的第一位姿之间的差异；获取更新的第一位姿到下一次第一位姿更新所需要的所述积分的次数和/或感知相关信息；根据所述次数和/或感知相关信息、以及所述差异，得到补偿量，根据补偿量对所述第一位姿更新后的位姿变化进行调整。5.根据权利要求4所述的方法，其中，所述感知相关信息包括如下中的至少一种：眼球的运动速度，头部的旋转速度。6.根据权利要求1所述的方法，其中，所述利用深度学习网络来预测所述设备的未来位姿包括：利用多层长短期记忆LSTM网络来预测所述设备在未来时刻的位姿。7.根据权利要求6所述的方法，其中，所述利用多层长短期记忆LSTM网络来预测所述设备在未来时刻的位姿包括：以所述设备的当前状态信息作为LS...

【专利技术属性】
技术研发人员：王光伟，高天豪，王淳，王强，安敏洙，金允泰，宋基英，李洪硕，刘志花，洪成勋，马林，
申请(专利权)人：北京三星通信技术研究有限公司，三星电子株式会社，
类型：发明
国别省市：北京,11