一种位姿确定方法、装置、计算机设备及存储介质制造方法及图纸

本公开提供了一种位姿确定方法、装置、计算机设备及存储介质，涉及计算机技术领域，其中，该方法通过惯性测量单元生成能够指示目标设备位姿信息的初始位姿样条，并利用多种光学传感器输出的光学图像以及初始位姿样条生成多种位姿校准残差，利用位姿校准残差对初始位姿样条的参数进行更新，从而实现利用多种光学传感器对利用惯性测量单元确定的位姿信息进行校准，得到更为精确的目标位姿样条，并且，由于校准时使用了多种光学传感器输出的光学图像，使得目标位姿样条能够结合多种光学图像的特征，在一些传感器无法应对的场景中也能够通过其他传感器得到较为精确的位姿信息。过其他传感器得到较为精确的位姿信息。过其他传感器得到较为精确的位姿信息。

【技术实现步骤摘要】
一种位姿确定方法、装置、计算机设备及存储介质


[0001]本公开涉及计算机
，具体而言，涉及一种位姿确定方法、装置、计算机设备及存储介质。

技术介绍

[0002]在自动驾驶、机器人、虚拟现实、增强现实等领域中，都离不开位姿信息的确定。位姿信息可以指示被测对象的位置信息以及姿态信息，使进行位姿测量的设备能够感知自身或周围环境的相关信息，并根据这些信息做出相应的动作。因此，位姿信息的精确度至关重要。
[0003]受到传感器特性的影响，进行位姿测量的传感器在某些场景下的使用效果较差，比如，可见光传感器仅能够在光线良好的场景下提供较为精确的位姿信息，遇到强光、大雨、大雾等场景则位姿定位的效果较差。

技术实现思路

[0004]本公开实施例至少提供一种位姿确定方法、装置、计算机设备及存储介质。
[0005]第一方面，本公开实施例提供了一种位姿确定方法，包括：基于目标设备上部署的惯性测量单元在目标时间段内输出的测量数据，生成所述目标时间段对应的初始位姿样条；所述初始位姿样条用于指示所述目标设备在所述目标时间段中不同时间点的位姿信息；获取所述目标设备上部署的多种光学传感器在所述目标时间段内输出的光学图像；基于所述初始位姿样条及所述光学图像，生成所述光学图像对应的多种位姿校准残差；基于生成的各种位姿校准残差，对所述初始位姿样条的参数进行更新，得到目标位姿样条。
[0006]上述方面所提供的位姿确定方法，通过惯性测量单元生成能够指示目标设备位姿信息的初始位姿样条，并利用多种光学传感器输出的光学图像以及初始位姿样条生成多种位姿校准残差，利用位姿校准残差对初始位姿样条的参数进行更新，从而实现利用多种光学传感器对利用惯性测量单元确定的位姿信息进行校准，得到更为精确的目标位姿样条，并且，由于校准时使用了多种光学传感器输出的光学图像，使得目标位姿样条能够结合多种光学图像的特征，在一些传感器无法应对的场景中也能够通过其他传感器得到较为精确的位姿信息。
[0007]一种可选的实施方式中，所述光学图像包括可见光传感器输出的可见光图像，以及热红外传感器输出的热红外图像；所述位姿校准残差包括可见光校准残差、热红外校准残差、以及结合可见光与热红外的联合校准残差。
[0008]上述实施方式，通过利用可见光图像及热红外图像生成位姿校准残差，能够在利用可见光图像生成可见光校准残差的同时，使用热红外图像生成热红外校准残差，由于热红外图像不会受到光线亮度影响，强光、炫光、大雨、大雾等天气也不会对热红外图像造成明显影响，从而使利用热红外校准残差进行校准的目标位姿样条更加精确；同时，上述实施方式使用可见光图像和热红外图像相结合，生成结合可见光与热红外的联合校准残差，使得目标位姿样条的精确度进一步提高。
[0009]一种可选的实施方式中，基于所述初始位姿样条及所述光学图像，生成可见光校准残差，包括：针对任意两帧可见光图像，对所述可见光图像进行特征点匹配，得到多个特征点对，并确定所述特征点对对应的三维路标点在世界坐标系下的位置信息；针对任一帧可见光图像，基于所述初始位姿样条指示的与所述可见光图像匹配的位姿信息，将所述世界坐标系下的所述三维路标点投影至所述可见光图像中，得到所述三维路标点对应的第一投影点在所述可见光图像中的像素位置；基于所述第一投影点的像素位置，以及所述三维路标点在所述可见光图像中对应的特征点的像素位置，确定所述可见光图像对应的可见光校准残差。
[0010]上述实施方式，通过特征点匹配，找到可以进行对比的标志物（也即三维路标点），利用初始位姿样条表示的位姿信息，将三维路标点投影至可见光图像中，使得投影得到的第一投影点与三维路标点对应的特征点处于相同的坐标系下，进而能够计算可见光校准残差，对初始位姿样条的参数进行校准，提高初始位姿样条指示的位姿信息的精确度。
[0011]一种可选的实施方式中，基于所述初始位姿样条及所述光学图像，生成热红外校准残差，包括：针对任意两帧热红外图像，对所述热红外图像进行特征点匹配，得到多个特征点对；其中，所述特征点对包括所述两帧热红外图像中第一热红外图像的第一特征点，以及所述两帧热红外图像中第二热红外图像的第二特征点；基于所述初始位姿样条指示的与所述第一热红外图像匹配的位姿信息，将所述第一特征点投影至世界坐标系中，得到第二投影点，并将所述第二投影点投影至所述第二热红外图像中，得到所述第二投影点对应的第三投影点；确定所述第一特征点在所述第一热红外图像中的热辐射值，以及所述第三投影点在所述第二热红外图像中的热辐射值；基于所述第一特征点以及所述第三投影点分别对应的热辐射值，确定所述两帧热红外图像对应的热红外校准残差。
[0012]上述实施方式，通过初始位姿样条指示的位姿信息，将第一热红外图像中的第一特征点投影至世界坐标系中，再将世界坐标系中的投影点投影至第二热红外图像中，使得第二投影点与第一特征点能够进行热辐射值的比较，从而形成热红外校准残差，能够有效提高位姿信息的精度。
[0013]一种可选的实施方式中，基于所述初始位姿样条及所述光学图像，生成所述联合校准残差，包括：针对所述可见光图像中的任一帧目标可见光图像，以及所述热红外图像中的任一帧目标热红外图像，确定同时被所述目标可见光图像以及所述热红外图像捕捉到的目标三
维路标点；基于所述初始位姿样条指示的与所述目标可见光图像匹配的位姿信息，将所述目标三维路标点投影至所述目标可见光图像中，得到所述目标可见光图像中的第四投影点；以及，基于所述初始位姿样条指示的与所述目标热红外图像匹配的位姿信息，将所述目标三维路标点投影至所述目标热红外图像中，得到所述目标热红外图像中的第五投影点；基于所述第四投影点对应的光照强度值，以及所述第五投影点对应的热辐射值，确定所述第四投影点与所述第五投影点之间的归一化信息距离；基于所述归一化信息距离以及所述初始位姿样条，确定所述联合校准残差。
[0014]上述实施方式，通过将同一个三维场景中的点分别投影至目标可见光图像及目标热红外图像，并通过归一化信息距离，使不同的属性维度能够在一起进行比较，从而形成联合校准残差，进一步提升位姿信息的精确度。
[0015]一种可选的实施方式中，所述基于所述第四投影点对应的光照强度值，以及所述第五投影点对应的热辐射值，确定所述第四投影点与所述第五投影点之间的归一化信息距离，包括：针对所述第四投影点中的当前第四投影点，基于所述当前第四投影点对应的光照强度值，确定与所述当前第四投影点对应的光照强度值范围；针对所述第五投影点中的当前第五投影点，基于所述当前第五投影点对应的热辐射值，确定所述当前第五投影点对应的热辐射值范围；针对所述当前第四投影点与所述第五投影点组成的当前投影点对，基于所述当前第四投影点对应的光照强度值与所述第五投影点对应的热辐射值之间的乘积，确定所述当前投影点对对应的乘积范围；确定各个第四投影点中，光照强度值位于所述当前第四投影点的光照强度值范围内的像素点的第一数量；确定各个第五投影点中，热辐射值位于所述当前第五投影点的热辐射值范围内的像素本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种位姿确定方法，其特征在于，包括：基于目标设备上部署的惯性测量单元在目标时间段内输出的测量数据，生成所述目标时间段对应的初始位姿样条；所述初始位姿样条用于指示所述目标设备在所述目标时间段中不同时间点的位姿信息；获取所述目标设备上部署的多种光学传感器在所述目标时间段内输出的光学图像；基于所述初始位姿样条及所述光学图像，生成所述光学图像对应的多种位姿校准残差；基于生成的各种位姿校准残差，对所述初始位姿样条的参数进行更新，得到目标位姿样条。2.根据权利要求1所述的方法，所述光学图像包括可见光传感器输出的可见光图像，以及热红外传感器输出的热红外图像；所述位姿校准残差包括可见光校准残差、热红外校准残差、以及结合可见光与热红外的联合校准残差。3.根据权利要求2所述的方法，其特征在于，基于所述初始位姿样条及所述光学图像，生成可见光校准残差，包括：针对任意两帧可见光图像，对所述可见光图像进行特征点匹配，得到多个特征点对，并确定所述特征点对对应的三维路标点在世界坐标系下的位置信息；针对任一帧可见光图像，基于所述初始位姿样条指示的与所述可见光图像匹配的位姿信息，将所述世界坐标系下的所述三维路标点投影至所述可见光图像中，得到所述三维路标点对应的第一投影点在所述可见光图像中的像素位置；基于所述第一投影点的像素位置，以及所述三维路标点在所述可见光图像中对应的特征点的像素位置，确定所述可见光图像对应的可见光校准残差。4.根据权利要求2所述的方法，其特征在于，基于所述初始位姿样条及所述光学图像，生成热红外校准残差，包括：针对任意两帧热红外图像，对所述热红外图像进行特征点匹配，得到多个特征点对；其中，所述特征点对包括所述两帧热红外图像中第一热红外图像的第一特征点，以及所述两帧热红外图像中第二热红外图像的第二特征点；基于所述初始位姿样条指示的与所述第一热红外图像匹配的位姿信息，将所述第一特征点投影至世界坐标系中，得到第二投影点，并将所述第二投影点投影至所述第二热红外图像中，得到所述第二投影点对应的第三投影点；确定所述第一特征点在所述第一热红外图像中的热辐射值，以及所述第三投影点在所述第二热红外图像中的热辐射值；基于所述第一特征点以及所述第三投影点分别对应的热辐射值，确定所述两帧热红外图像对应的热红外校准残差。5.根据权利要求2所述的方法，其特征在于，基于所述初始位姿样条及所述光学图像，生成所述联合校准残差，包括：针对所述可见光图像中的任一帧目标可见光图像，以及所述热红外图像中的任一帧目标热红外图像，确定同时被所述目标可见光图像以及所述热红外图像捕捉到的目标三维路标点；
基于所述初始位姿样条指示的与所述目标可见光图像匹配的位姿信息，将所述目标三维路标点投影至所述目标可见光图像中，得到所述目标可见光图像中的第四投影点；以及，基于所述初始位姿样条指示的与所述目标热红外图像匹配的位姿信息，将所述目标三维路标点投影至所述目标热红外图像中，得到所述目标热红外图像中的第五投影点；基于所述第四投影点对应的光照强度值，以及所述第五投影点对应的热辐射值，确定所述第四投影点与所述第五投影点之间的归一化信息距离；基于所述归一化信息距离以及所述初始位姿样条，确定所述联合校准残差。6.根据权利要求5所述的方法，其特征在于，所述基于所述第四投影点对应的光照强度值，以及所述第五投影点对应的热辐射值，确定所述第四投影点与所述第五投影点之间的归一化信息距离，包括：针对所述第四投影点中的当前第四投影点，基于所述当前第四投影点对应的光照强度值，确定与所述当前第四投影点对应的光照强度值范围；针对所述第五投影点中的当前第五投影点，基于所述当前第五投影点...

【专利技术属性】
技术研发人员：周沛东，
申请(专利权)人：北京集度科技有限公司，
类型：发明
国别省市：