信息处理方法、装置、电子设备及存储介质制造方法及图纸

本公开提供了一种信息处理方法、装置、电子设备及存储介质，其中，该信息处理方法包括：获取实时定位系统采集的第一场景图像中的多个二维特征点在预先构建的三维场景地图中对应的三维特征点的三维坐标和特征描述子；基于三维特征点的三维坐标和特征描述子，确定三维特征点在实时定位系统采集的多帧第二场景图像中的第一重投影残差；实时定位系统采集多帧第二场景图像的时刻晚于采集第一场景图像的时刻；基于三维特征点在多帧第二场景图像中的第一重投影残差，对实时定位系统的定位结果进行校准。

【技术实现步骤摘要】
信息处理方法、装置、电子设备及存储介质
本公开涉及计算机视觉
，具体而言，涉及一种信息处理方法、装置、电子设备及存储介质。
技术介绍
基于视觉的即时定位与地图构建(simultaneouslocalizationandmapping，SLAM)，可以描述为机器人在未知环境中从一个未知位置开始移动，在移动过程中根据实时拍摄到的图像来估计自身定位，同时在自身定位的基础上实时构建地图。由于多种原因，在基于SLAM技术进行实时定位过程中，会有较大的累计误差，导致在基于SLAM进行定位过程中出现偏差，通常可以结合预先构建的离线地图中特征点的定位信息对该偏差进行矫正。在结合预先构建的离线地图中特征点的定位对该偏差进行矫正时，一般采用松耦合的方式进行矫正，比如将当前拍摄到的图像与离线地图中的特征点进行配准，然后直接将配准后的特征点在离线地图中的定位信息作为当前采集到的特征点的准确定位信息进行后续定位，该方式在矫正过程中会引入较大的误差，校准后的准确度不高。
技术实现思路
本公开实施例至少提供一种信息处理方案。本公开实施例提供了一种信息处理方法，包括：获取实时定位系统采集的第一场景图像中的多个二维特征点在预先构建的三维场景地图中对应的三维特征点的三维坐标和特征描述子；基于所述三维特征点的三维坐标和特征描述子，确定所述三维特征点在实时定位系统采集的多帧第二场景图像中的第一重投影残差；所述实时定位系统采集多帧第二场景图像的时刻晚于采集所述第一场景图像的时刻；基于所述三维特征点在所述多帧第二场景图像中的第一重投影残差，对所述实时定位系统的定位结果进行校准。本公开实施例中，通过实时定位系统采集的第一场景图像和预先构建的离线地图来获取第一场景图像中的多个二维特征点在离线地图中对应的三维特征点，这样可以得到第一场景图像中的各个二维特征点准确度较高的三维坐标，随着实时定位系统的移动，在实时定位结果出现偏差的情况下，通过三维特征点的准确度较高的三维坐标和特征描述子，可以确定三维特征点在实时定位系统采集的位于第一场景图像的后续多帧第二场景图像中的第一重投影残差，进一步借助该第一重投影残差，可以对实时定位系统的定位结果进行准确校准。在一种可能的实施方式中，所述获取实时定位系统采集的第一场景图像中的多个二维特征点在预先构建的三维场景地图中对应的多个三维特征点的三维坐标和特征描述子，包括：基于所述第一场景图像和所述三维场景地图，确定所述实时定位系统在拍摄所述第一场景图像时的第一位姿数据；基于所述第一位姿数据和所述第一场景图像中包含的多个二维特征点，确定所述三维场景地图中，与每个二维特征点匹配的三维特征点的三维坐标，并将该二维特征点在所述第一场景图像中的特征描述子作为所述匹配的三维特征点的特征描述子。本公开实施例中，在基于第一场景图像和三维场景地图确定出实时定位系统在拍摄第一场景图像时第一位姿数据后，可以快速基于第一场景图像中的多个二维特征点，准确地提取到用于进行跟踪的三维特征点。在一种可能的实施方式中，所述基于所述三维特征点的三维坐标和特征描述子，确定所述三维特征点在实时定位系统采集的多帧第二场景图像中的第一重投影残差，包括：针对进入预先构建的滑动窗口中的每帧第二场景图像，获取针对该帧第二场景图像的目标跟踪特征点对；所述目标跟踪特征点对是基于所述滑动窗口中位于该帧第二场景图像之前的至少一帧历史第二场景图像、所述三维特征点的三维坐标和特征描述子确定的；其中，每个所述目标跟踪特征点对中包含所述历史第二场景图像中一个所述二维特征点及其对应的所述三维特征点；基于所述滑动窗口中的每帧第二场景图像、该帧第二场景图像对应的所述目标跟踪特征点对、以及所述实时定位系统采集该帧第二场景图像时的第二位姿数据，确定所述三维特征点在所述多帧第二场景图像中的第一重投影残差。本公开实施例中，通过预先构建的三维场景地图，可以引入与实时定位系统拍摄的第一场景图像中的二维特征点匹配度较高的三维特征点，基于此可以在实时定位系统拍摄的多个第二场景图像中对这些三维特征点进行跟踪，从而确定三维特征点在多帧第二场景图像中准确度较高的第一重投影残差。在一种可能的实施方式中，针对任一帧所述第二场景图像，按照以下方式确定所述目标跟踪特征点对：基于所述三维特征点的三维坐标和所述实时定位系统拍摄所述历史第二场景图像时的第二位姿数据，确定所述三维特征点在所述历史第二场景图像中对应的二维投影坐标；针对所述历史第二场景图像中的每个二维投影坐标，在所述历史第二场景图像中搜索与所述二维投影坐标之间的距离小于预设搜索半径的候选二维特征点；基于所述二维投影坐标对应的三维特征点的特征描述子，和与所述二维投影坐标关联的每个候选二维特征点的特征描述子，确定与所述二维投影坐标对应的初始二维特征点；将每个所述二维投影坐标对应的三维特征点和初始二维特征点作为一组候选跟踪特征点对，得到多组候选跟踪特征点对；基于所述多组候选跟踪特征点对中不同候选跟踪点对确定所述实时定位系统的位姿数据，并根据确定的多个位姿数据，确定所述目标跟踪特征点对。本公开实施例中，首先通过投影的方式，初步选择用于进行跟踪的多组候选跟踪特征点对，进一步再按照多组候选跟踪特征点对确定的实时定位系统的位姿数据，进一步筛选准确度较高的目标跟踪特征点对。在一种可能的实施方式中，所述基于所述滑动窗口中的每帧第二场景图像、该帧第二场景图像对应的所述目标跟踪特征点对、以及所述实时定位系统采集该帧第二场景图像时的第二位姿数据，确定所述三维特征点在所述多帧第二场景图像中的第一重投影残差，包括：基于该帧第二场景图像对应的目标跟踪特征点对中的每个三维特征点的三维坐标、和该帧第二场景图像对应的第二位姿数据，确定该三维特征点在该帧第二场景图像中对应的二维投影坐标；基于该三维特征点对应的二维投影坐标和与所述目标跟踪特征点对中与该三维特征点对应的二维特征点在该帧第二场景图像中的二维坐标，确定该三维特征点在该帧第二场景图像中对应的第一重投影残差；对所述滑动窗口中的多帧第二场景图像分别对应的目标跟踪特征点中的三维特征点的第一重投影残差进行求和，得到所述三维特征点在所述多帧第二场景图像中的第一重投影残差。本公开实施例中，通过对每个三维特征点在各帧第二场景图像中的第一重投影残差进行求和，可以得到三维特征点在多帧第二场景图像中的第一重投影残差，为后续对实时定位系统的定位结果进行校准提供便利。在一种可能的实施方式中，在基于该三维特征点对应的二维投影坐标和与所述目标跟踪特征点对中与该三维特征点对应的二维特征点在该帧第二场景图像中的二维坐标，确定该三维特征点在该帧第二场景图像中对应的第一重投影残差之前，所述信息处理方法还包括：获取该三维特征点在所述三维场景地图中的第一权重，所述第一权重是基于该三维特征点在所述三维场景地图中的语义信息确定的；基于该三维特征点在所述滑动窗口内的跟踪帧数，确定本文档来自技高网...

【技术保护点】
1.一种信息处理方法，其特征在于，包括：/n获取实时定位系统采集的第一场景图像中的多个二维特征点在预先构建的三维场景地图中对应的三维特征点的三维坐标和特征描述子；/n基于所述三维特征点的三维坐标和特征描述子，确定所述三维特征点在实时定位系统采集的多帧第二场景图像中的第一重投影残差；所述实时定位系统采集多帧第二场景图像的时刻晚于采集所述第一场景图像的时刻；/n基于所述三维特征点在所述多帧第二场景图像中的第一重投影残差，对所述实时定位系统的定位结果进行校准。/n

【技术特征摘要】
1.一种信息处理方法，其特征在于，包括：
获取实时定位系统采集的第一场景图像中的多个二维特征点在预先构建的三维场景地图中对应的三维特征点的三维坐标和特征描述子；
基于所述三维特征点的三维坐标和特征描述子，确定所述三维特征点在实时定位系统采集的多帧第二场景图像中的第一重投影残差；所述实时定位系统采集多帧第二场景图像的时刻晚于采集所述第一场景图像的时刻；
基于所述三维特征点在所述多帧第二场景图像中的第一重投影残差，对所述实时定位系统的定位结果进行校准。


2.根据权利要求1所述的信息处理方法，其特征在于，所述获取实时定位系统采集的第一场景图像中的多个二维特征点在预先构建的三维场景地图中对应的三维特征点的三维坐标和特征描述子，包括：
基于所述第一场景图像和所述三维场景地图，确定所述实时定位系统在拍摄所述第一场景图像时的第一位姿数据；
基于所述第一位姿数据和所述第一场景图像中包含的多个二维特征点，确定所述三维场景地图中，与每个二维特征点匹配的三维特征点的三维坐标，并将该二维特征点在所述第一场景图像中的特征描述子作为所述匹配的三维特征点的特征描述子。


3.根据权利要求1或2所述的信息处理方法，其特征在于，所述基于所述三维特征点的三维坐标和特征描述子，确定所述三维特征点在实时定位系统采集的多帧第二场景图像中的第一重投影残差，包括：
针对进入预先构建的滑动窗口中的每帧第二场景图像，获取针对该帧第二场景图像的目标跟踪特征点对；所述目标跟踪特征点对是基于所述滑动窗口中位于该帧第二场景图像之前的至少一帧历史第二场景图像、所述三维特征点的三维坐标和特征描述子确定的；其中，每个所述目标跟踪特征点对中包含所述历史第二场景图像中一个所述二维特征点及其对应的所述三维特征点；
基于所述滑动窗口中的每帧第二场景图像、该帧第二场景图像对应的所述目标跟踪特征点对、以及所述实时定位系统采集该帧第二场景图像时的第二位姿数据，确定所述三维特征点在所述多帧第二场景图像中的第一重投影残差。


4.根据权利要求3所述的信息处理方法，其特征在于，针对任一帧所述第二场景图像，按照以下方式确定所述目标跟踪特征点对：
基于所述三维特征点的三维坐标和所述实时定位系统拍摄所述历史第二场景图像时的第二位姿数据，确定所述三维特征点在所述历史第二场景图像中对应的二维投影坐标；
针对所述历史第二场景图像中的每个二维投影坐标，在所述历史第二场景图像中搜索与所述二维投影坐标之间的距离小于预设搜索半径的候选二维特征点；
基于所述二维投影坐标对应的三维特征点的特征描述子，和与所述二维投影坐标关联的每个候选二维特征点的特征描述子，确定与所述二维投影坐标对应的初始二维特征点；
将每个所述二维投影坐标对应的三维特征点和初始二维特征点作为一组候选跟踪特征点对，得到多组候选跟踪特征点对；
基于所述多组候选跟踪特征点对中不同候选跟踪点对确定所述实时定位系统的位姿数据，并根据确定的多个位姿数据，确定所述目标跟踪特征点对。


5.根据权利要求3所述的信息处理方法，其特征在于，所述基于所述滑动窗口中的每帧第二场景图像、该帧第二场景图像对应的所述目标跟踪特征点对、以及所述实时定位系统采集该帧第二场景图像时的第二位姿数据，确定所述三维特征点在所述多帧第二场景图像中的第一重投影残差，包括：
基于该帧第二场景图像对应的目标跟踪特征点对中的每个三维特征点的三维坐标、和该帧第二场景图像对应的第二位姿数据，确定该三维特征点在该帧第二场景图像中对应的二维投影坐标；
基于该三维特征点对应的二维投影坐标和与所述目标跟踪特征点对中与该三维特征点对应的二维特征点在该帧第二场景图像中的二维坐标，确定该三维特征点在该帧第二场景图像中对应的第一重投影残差；
对所述滑动窗口中的多帧第二场景图像分别对应的目标跟踪特征点中的三维特征点的第一重投影残差进行求和，得到所述三维特征点在所述多帧第二场景图像中的第一重投影残差。


6.根据权利要求5所述的信息处理方法，其特征在于，在基于该三维特征点对应的二维投影坐标和与所述目标跟踪特征点对中与该三维特征点对应的二维特征点在该帧第二场景图像中的二维坐标，确定该三维特征点在该帧第二场景图像中对应的第一重投影残差之前，所述信息处理方法还包括：
获取该三维特征点在所述三维场景地图中的第一权重，所述第一权重是基于该三维特征点在所述三维场景地图中的语义信息确定的；
基于该三维特征点在所述滑动窗口内的跟踪帧数，确定该三维特征点的第二权重；
所述基于该三维特征点对应的二维投影坐标和与所述目标跟踪特征点对中与该三维特征点对应的二维特征点在该帧第二场景图像中的二维坐标，确定...

【专利技术属性】
技术研发人员：谢卫健，钱权浩，曹权，王楠，章国锋，
申请(专利权)人：深圳市慧鲤科技有限公司，
类型：发明
国别省市：广东;44