定位方法及装置、设备、存储介质制造方法及图纸

本申请实施例公开了定位方法及装置、设备、存储介质，其中，所述方法包括：根据图像采集模组的内参矩阵和所述图像采集模组采集的深度图像中多个像素点的深度值，将所述多个像素点的像素坐标转换为相机坐标；将每一所述像素点的相机坐标与预先构建的点云地图中多个体素的目标世界坐标进行匹配，得出所述图像采集模组的位姿信息；其中，每一所述体素的目标世界坐标是根据多个样本图像对，更新每一所述体素的初始世界坐标而获得的，所述样本图像对包括二维样本图像和深度样本图像。

Positioning method, device, equipment and storage medium

【技术实现步骤摘要】
定位方法及装置、设备、存储介质
本申请实施例涉及电子技术，涉及但不限于定位方法及装置、设备、存储介质。
技术介绍
基于图像信息进行定位的相关技术中，目前主要是通过识别摄像头采集到的图像中的人物和固定物体，以确定所述人物的位置。该方案将所述固定物体与预先构建的室内地图进行匹配，从而确定所述固定物体在室内的对应位置；然后根据所述固定物体的位置确定所述人物在室内的位置；其中，确定所述人物的位置的整体思路为，通过图像识别的方法识别图像中的固定物体，并根据所述固定物体与图像中的人物之间的相对位置关系、和所述固定物体在室内的位置，确定所述人物的位置。然而，这种定位方法主要根据图像中的人物和固定物体之间的相对位置关系进行定位，这样，在实现定位时就要求图像中必须有可以识别出的人物和固定物体，否则定位就会失效，所以这种定位方法的鲁棒性较差。
技术实现思路
本申请实施例提供定位方法及装置、设备、存储介质。本申请实施例的技术方案是这样实现的：第一方面，本申请实施例提供一种定位方法，所述方法包括：根据图像采集模组的内参矩阵和所述图像采集模组采集的深度图像中多个像素点的深度值，将所述多个像素点的像素坐标转换为相机坐标；将每一所述像素点的相机坐标与预先构建的点云地图中多个体素的目标世界坐标进行匹配，得出所述图像采集模组的位姿信息；其中，每一所述体素的目标世界坐标是根据多个样本图像对，更新每一所述体素的初始世界坐标而获得的，所述样本图像对包括二维样本图像和深度样本图像。第二方面，本申请实施例提供一种定位装置，包括：坐标转换模块，配置为根据图像采集模组的内参矩阵和所述图像采集模组采集的深度图像中多个像素点的深度值，将所述多个像素点的像素坐标转换为相机坐标；定位模块，配置为将每一所述像素点的相机坐标与预先构建的点云地图中多个体素的目标世界坐标进行匹配，得出所述图像采集模组的位姿信息；其中，每一所述体素的目标世界坐标是根据多个样本图像对，更新每一所述体素的初始世界坐标而获得的，所述样本图像对包括二维样本图像和深度样本图像。第三方面，本申请实施例提供一种电子设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述定位方法中的步骤。第四方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述定位方法中的步骤。本申请实施例中，根据图像采集模组采集的深度图像中多个像素点的相机坐标与预先构建的点云地图中多个体素的目标世界坐标进行匹配，即可确定图像采集模组的位姿信息；如此，在对所述图像采集模组进行定位时，其定位方法不依赖于所述深度图像中必须有固定物体和待定位的人物，所以能够获得较好的鲁棒性。附图说明图1为本申请实施例定位方法的实现流程示意图；图2为本申请实施例点云地图的构建过程示意图；图3为本申请实施例对特定物理空间进行量化的实现示意图；图4A为本申请实施例定位装置的组成结构示意图；图4B为本申请实施例另一定位装置的组成结构示意图；图5为本申请实施例电子设备的一种硬件实体示意图。具体实施方式为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请的具体技术方案做进一步详细描述。以下实施例用于说明本申请，但不用来限制本申请的范围。除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的
的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。需要指出，本申请实施例所涉及的术语“第一\第二\第三”仅仅是是区别不同的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。本申请实施例提供一种定位方法，所述方法可以应用于电子设备，所述电子设备可以是手机、平板电脑、笔记本电脑、台式计算机、服务器、机器人、无人机等具有信息处理能力的设备。所述定位方法所实现的功能可以通过所述电子设备中的处理器调用程序代码来实现，当然程序代码可以保存在计算机存储介质中，可见，所述电子设备至少包括处理器和存储介质。图1为本申请实施例定位方法的实现流程示意图，如图1所示，所述方法至少包括以下步骤S101至步骤S102：步骤S101，根据图像采集模组的内参矩阵和所述图像采集模组采集的深度图像中多个像素点的深度值，将所述多个像素点的像素坐标转换为相机坐标。所述图像采集模组一般包括第一摄像头和第二摄像头；其中，第一摄像头用于采集拍摄场景的二维图像，例如通过单目摄像头采集拍摄场景的红、绿、蓝(Red、Green、Blue，RGB)图像；第二摄像头用于采集拍摄场景的深度图像，第二摄像头可以为双目相机、结构光相机或者飞行时间(Time-of-Flight，TOF)相机等三维视觉传感器。需要说明的是，所述电子设备可以包括所述图像采集模组，也就是说，所述图像采集模组被安装在所述电子设备中，例如，所述电子设备为具有第一摄像头和第二摄像头的智能手机；当然，在其他实施例中，所述电子设备也可以不包括所述图像采集模组，所述图像采集模组可以将自身的内参矩阵和采集的深度图像发送给所述电子设备。在实现时，如果已知图像采集模组的焦距f和图像中心点的像素坐标(u0,v0)，如下式(1)所示，图像采集模组的内参矩阵F为：式中，表示焦距f在相机坐标系的x轴上的焦距分量；表示焦距f在相机坐标系的y轴上的焦距分量。深度图像又被称为距离图像，是指将图像采集模组到拍摄场景中物体表面各点的距离作为像素值的图像，也就是说，深度图像中像素点的像素值为在三维视觉传感器的视野中，物体表面上的某个点到该传感器镜面的距离，一般将该像素值称为深度值。因此，在已知像素点j的深度值zc的情况下，可以根据如下公式(2)，将像素点j的像素坐标(u,v)转换为相机坐标(xc,yc,zc)：需要说明的是，由于相机坐标系的Z轴为镜头的光轴，因此像素点j的深度值即为该像素点的相机坐标的Z轴坐标值zc。步骤S102，将每一所述像素点的相机坐标与预先构建的点云地图中多个体素的目标世界坐标进行匹配，得出所述图像采集模组的位姿信息。一般来说，所述体素的目标世界坐标为所述体素的某一个点(例如中心点)的世界坐标。在点云地图中，每一所述体素的目标世界坐标是所述电子设备根据多个包括二维样本图像和深度样本图像的样本图像对，更新每一所述体素的初始世界坐标而获得的。点云地图的构建过程可以包括如下实施例中的步骤S501至步骤S503。在实现时，所述位姿信息包括世界坐标；或者，所述位姿信息包本文档来自技高网...

【技术保护点】
1.一种定位方法，其特征在于，所述方法包括：/n根据图像采集模组的内参矩阵和所述图像采集模组采集的深度图像中多个像素点的深度值，将所述多个像素点的像素坐标转换为相机坐标；/n将每一所述像素点的相机坐标与预先构建的点云地图中多个体素的目标世界坐标进行匹配，得出所述图像采集模组的位姿信息；/n其中，每一所述体素的目标世界坐标是根据多个样本图像对更新每一所述体素的初始世界坐标而获得的，所述样本图像对包括二维样本图像和深度样本图像。/n

【技术特征摘要】
1.一种定位方法，其特征在于，所述方法包括：
根据图像采集模组的内参矩阵和所述图像采集模组采集的深度图像中多个像素点的深度值，将所述多个像素点的像素坐标转换为相机坐标；
将每一所述像素点的相机坐标与预先构建的点云地图中多个体素的目标世界坐标进行匹配，得出所述图像采集模组的位姿信息；
其中，每一所述体素的目标世界坐标是根据多个样本图像对更新每一所述体素的初始世界坐标而获得的，所述样本图像对包括二维样本图像和深度样本图像。


2.根据权利要求1所述的方法，其特征在于，所述点云地图的构建过程包括：
对特定物理空间的尺寸进行量化处理，得到多个体素的初始世界坐标；
根据所述图像采集模组在所述特定物理空间中采集的多个样本图像对，对每一所述体素的初始世界坐标进行更新，得到每一所述体素的目标世界坐标；
根据每一所述体素的目标世界坐标，构建所述点云地图。


3.根据权利要求2所述的方法，其特征在于，所述根据所述图像采集模组在所述特定物理空间中采集的多个样本图像对，对每一所述体素的初始世界坐标进行更新，得到每一所述体素的目标世界坐标，包括：
控制所述图像采集模组按照预设帧率采集样本图像对；
根据所述图像采集模组在当前时刻采集的第一样本图像对和在历史时刻采集的第二样本图像对，更新每一所述体素的初始世界坐标；
根据所述第一样本图像对和所述图像采集模组在下一时刻采集的第三样本图像对，继续更新每一所述体素的当前世界坐标，直到样本图像采集结束时，将所述体素的当前世界坐标作为所述目标世界坐标。


4.根据权利要求3所述的方法，其特征在于，所述根据所述图像采集模组在当前时刻采集的第一样本图像对和在历史时刻采集的第二样本图像对，更新每一所述体素的初始世界坐标，包括：
根据所述第一样本图像对和所述第二样本图像对，确定每一所述体素的当前相机坐标；
从所述第一样本图像对的深度样本图像中，获取与每一所述体素的当前像素坐标对应的深度值；
根据每一所述体素的当前相机坐标和与每一所述体素的当前像素坐标对应的深度值，更新与所述体素对应的初始世界坐标。


5.根据权利要求4所述的方法，其特征在于，所述根据每一所述体素的当前相机坐标和与每一所述体素的当前像素坐标对应的深度值，更新与所述体素对应的初始世界坐标，包括：
获取每一所述体素到物体表面的历史距离；
将每一所述体素的当前相机坐标的Z轴坐标值、与每一所述体素的当前像素坐标对应的深度值和每一所述体素到物体表面的历史距离，输入至与所述体素对应的距离模型中，以更新所述历史距离，得到目标距离；
将每一所述体素到物体表面的目标距离，更新为与所述体素对应的初始世界坐标中的Z轴坐标值，以实现对与所述体素对应的初始世界坐标进行更新。


6.根据权利要求4所述的方法，其特征在于，所述根据所述第一样本图像对和所述第二样本图像对，确定每一所述体素的当前相机坐标，包括：
根据所述第一样本图像对和所述第二样本图像对，确定相机坐标系相对于世界坐标系的当前变换关系；
根据所述当前变换关系，将每一所述体素的初始世界坐标转换为当前相机坐标。


7.根据权利要求4所述的方法，其特征在于，所述从所述第一样本图像对的深度样本图像中，获取与每一所述体素的当前像素坐标对应的深度值，包括：
根据所述图像采集模组的内参矩阵，将每一所述体素的当前相机坐标转换为当前像素坐标；
从所述第一样本图像对的深度样本图像中，获取与每一所述体素的当前像素坐标对应的深度值。


8.根据权利要求1至7任一项所述的方...

【专利技术属性】
技术研发人员：金珂，杨宇尘，陈岩，方攀，
申请(专利权)人：OPPO广东移动通信有限公司，
类型：发明
国别省市：广东;44