基于视觉的定位制造技术

本公开实施例提供了一种用于定位的方法、计算设备、系统以及计算机可读存储介质。该方法可以包括：获得图像；基于深度学习模型从所述图像的场景获得相机在世界坐标系下的第一坐标，基于所述第一坐标获得相机在世界坐标系下的初始坐标；以及基于相机在世界坐标系下的初始坐标通过帧间匹配确定相机在世界坐标系下的实时坐标。

Vision-based localization

【技术实现步骤摘要】
基于视觉的定位
本公开涉及室内定位
，尤其涉及一种基于视觉进行定位的方法、计算设备、系统以及计算机可读存储介质。
技术介绍
目前，用于室内定位的方法主要包括基于视觉的定位方法，而基于视觉的定位方法又主要包括基于SLAM(simultaneouslocalizationandmapping)的定位方法以及基于深度学习的定位方法。基于视觉里程计的定位方法是一种基于SLAM的定位方法。在基于视觉里程计的定位方法中，需要预先确定相机在世界坐标系下的初始坐标，然后再基于该初始坐标以及连续的图像序列通过帧间匹配进行定位。此外，该基于视觉里程计的定位方法还需要每间隔一段预设时间就进行累计误差的消除。基于场景的端到端定位方法是一种基于深度学习的定位方法。该基于场景的定位方法基于相机所拍摄的图像的场景直接得到相机在世界坐标系下的三维相姿。
技术实现思路
根据本公开的一个方面，提供了一种基于视觉进行定位的方法。该方法可以包括：获得图像；基于深度学习模型从所述图像的场景获得相机在世界坐标系下的第一坐标，基于所述第一坐标获得相机在世界坐标系下的初始坐标；以及基于相机在世界坐标系下的初始坐标通过帧间匹配确定相机在世界坐标系下的实时坐标。在一个实施例中，所述方法还可以包括：检测所述图像中是否包括标志物，其中所述标志物具有至少3个顶点。在这种情况下，所述基于所述第一坐标获得相机在世界坐标系下的初始坐标包括：响应于所述图像中不包括所述标志物，将所述第一坐标用作相机在世界坐标系下的初始坐标。在一个实施例中，所述方法还可以包括：检测所述图像是否包括标志物，其中所述标志物具有至少3个顶点。在这种情况下，所述基于所述第一坐标获得相机在世界坐标系下的初始坐标包括：响应于所述图像中包括所述标志物，基于所述标志物和第一坐标获得相机在世界坐标系下的第二坐标；以及将所述第二坐标用作相机在世界坐标系下的初始坐标。在一个实施例中，所述基于所述标志物和第一坐标获得相机在世界坐标系下的第二坐标可以包括：基于所述图像获得所述标志物的顶点在相机坐标系下的坐标；基于所述第一坐标从预先存储的多个标志物的顶点在世界坐标系下的坐标检索出所述图像中包括的所述标志物的顶点在世界坐标系下的坐标；基于所述图像中包括的所述标志物的顶点在相机坐标系下的坐标以及所述图像中包括的所述标志物的顶点在世界坐标系下的坐标获得相机坐标系相对于世界坐标系的旋转矩阵和平移矩阵；以及基于所述旋转矩阵和平移矩阵确定相机在世界坐标系下的第二坐标。在一个实施例中，所述检测所述图像中是否包括标志物可以包括：基于单次多框检测器算法检测所述图像中是否包括标志物。在一个实施例中，所述方法还可以包括，以预设的时间间隔更新所述相机在世界坐标系下的初始坐标；以及基于更新的相机在世界坐标系下的初始坐标通过帧间匹配确定相机在世界坐标系下的实时坐标。在一个实施例中，每一次更新所述相机在世界坐标系下的初始坐标可以包括：如前所述那样基于实时获得的图像的场景和/或标志物获得相机在世界坐标系下的初始坐标。在一个实施例中，所述深度学习模型是基于PoseNet网络的深度学习模型。根据本公开的另一个方面，提供了一种基于视觉进行定位的计算设备。该计算设备可以包括：图像获取装置，其被配置成获得图像；初始坐标确定装置，其与图像获取装置相耦合且被配置成，基于深度学习模型从所述图像的场景获得相机在世界坐标系下的第一坐标，以及基于所述第一坐标获得相机在世界坐标系下的初始坐标；以及实时位置确定装置，其与图像获取装置和初始坐标确定装置相耦合，且被配置成，基于相机在世界坐标系下的初始坐标通过帧间匹配确定相机在世界坐标系下的实时坐标。在一个实施例中，所述初始坐标确定装置还可以被配置成：检测所述图像中是否包括标志物，其中所述标志物具有至少3个顶点。在这种情况下，所述基于所述第一坐标获得相机在世界坐标系下的初始坐标可以包括：响应于所述图像中不包括所述标志物，将所述第一坐标用作相机在世界坐标系下的初始坐标。在一个实施例中，所述初始坐标确定装置还可以被配置成：检测所述图像是否包括标志物，其中所述标志物具有至少3个顶点。在这种情况下，所述基于所述第一坐标获得相机在世界坐标系下的初始坐标可以包括：响应于所述图像中包括所述标志物，基于所述标志物和第一坐标获得相机在世界坐标系下的第二坐标；以及将所述第二坐标用作相机在世界坐标系下的初始坐标。在一个实施例中，所述基于所述标志物和第一坐标获得相机在世界坐标系下的第二坐标可以包括：基于所述图像获得所述标志物的顶点在相机坐标系下的坐标；基于所述第一坐标从预先存储的多个标志物的顶点在世界坐标系下的坐标检索出所述图像中包括的所述标志物的顶点在世界坐标系下的坐标；基于所述图像中包括的所述标志物的顶点在相机坐标系下的坐标以及所述图像中包括的所述标志物的顶点在世界坐标系下的坐标获得相机坐标系相对于世界坐标系的旋转矩阵和平移矩阵；以及基于所述旋转矩阵和平移矩阵确定相机在世界坐标系下的第二坐标。在一个实施例中，所述检测所述图像中是否包括标志物可以包括：基于单次多框检测器算法检测所述图像中是否包括标志物。在一个实施例中，所述初始坐标确定装置还可以被配置成：以预设的时间间隔更新所述相机在世界坐标系下的初始坐标；以及其中，所述实时位置确定装置还可以被配置成，基于更新的相机在世界坐标系下的初始坐标通过帧间匹配确定相机在世界坐标系下的实时坐标。在一个实施例中，每一次更新所述相机在世界坐标系下的初始坐标可以包括如前所述那样基于由图像获取装置实时获得的图像的场景和/或标志物获得相机在世界坐标系下的初始坐标。在一个实施例中，所述深度学习模型是基于PoseNet网络的深度学习模型。根据本公开的又一个方面，提供了一种基于视觉进行定位的计算设备。该计算设备可以包括：一个或多个处理器；以及存储器，其上存储有计算机可执行指令，所述计算机可执行指令被配置成当被所述一个或多个处理器执行时，执行如前所述的方法。根据本公开的又一个方面，提供了一种基于视觉进行定位的系统，该系统包括：相机，其被配置成捕获图像；以及如前所述的计算设备，其与相机相耦合且被配置成获得所述图像。根据本公开的再一个方面，提供了一种计算机可读存储介质。所述计算机可读存储介质上存储了计算机可执行指令。所述计算机可执行指令在由一个或多个处理器运行时，使所述一个或多个处理器执行如前所述的方法。附图说明为了更清楚地说明本公开实施例，下面通过参考附图详细描述本公开的实施例。本公开实施例旨在用于解释本公开，而不应理解为对本公开的限制。在附图中，图1示出了根据本公开的实施例的用于基于视觉进行定位的系统的示意图；图2示出了根据本公开的一个实施例的用于基于视觉进行定位的方法的流程的示意图；图3示出了根据本公开的另一个实施例的用于基于视觉进行定位的方法的流程的示意图；以及图4示出了根据本公开的实施例的用于基于视觉进行定位的计算设备的示意图。相同或类似的标号表示相同或类似的元件。具体实施方式基于视觉里程计的定位方法几乎不受环境变化的影响。但是，基于视觉里程计的定位方法需要获取相机在世界坐标系下的初始坐标，并且每间隔一段时间就进行累积误差的消除。然而，相机在世界坐标系下的初始坐标的获取以及累积误差的消除都需要借助于WI本文档来自技高网...

【技术保护点】
1.一种基于视觉进行定位的方法，该方法包括：获得图像；基于深度学习模型从所述图像的场景获得相机在世界坐标系下的第一坐标，基于所述第一坐标获得相机在世界坐标系下的初始坐标；以及基于相机在世界坐标系下的初始坐标通过帧间匹配确定相机在世界坐标系下的实时坐标。

【技术特征摘要】
1.一种基于视觉进行定位的方法，该方法包括：获得图像；基于深度学习模型从所述图像的场景获得相机在世界坐标系下的第一坐标，基于所述第一坐标获得相机在世界坐标系下的初始坐标；以及基于相机在世界坐标系下的初始坐标通过帧间匹配确定相机在世界坐标系下的实时坐标。2.根据权利要求1所述的方法，还包括：检测所述图像中是否包括标志物，其中所述标志物具有至少3个顶点；以及，所述基于所述第一坐标获得相机在世界坐标系下的初始坐标包括：响应于所述图像中不包括所述标志物，将所述第一坐标用作相机在世界坐标系下的初始坐标。3.根据权利要求1所述的方法，还包括：检测所述图像是否包括标志物，其中所述标志物具有至少3个顶点；以及，所述基于所述第一坐标获得相机在世界坐标系下的初始坐标包括：响应于所述图像中包括所述标志物，基于所述标志物和第一坐标获得相机在世界坐标系下的第二坐标；以及　　将所述第二坐标用作相机在世界坐标系下的初始坐标。4.根据权利要求3所述的方法，其中，所述基于所述标志物和第一坐标获得相机在世界坐标系下的第二坐标包括：基于所述图像获得所述标志物的顶点在相机坐标系下的坐标；基于所述第一坐标从预先存储的多个标志物的顶点在世界坐标系下的坐标检索出所述图像中包括的所述标志物的顶点在世界坐标系下的坐标；基于所述图像中包括的所述标志物的顶点在相机坐标系下的坐标以及所述图像中包括的所述标志物的顶点在世界坐标系下的坐标获得相机坐标系相对于世界坐标系的旋转矩阵和平移矩阵；以及基于所述旋转矩阵和平移矩阵确定相机在世界坐标系下的第二坐标。5.根据权利要求2或3所述的方法，其中，所述检测所述图像中是否包括标志物，包括：基于单次多框检测器算法检测所述图像中是否包括标志物。6.根据权利要求1所述的方法，还包括，以预设的时间间隔更新所述相机在世界坐标系下的初始坐标；以及基于更新的相机在世界坐标系下的初始坐标通过帧间匹配确定相机在世界坐标系下的实时坐标。7.根据权利要求6所述的方法，其中每一次更新所述相机在世界坐标系下的初始坐标包括：基于实时获得的图像的场景和/或标志物获得相机在世界坐标系下的初始坐标。8.根据权利要求1所述的方法，其中，所述深度学习模型是基于PoseNet网络的深度学习模型。9.一种基于视觉进行定位的计算设备，该计算设备包括：图像获取装置，其被配置成获得图像；初始坐标确定装置，其与图像获取装置相耦合且被配置成：基于深度学习模型从所述图像的场景获得相机在世界坐标系下的第一坐标，基于所述第一坐标获得相机在世界坐标系下的初始坐标；实时位置确定装置，其与图像获取装置和初始坐标确定装置相耦合，且被配置成，基于相机在世界坐标系下的初始坐标通过帧间匹配确定相机在世界坐标系下的实时坐标。10.根据权利要求9所述的...

【专利技术属性】
技术研发人员：李月，许景涛，刘童，
申请(专利权)人：京东方科技集团股份有限公司，
类型：发明
国别省市：北京,11