基于单纯码的自动建图方法和装置、定位方法及设备制造方法及图纸

本申请提供一种基于单纯码的自动建图方法和装置、定位方法及设备，涉及机器人的视觉定位与导航领域。一种基于单纯码的自动建图方法包括：获取含有单纯码标记点的一系列图片帧；对所述一系列图片帧进行特征提取以获取特征点；对所述一系列图片帧进行特征点关联；确定所述一系列图片帧中的关键帧；对所述关键帧和已关联的特征点进行基于全局优化的三维重建，得到所述特征点的三维坐标。根据本申请实施例的技术方案，采用自动化建图，成本低；设置单纯码，没有位置和密度限制，易用性很高；基于中心坐标相对于其他基于角点坐标的方案，可以提高精度。

【技术实现步骤摘要】
基于单纯码的自动建图方法和装置、定位方法及设备
本申请涉及机器人的视觉定位与导航领域，具体涉及一种基于单纯码的自动建图方法和装置、定位方法及设备。
技术介绍
目前，室内机器人越来越多地应用于多种场景：工业厂房、大型商场和家庭等。这些机器人也越来越智能，而自主定位和导航是一种让机器人更智能的基础性技术。然而，基于视觉的机器人自主定位和导航技术尚不成熟。视觉自主定位和导航技术依据其使用的特征可分为人工特征和自然特征两大类。基于人工特征的方案需要在场景中粘贴标签。标签易损坏、维护成本高，更重要的是标签的三维位置测量繁琐。基于自然特征的方案的问题是场景要求严格，针对纹理性弱、光照强度变化大等场景的鲁棒性较差。因此，需要开发方便、易用的建图方式及定位方式。
技术实现思路
本申请旨在提供一种基于单纯码的自动建图方法和装置、定位方法及设备，能够实现自动建图并提高现有的基于标记点的建图的精度。根据本申请的一方面，提出一种基于单纯码的自动建图方法，包括：获取含有单纯码标记点的一系列图片帧；对所述一系列图片帧进行特征提取以获取特征点；对所述一系列图片帧进行特征点关联；确定所述一系列图片帧中的关键帧；对所述关键帧和已关联的特征点进行基于全局优化的三维重建，得到所述特征点的三维坐标。根据一些实施例，前述方法还包括：所述单纯码标记点随机设置在空间表面上。根据一些实施例，前述方法还包括：对所述一系列图片进行特征提取，包括：对所述一系列图片帧进行提取中心坐标操作，得到所述单纯码标记点的中心二维坐标值作为特征点。根据一些实施例，前述方法还包括：对所述一系列图片帧进行特征点关联，包括：将新获取的图片帧与上一图片帧进行第一特征点关联；将新获取的图片帧与所述三维点云地图进行第二特征点关联，所述三维点云地图由已关联特征点的三维坐标生成；基于所述第一特征点关联和所述第二特征点关联的结果，将特征点分类，并形成特征点关联记录；维护特征点的三维点云地图。根据一些实施例，前述方法还包括：将特征点分类为连续跟踪点、丢失跟踪点和新来点。根据一些实施例，前述方法还包括：特征点关联记录包括：每个特征点在所在帧的像素坐标<tx,ty>、每个特征点所在帧的帧号、特征点关联关系。根据一些实施例，所述维护三维点云地图，包括：根据不断加入的新获取的图片帧的特征点，持续优化形成三维点云地图。根据一些实施例，前述方法还包括：确定所述一系列图片帧中的关键帧，包括：确定满足下列条件的新获取的图片帧为关键帧：dt>t1或dt>t2&dr>d1或dr>d2&df>N其中：dt为新获取的图片帧相对于上一关键帧的位移，t1为第一位移阈值，t2为第二位移阈值，dr为新获取的图片帧相对于上一关键帧的旋转角度值，d1为旋转角度第一阈值，d2为旋转角度第二阈值，df为新获取的图片帧相对于上一关键帧的间隔帧数，N为间隔帧数阈值。根据一些实施例，前述方法还包括：对所述关键帧和已关联的特征点进行基于全局优化的三维重建，包括：利用SFM算法对所述关键帧和已关联的特征点进行基于全局优化的三维重建。根据一些实施例，前述方法还包括：利用SFM算法对所述关键帧和已关联的特征点进行基于全局优化的三维重建，包括：解算任两关键帧之间的相对旋转量；解算每一关键帧在坐标系中的绝对旋转量；解算任两关键帧之间的相对平移量；解算每一关键帧在坐标系中的绝对平移量；对每个特征点进行三角化，得到其三维坐标；利用全局光束调整方法优化每个特征点的三维坐标。根据本申请的一方面，一种定位方法，包括：获取含有单纯码标记点的一系列图片帧；利用上文中所述的自动建图方法获得的特征点三维坐标进行定位。根据本申请的一方面，一种定位方法，包括：在空间表面上随机设置单纯码标记点。根据本申请的一方面，一种装置，包括：获取模块，用于获取含有单纯码标记点的一系列图片帧；提取模块，用于对所述一系列图片帧进行特征提取以获取特征点；特征关联模块，用于对所述一系列图片帧进行特征点关联；关键帧模块，用于确定所述一系列图片帧中的关键帧；重建模块，用于对所述关键帧和已关联的特征点进行基于全局优化的三维重建，得到所述特征点的三维坐标。根据本申请的一方面，一种电子设备，包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上文中任一项所述的方法。根据本申请示例实施例，通过设置单纯码标记点及获取到含有标记点的一系列图片帧，采用自动化方式进行建图，使得建图成本低、效率高且精度高。根据一些实施例，通过在空间表面设置单纯码，没有位置和密度限制，易用性很高；根据一些实施例，基于中心坐标相对于其他基于角点坐标的方案，精度会提高。应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本申请。附图说明通过参照附图详细描述其示例实施例，本申请的上述和其它目标、特征及优点将变得更加显而易见。下面描述的附图仅仅是本申请的一些实施例，而不是对本申请的限制。图1示出根据一示例性实施例的ArUco码。图2示出根据一示例性实施例的ArUco码在空间中的布局。图3示出根据本申请实施例的基于单纯码的自动建图方法的流程图。图4示出根据一示例性实施例的相机拍摄到的原始图片。图5示出根据一示例性实施例的经过处理后提取中心的图片。图6示出根据一示例性实施例的两图片帧之间的特征点关联的结果图。图7示出根据一示例性实施例的全局优化三维重建流程。图8示出根据一示例性实施例的基于单纯码的自动建图装置的框图。图9示出根据一示例性实施例的一种电子设备的框图。具体实施方式现在将参考附图更全面地描述示例实施例。然而，示例实施例能够以多种形式实施，且不应被理解为限于在此阐述的实施例；相反，提供这些实施例使得本申请将全面和完整，并将示例实施例的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本申请的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本申请的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本申请的各方面。附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这本文档来自技高网...

【技术保护点】
1.一种基于单纯码的自动建图方法，其特征在于，包括：/n获取含有单纯码标记点的一系列图片帧；/n对所述一系列图片帧进行特征提取以获取特征点；/n对所述一系列图片帧进行特征点关联；/n确定所述一系列图片帧中的关键帧；/n对所述关键帧和已关联的特征点进行基于全局优化的三维重建，得到所述特征点的三维坐标。/n

【技术特征摘要】
1.一种基于单纯码的自动建图方法，其特征在于，包括：
获取含有单纯码标记点的一系列图片帧；
对所述一系列图片帧进行特征提取以获取特征点；
对所述一系列图片帧进行特征点关联；
确定所述一系列图片帧中的关键帧；
对所述关键帧和已关联的特征点进行基于全局优化的三维重建，得到所述特征点的三维坐标。


2.根据权利要求1所述的自动建图方法，其特征在于，包括：
所述单纯码标记点随机设置在空间表面上。


3.根据权利要求1所述的自动建图方法，其特征在于，对所述一系列图片进行特征点提取，包括：
对所述一系列图片帧进行提取中心坐标操作，得到所述单纯码标记点的中心二维坐标值作为特征点。


4.根据权利要求1所述的自动建图方法，其特征在于，对所述一系列图片帧进行特征点关联，包括：
将新获取的图片帧与上一图片帧进行第一特征点关联；
将新获取的图片帧与三维点云地图进行第二特征点关联，所述三维点云地图由已关联特征点的三维坐标生成；
基于所述第一特征点关联和所述第二特征点关联的结果，将特征点分类，并形成特征点关联记录；
维护所述三维点云地图。


5.根据权利要求4所述的自动建图方法，其特征在于，将特征点分类，包括：将特征点分类为连续跟踪点、丢失跟踪点和新来点。


6.根据权利要求4所述的自动建图方法，其特征在于，所述特征点关联记录，包括：
每个特征点在所在帧的像素坐标<tx,ty>、每个特征点所在帧的帧号、特征点关联关...

【专利技术属性】
技术研发人员：周洋，赵京燕，
申请(专利权)人：北京行动智能科技有限公司，
类型：发明
国别省市：北京;11