一种基于单目相机的物体位姿估计方法、装置及设备制造方法及图纸

一种基于单目相机的物体位姿估计方法包括：通过单目相机采集图像，提取所采集的图像中的特征点和特征描述子；根据所述特征描述子将所述特征点与预设的模型进行匹配，得到与预设模型匹配的匹配点；根据匹配点的位置进行聚类运算，生成与物体对应的、由多个特征点构成的第一子集；通过拟合算法获取第一子集所对应的位姿，由多个位姿构成第一位姿集合；根据位姿的相似性将第一位姿集合中的位姿合并，得到场景中物体的位姿。在有多个相同物体的场景下，可以通过聚类的第一子集进行匹配，有利于提高位姿计算的准确度，并且通过拟合得到多个位姿后，将相似的位姿合并，减少了位姿迭代时造成的冗余，提高位姿计算效率。

【技术实现步骤摘要】
一种基于单目相机的物体位姿估计方法、装置及设备
本申请属于图像处理领域，尤其涉及一种基于单目相机的物体位姿估计方法、装置及设备。
技术介绍
物体位姿估计(Poseestimation)在计算机视觉领域扮演着十分重要的角色。在使用视觉传感器估计机器人位姿进行控制、机器人导航、增强现实以及其它方面都有着极大的应用。基于视觉的位姿估计方法总的来说分为三种，分别为基于标记marker的位姿估计、基于模型model的位姿估计等。其中，基于标记marker的位姿估计方法，首先需要在待估计物体上粘贴特定的标识物，一般为二维码，然后通过算法识别二维码的四个角点的图像坐标，最后联合四个角点的世界坐标通过PnP算法求出物体相对于摄像机的6D位姿，该方法虽然精度较高，由于物体需要具有平面才能粘贴marker，因此具有很大的局限性。为了克服局限性缺陷，可以采用基于模型model的方法，首先建立待估计物体的3D模型，然后通过特征点匹配的方法在图像与模型之间寻找多对2D-3D点，最后利用迭代优化的方法获取6D位姿，该方法通用性较强。但是，基于模型model的方法在实际应用中，当场景中存在多个同样物体时，由于同样的物体其特征是相同或相似的，因此在特征匹配时会存在一对多的想象，从而在位姿计算时会出错，无法获得每个物体的位姿；并且由于存在大量相同或相似的特征点，在位姿迭代求解时，需要迭代的次数将无法预估，从而降低算法的效率，并且占用大量的计算资源，无法达到实时估计。
技术实现思路
有鉴于此，本申请实施例提供了一种基于单目相机的物体位姿估计方法、装置及设备，以解决现有技术中由于场景中可能存在多个同样物体，可能会导致位姿计算出错，并且可能会降低位姿计算效率的问题。本申请实施例的第一方面提供了一种基于单目相机的物体位姿估计方法，所述基于单目相机的物体位姿估计方法包括：通过单目相机采集图像，提取所采集的图像中的特征点和特征描述子；根据所述特征描述子将所述特征点与预设的模型进行匹配，得到与预设模型匹配的匹配点；根据匹配点的位置进行聚类运算，生成与物体对应的、由多个特征点构成的第一子集；通过拟合算法获取第一子集所对应的位姿，由多个位姿构成第一位姿集合；根据位姿的相似性将第一位姿集合中的位姿合并，得到场景中物体的位姿。结合第一方面，在第一方面的第一种可能实现方式中，在所述根据位姿的相似性将集合中的位姿合并，得到场景中物体的位姿的步骤之前，所述方法还包括：调整聚类阈值，对位姿集合中的位姿再次进行聚类，得到物体对应的、由多个特征点构成的第二子集；通过拟合算法获取第二子集所对应的位姿，由多个位姿构成第二位姿集合；反复上述聚类和拟合步骤，直到达到最大拟合次数或者没有再次聚类的特征点。结合第一方面或第一方面的第一种可能实现方式，在第一方面的第二种可能实现方式中，在所述提取所采集的图像中的特征点和特征描述子的步骤之前，所述方法还包括：获取单目相机的内参数和/或畸变系数；根据所获取的内参数和/或畸变系数，消除所采集的图像的畸变。结合第一方面或第一方面的第一种可能实现方式，在第一方面的第三种可能实现方式中，所述根据匹配点的位置进行聚类运算，生成与物体对应的、由多个特征点构成的第一子集的步骤包括：根据均值漂移meansift算法对图像中的匹配点进行聚类运算，获取多个匹配的特征点构成的第一子集。结合第一方面或第一方面的第一种可能实现方式，在第一方面的第四种可能实现方式中，所述通过拟合算法获取第一子集所对应的位姿的步骤包括：通过随机一致性采样RANSAC算法，对每个第一子集中的特征点进行迭代优化，获取与预设模型拟合的特征点最多时所对应的特征点；根据拟合的特征点最多时的特征点确定所述第一子集对应的物体的位姿。结合第一方面或第一方面的第一种可能实现方式，在第一方面的第五种可能实现方式中，在所述根据所述特征描述子将所述特征点与预设的模型进行匹配的步骤之前，所述方法还包括：对物体进行360度环绕拍照，得到物体的连贯图像序列；根据相机的内参数和畸变系数对图像序列进行消畸变处理；提取畸变处理后的所述图像序列中的特征点及其对应的特征描述子；基于运动重构SFM算法，建立物体的稀疏三维点云模型，保存三维点云模型中的三维点及其对应的特征描述子。结合第一方面的第五种可能实现方式，在第一方面的第六种可能实现方式中，在所述得到物体的连贯图像序列的步骤之后，所述方法还包括：获取图像序列中该物体的掩膜MASK区域；提取所述掩膜MASK区域的特征点及其对应的特征描述子；在基于运动重构SFM算法，建立物体的稀疏三维点云模型后，保存MASK区域的三维点及其对应的特征描述子。本申请实施例的第二方面提供了一种基于单目相机的物体位姿估计装置，所述基于单目相机的物体位姿估计装置包括：特征提取单元，用于通过单目相机采集图像，提取所采集的图像中的特征点和特征描述子；匹配单元，用于根据所述特征描述子将所述特征点与预设的模型进行匹配，得到与预设模型匹配的匹配点；聚类单元，用于根据匹配点的位置进行聚类运算，生成与物体对应的、由多个特征点构成的第一子集；位姿获取单元，用于通过拟合算法获取第一子集所对应的位姿，由多个位姿构成第一位姿集合；位姿合并单元，用于根据位姿的相似性将第一位姿集合中的位姿合并，得到场景中物体的位姿。本申请实施例的第三方面提供了一种基于单目相机的物体位姿估计设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如第一方面任一项所述基于单目相机的物体位姿估计方法的步骤。本申请实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如第一方面任一项所述基于单目相机的物体位姿估计方法的步骤。本申请实施例与现有技术相比存在的有益效果是：通过单目相机采集图像后，提取图像中包括的特征点以及特征点对应的特征描述子，通过特征描述子将所述特征点与预设的模型进行匹配，得到与模型匹配的匹配点，然后根据匹配点的位置进行聚类运算，得到一个或者多个第一子集，在每一个第一子集中，包括多个匹配点，并通过拟合第一子集中的特征点，从而得到每个第一子集对应的物体的位姿，由多个位姿构成第一位姿集合，然后根据相似性对位姿进行合并，从而在有多个相同物体的场景下，可以通过聚类的第一子集进行匹配，有利于提高位姿计算的准确度，并且通过拟合得到多个位姿后，将相似的位姿合并，减少了位姿迭代时造成的冗余，提高位姿计算效率。附图说明为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来本文档来自技高网...

【技术保护点】
1.一种基于单目相机的物体位姿估计方法，其特征在于，所述基于单目相机的物体位姿估计方法包括：/n通过单目相机采集图像，提取所采集的图像中的特征点和特征描述子；/n根据所述特征描述子将所述特征点与预设的模型进行匹配，得到与预设模型匹配的匹配点；/n根据匹配点的位置进行聚类运算，生成与物体对应的、由多个特征点构成的第一子集；/n通过拟合算法获取第一子集所对应的位姿，由多个位姿构成第一位姿集合；/n根据位姿的相似性将第一位姿集合中的位姿合并，得到场景中物体的位姿。/n

【技术特征摘要】
1.一种基于单目相机的物体位姿估计方法，其特征在于，所述基于单目相机的物体位姿估计方法包括：
通过单目相机采集图像，提取所采集的图像中的特征点和特征描述子；
根据所述特征描述子将所述特征点与预设的模型进行匹配，得到与预设模型匹配的匹配点；
根据匹配点的位置进行聚类运算，生成与物体对应的、由多个特征点构成的第一子集；
通过拟合算法获取第一子集所对应的位姿，由多个位姿构成第一位姿集合；
根据位姿的相似性将第一位姿集合中的位姿合并，得到场景中物体的位姿。


2.根据权利要求1所述的基于单目相机的物体位姿估计方法，其特征在于，在所述根据位姿的相似性将集合中的位姿合并，得到场景中物体的位姿的步骤之前，所述方法还包括：
调整聚类阈值，对位姿集合中的位姿再次进行聚类，得到物体对应的、由多个特征点构成的第二子集；
通过拟合算法获取第二子集所对应的位姿，由多个位姿构成第二位姿集合；
反复上述聚类和拟合步骤，直到达到最大拟合次数或者没有再次聚类的特征点。


3.根据权利要求1或2所述的基于单目相机的物体位姿估计方法，其特征在于，在所述提取所采集的图像中的特征点和特征描述子的步骤之前，所述方法还包括：
获取单目相机的内参数和/或畸变系数；
根据所获取的内参数和/或畸变系数，消除所采集的图像的畸变。


4.根据权利要求1或2所述的基于单目相机的物体位姿估计方法，其特征在于，所述根据匹配点的位置进行聚类运算，生成与物体对应的、由多个特征点构成的第一子集的步骤包括：
根据均值漂移meansift算法对图像中的匹配点进行聚类运算，获取多个匹配的特征点构成的第一子集。


5.根据权利要求1或2所述的基于单目相机的物体位姿估计方法，其特征在于，所述通过拟合算法获取第一子集所对应的位姿的步骤包括：
通过随机一致性采样RANSAC算法，对每个第一子集中的特征点进行迭代优化，获取与预设模型拟合的特征点最多时所对应的特征点；
根据拟合的特征点最多时的特征点确定所述第一子集对应的物体的位姿。


...

【专利技术属性】
技术研发人员：熊友军，张惊涛，张万里，李懿，庞建新，
申请(专利权)人：深圳市优必选科技有限公司，
类型：发明
国别省市：广东;44