基于参考平面的高精度物体多自由度姿态估计方法及系统技术方案

本发明专利技术公开了基于参考平面的高精度物体多自由度姿态估计方法及其系统。基于参考平面的高精度物体多自由度姿态估计方法，包括以下步骤：步骤S1：由至少一成像设备实时成像并且实时输出包含待多自由度姿态估计的上述物体的一信息流，上述物体相对于上述参考平面具有有限个稳定的多自由度状态；步骤S2：至少一存储设备被事先预置或者被实时录入上述物体和/或上述成像设备的至少一先验知识信息。本发明专利技术公开的基于参考平面的高精度物体多自由度姿态估计方法及系统，试验表明可有效地部署于工业生产环境中，具有较高的可靠性和运行效率。

【技术实现步骤摘要】
基于参考平面的高精度物体多自由度姿态估计方法及系统
本专利技术属于智能制造
，具体涉及一种基于参考平面的高精度物体多自由度姿态估计方法和一种基于参考平面的高精度物体多自由度姿态估计系统。
技术介绍
在工业领域，若想在现有的自动化水平上，进一步提高设备的柔性生产能力或进一步替代人工操作，配备智能视觉系统将是很难绕开的选择。而且，在智能视觉系统中，对物体多自由度姿态估计，往往是机器人柔性操作的先导条件。在过往的十几年中，已经有了很多多自由度姿态估计的方法，但由于场景的复杂性，物体的多自由度姿态估计仍具有非常大的挑战性。现有的方法大体可分为两类：一类是传统的各种匹配方法，包括模板匹配、描述子匹配、特征匹配等等，其缺点是对光照的变化、物体表面纹理敏感，而且一些精匹配的算法费时费力；另一类是新型的各种基于深度学习的方法，由于深度神经网络的强表示能力，确实改善了对环境变化的适应性，但精度还是很差，很难在精度、效率、可靠性都要求相对高的工业领域实际部署应用。经长时间的在生产实践中观察发现，物体置于平面上是一种很普遍的场景，或者说，需要对平面上的物体进行6D(六自由度)姿态估计的情况也是个很普遍的情况，而且很多物体在平面上的稳定状态仅有有限的几种，所以若将物体与平面的相对关系，以及摄像头与平面的相对关系的先验知识应用于物体姿态估计，再结合最新的深度学习技术，可以知道，其效果的提升，将在以往的方法还不能有效解决问题的场景中实现应用，实现机器替代人工或提升设备柔性生产能力，所以需要予以进一步改进。专利技术内容本专利技术针对现有技术的状况，克服以上缺陷，提供一种基于参考平面的高精度物体多自由度姿态估计方法和一种基于参考平面的高精度物体多自由度姿态估计系统。本专利技术专利申请公开的基于参考平面的高精度物体多自由度姿态估计方法及系统，其主要目的在于，试验表明可有效地部署于工业生产环境中，特别是汽车零部件生产环境，具有较高的可靠性和运行效率。本专利技术专利申请公开的基于参考平面的高精度物体多自由度姿态估计方法及系统，其另一目的在于，除预置的先验知识部分外，在全流程充分体现实时性。本专利技术采用以下技术方案，所述基于参考平面的高精度物体多自由度姿态估计方法，用于多自由度地估计一物体，上述物体相对于预设的一参考平面设置，包括以下步骤：步骤S1：由至少一成像设备实时成像并且实时输出包含待多自由度姿态估计的上述物体的一信息流，上述物体相对于上述参考平面具有有限个稳定的多自由度状态；步骤S2：至少一存储设备被事先预置或者被实时录入上述物体和/或上述成像设备的至少一先验知识信息；步骤S3：根据所述先验知识信息，结合预设的一关键点识别方法，实时获取并且输出上述物体相对于一摄像机坐标系的多自由度姿态。根据上述技术方案，作为上述技术方案的进一步优选技术方案，步骤S1具体实施为以下步骤：由至少一摄像头实时成像并且实时输出包括待多自由度姿态估计的上述物体的至少一图片。根据上述技术方案，作为上述技术方案的进一步优选技术方案，步骤S2中，所述先验知识信息藉由测量、标定，或向设备厂家索取，或查相应手册方式获得，所述先验知识信息包括但不限于：摄像头内参数；待多自由度姿态估计的上述物体的三维数模；物体在状态i下参考点到参考平面的距离，记为di1,di2,di3,…，i代表第i种稳定状态,参考点可在物体上自由选取；测量摄像头光轴线与参考平面的夹角，记为θ；当0<θ<90°时,测量摄像头绕其光轴线旋转的角度α，以摄像头X轴与参考平面平行Y轴正方向在靠近参考平面一侧时α＝0，沿着摄像头的Z轴，右手法则，逆时针方向α为正，顺时针方向α为负，当θ＝90°时，不需要测量α值；测量摄像头坐标系原点到参考平面的距离，记为hc。根据上述技术方案，作为上述技术方案的进一步优选技术方案，步骤S3具体实施为以下任一条步骤：实时生成上述物体相对于所述摄像头的一摄像头坐标系的一姿态，或者实时生成上述物体的至少一点相对于所述摄像头的一摄像头坐标系的至少一坐标。根据上述技术方案，作为上述技术方案的进一步优选技术方案，步骤S3中，所述关键点识别方法，具体实施为以下任一类步骤的集合：步骤SP3.1：首先对物体进行目标检测，输入的是图像，输出的是目标位置，常用包含目标物的方框表示，用输出的方框crop图像，如果是多个目标，用padding统一尺寸后堆叠在一起形成一个batch送入关键点识别网络；步骤SP3.2：用diamondnet实现物体关键点识别；步骤SP3.3：用各种pnp方法粗略估计物体姿态，目的是确定物体相对于参考平面处于哪种状态；步骤SP3.4：确认当前状态i；或者：步骤S3中，所述关键点识别方法，具体实施为以下步骤：步骤SQ3.1：如果待检测的物体种类为一种或几种，且待识别的关键点数较少，藉由diamondnet加上关键点heatmap局部非极大值抑制以及关键点聚类的方法，同时实现关键点识别与物体检测；步骤SQ3.2：用各种pnp方法粗略估计物体姿态，目的是确定物体相对于参考平面处于哪种状态；步骤SQ3.3：确认当前状态i；或者：藉由现有的物体6d姿态估计方法确认物体处于哪种稳定状态i；用关键点识别网络识别出图像上物体的关键点。根据上述技术方案，作为上述技术方案的进一步优选技术方案，所述关键点识别方法，还包括以下步骤：步骤SW3.1：藉由以上两阶段信息，计算出坐标轴axis_i上的典型点(0,0,0)，(s,0,0)，(0,s,0)，(0,0,s)，其中，s可取大于0的任意值，在摄像机图像像素坐标系的二维坐标值及摄像机坐标系的三维坐标值；步骤SW3.2：先求取axis_i坐标原点也就是axis_i坐标下(0,0,0)点在摄像机图像像素坐标系的二维坐标值。根据上述技术方案，作为上述技术方案的进一步优选技术方案，所述关键点识别方法，还包括以下步骤：步骤SW3.3：藉由深度神经网络识别出来的，在摄像头获取的图像中参考点对应的非共线的三个关键点的位置，记为(uk,vk)、(um,vm)、(un,vn)，所述三个关键点对应的参考点在参考平面上的垂直投影点记为pki,pmi,pni，由上述的先验知识信息，上述垂直投影点相对于局部坐标系axis_i的坐标为已知；步骤SW3.4：藉由上述的先验知识信息以及关键点和垂直投影点的坐标信息，获得axis_i坐标系上的(0,0,0)，(s,0,0)，(0,s,0)，(0,0,s)点对应摄像机图像像素坐标系的像素坐标，并求得axis_i坐标系上的(0,0,0)，(s,0,0)，(0,s,0)，(0,0,s)点在摄像机坐标系的坐标，继而采用ransac，ict或直接带入变换方程求解方程组的方法求取axis_i坐标系到摄像机坐标系的变换关系，由于上述axis_i坐标系上的(0,0,0)，(s,0,0)，(0,s,0)，(0,0,s)点对应本文档来自技高网...

【技术保护点】
1.一种基于参考平面的高精度物体多自由度姿态估计方法，其特征在于，用于多自由度地估计一物体，上述物体相对于预设的一参考平面设置，包括以下步骤：/n步骤S1：由至少一成像设备实时成像并且实时输出包含待多自由度姿态估计的上述物体的一信息流，上述物体相对于上述参考平面具有有限个稳定的多自由度状态；/n步骤S2：至少一存储设备被事先预置或者被实时录入上述物体和/或上述成像设备的至少一先验知识信息；/n步骤S3：根据所述先验知识信息，结合预设的一关键点识别方法，实时获取并且输出上述物体相对于一摄像机坐标系的多自由度姿态。/n

【技术特征摘要】
1.一种基于参考平面的高精度物体多自由度姿态估计方法，其特征在于，用于多自由度地估计一物体，上述物体相对于预设的一参考平面设置，包括以下步骤：
步骤S1：由至少一成像设备实时成像并且实时输出包含待多自由度姿态估计的上述物体的一信息流，上述物体相对于上述参考平面具有有限个稳定的多自由度状态；
步骤S2：至少一存储设备被事先预置或者被实时录入上述物体和/或上述成像设备的至少一先验知识信息；
步骤S3：根据所述先验知识信息，结合预设的一关键点识别方法，实时获取并且输出上述物体相对于一摄像机坐标系的多自由度姿态。


2.根据权利要求1所述的基于参考平面的高精度物体多自由度姿态估计方法，其特征在于，步骤S1具体实施为以下步骤：由至少一摄像头实时成像并且实时输出包括待多自由度姿态估计的上述物体的至少一图片。


3.根据权利要求2所述的基于参考平面的高精度物体多自由度姿态估计方法，其特征在于，步骤S2中，所述先验知识信息藉由测量、标定，或向设备厂家索取，或查相应手册方式获得，所述先验知识信息包括但不限于：
摄像头内参数；
待多自由度姿态估计的上述物体的三维数模；
物体在状态i下参考点到参考平面的距离，记为di1,di2,di3,…，i代表第i种稳定状态,参考点可在物体上自由选取；
测量摄像头光轴线与参考平面的夹角，记为θ；
当0<θ<90°时,测量摄像头绕其光轴线旋转的角度α，以摄像头X轴与参考平面平行Y轴正方向在靠近上述参考平面一侧时α＝0，沿着摄像头的Z轴，右手法则，逆时针方向α为正，顺时针方向α为负，当θ＝90°时，不需要测量α值；
测量摄像头坐标系原点到参考平面的距离，记为hc。


4.根据权利要求3所述的基于参考平面的高精度物体多自由度姿态估计方法，其特征在于，步骤S3具体实施为以下任一条步骤：实时生成上述物体相对于所述摄像头的一摄像头坐标系的一姿态，或者实时生成上述物体的至少一点相对于所述摄像头的一摄像头坐标系的至少一坐标。


5.根据权利要求4所述的基于参考平面的高精度物体多自由度姿态估计方法，其特征在于，步骤S3中，所述关键点识别方法，具体实施为以下任一类步骤的集合：
步骤SP3.1：首先对物体进行目标检测，输入的是图像，输出的是目标位置，常用包含目标物的方框表示，用输出的方框crop图像，如果是多个目标，用padding统一尺寸后堆叠在一起形成一个batch送入关键点识别网络；
步骤SP3.2：用diamondnet实现物体关键点识别；
步骤SP3.3：用各种pnp方法粗略估计物体姿态，目的是确定物体相对于参考平面处于哪种状态；
步骤SP3.4：确认当前状态i；或者：
步骤S3中，所述关键点识别方法，具体实施为以下步骤：
步骤SQ3.1：如果待检测的物体种类为一种或几种，且待识别的关键点数较少，藉由diamondnet加上关键点heatmap局部非极大值抑制以及关键点聚类的方法，同时实现关键...

【专利技术属性】
技术研发人员：裴成学，
申请(专利权)人：裴成学，
类型：发明
国别省市：内蒙古;15