一种三维目标物体的实时位姿估计方法及定位抓取系统技术方案

一种三维目标物体的实时位姿估计方法及定位抓取系统，该实时位姿估计方法包括：获取目标物体的三维的图形信息；根据图形信息计算得到目标物体的局部特征描述子；利用预先建立的三维模型数据库，通过局部特征描述子对目标物体进行三维的位姿估计，得到目标物体的位姿信息；输出得到的位姿信息。本申请将请求保护的实时位姿估计方法应用于三维目标物体的定位抓取系统之中，能够使得控制器根据处理器输出的位姿信息控制运动机构准确地抓取目标物体，在保证抓取效率的同时还能有效地提高抓取准确度，增强定位抓取系统在应用过程中的实用性能。

A real-time pose estimation method of three-dimensional object and its position grabbing system

【技术实现步骤摘要】
一种三维目标物体的实时位姿估计方法及定位抓取系统
本专利技术涉及机器视觉
，具体涉及一种三维目标物体的实时位姿估计方法及定位抓取系统。
技术介绍
在当今的制造业中，装配过程所用的时间占整个生产制造过程的20％-70％，花费的资金占生产费用的40％以上，其中包括很大一部分的人力劳动费用。为了提高生产效率，降低人力成本，人们开始探索利用机器人实现自动化装配。零件识别与抓取位置规划作为自动化装配过程中不可缺少的重要环节，对装配的质量有至关重要的影响，基于视觉的零件位姿判定与抓取位置规划可以明显提高产品装配的自动化程度、灵活度，减少耗时并降低成本，从而提高生产制造效率。机器人自动化装配涉及两项关键技术：零件识别与自动抓取。面对复杂的作业环境以及产品的多样化需求，从场景中识别需要装配的零件，并完成抓取送达安装工位，如何提升准确性和保证高效性是需要克服的技术难题。基于计算机视觉的零件识别算法按照处理数据类型的不同，可以分为两类：基于二维图像的识别、基于三维点云信息的识别。物体的三维点云是指其表面轮廓上的采样点集，具有空间坐标信息；对于机械零件而言，其标准CAD模型往往是已知的，则通过匹配目标点云与标准模型点云，即可识别零件，得到两者的旋转平移关系。点云匹配有两类常用方法：基于特征匹配的算法和迭代最近点(ICP)的算法。我国是一个制造大国，很多企业都需要对产品进行检测、分栋、上下料抓取等工艺操作，这对于工作在自动化生产线上或者柔性制造系统中的机器人来说，完成最多的一类操作是“抓取-放置”动作，这与机器人的视觉系统密切相关。机器视觉主要用于工件抓取、分掠、码操、质量检测、装配、工件跟踪等工业应用，当前2D视觉抓取应用广泛，但当工件散乱堆放、存在遮挡的情况下，工件不同角度的形状和特征都不一样，2D视觉没有鲁棒性好的解决方案。因此，研究工业机器人智能视觉传感器提高机器人智能程度成为解决工业生产物件智能夹取的关键问题。目前工业生产中，生产呈现以下趋势：a)多品类、小批量生产；b)在喷涂、大型设备等恶劣环境下，使用机器人代替人工完成定位组装；c)多工序间机器人协作完成工件的定位抓取。目前，机器视觉识别系统大多需限制物体处于二维平面上，即只能识别三个自由度变化的物体，而且对环境有一定约束要求，例如工件单独摆放、相机视场内背景统一等等。上述结构化环境无疑限制了机器人应用的灵活性，而三维物体的检测与位姿估计能让机器人在非结构化的三维空间中感知目标物体的存在、计算其位置和姿态，是机器人操作任意姿态物体的基础，因此无论对于工业机器人还是服务机器人而言都有巨大的意义。背景的杂乱、物体的遮挡、光照的变换、纹理信息的缺失、几何形状的不显著等等情况限制了现存算法的通用性和鲁棒性。综上而言，当前工业生产中依靠机器人进行零件识别时还存在以下的问题：(1)基于二维图像进行零件识别的方法，对应用场景的光照条件、待识别物体的表面特性等均有要求，对于纹理稀少、颜色单调、轮廓特征不明显的物体，如机械零件，难以提取足够进行匹配的有效特征，识别有困难。同时二维位姿识别无法容忍高度方向上的变化，识别时必须保证机器人或运动机构与2D相机的相对位置固定，只能获取二维平面上的位置的偏移和旋转，只有3个自由度。(2)在直接利用深度信息进行零件识别中，基于特征匹配的方法对点云特征的构建和匹配都颇为耗时，点云数量较大时，效率难以得到提升；基于ICP及其改进算法的识别方法，对初始迭代值要求较高，初值的估计直接影响后续的识别结果，初值选取不合适，很可能陷入局部最优，得不到正确的配准结果。
技术实现思路
有鉴于此，为解决当前工业生产中依靠机器人进行零件识别时物体位姿估计的效率和精度均较低的问题，本申请提供一种三维目标物体的实时位姿估计方法及定位抓取系统。根据第一方面，一种实施例中提供一种三维目标物体的实时位姿估计方法，包括：获取目标物体的三维的图形信息；根据所述图形信息计算得到所述目标物体的局部特征描述子；利用预先建立的三维模型数据库，通过所述局部特征描述子对所述目标物体进行三维的位姿估计，得到所述目标物体的位姿信息；所述三维模型数据库包括所述目标物体的全局特征描述子；输出所述位姿信息。所述根据所述图形信息计算得到所述目标物体的局部特征描述子，包括：采用体素栅格对所述图形信息进行降采样处理，以降低所述图形信息中数据点的数目；采用特征阈值对降采样处理后所述图形信息中的各个数据点进行筛选，以剔除异常的数据点，得到第二点云数据；所述第二点云数据包括所述目标物体在当前场景下各个场景特征点的坐标以及对应的法向量；根据所述第二点云数据形成所述目标物体的局部特征描述子；所述局部特征描述子中的每个特征描述子与每两个场景特征点相对应。所述三维模型数据库通过以下方式建立：获取所述目标物体对应的三维模型的模型信息；采用体素栅格对所述模型信息进行降采样处理，以降低所述模型信息中数据点的数目；采用特征阈值对降采样处理后所述模型信息中的各个数据点进行筛选，以剔除异常的数据点，得到第一点云数据；所述第一点云数据包括所述目标物体在模型模板下各个模板特征点的坐标以及对应的法向量；根据所述第一点云数据形成所述目标物体的全局特征描述子；所述全局特征描述子中的每个特征描述子与每两个模板特征点一一对应；通过所述全局特征描述子建立所述三维模型数据库；所述全局特征描述子中的每个特征描述子、所述局部特征描述子中的每个特征描述子均为四维的特征向量，用公式表示为F(p1,p2)＝(||d||,∠(n1,d),∠(n2,d),det(n1,n2,d)/||d||)，其中，p1、p2均表示模板特征点或场景特征点，且p1、p2分别对应的法向量为n1、n2，d表示p1到p2的向量，||d||表示p1和p2之间的距离，∠(n1,d)∈[0,π]表示n1和d之间的夹角，∠(n2,d)∈[0,π]表示n2和d之间的夹角，det(n1,n2,d)表示向量的行列式的值且相当于表征三个向量形成的六面体的体积。所述通过所述全局特征描述子建立所述三维模型数据库，包括：根据所述全局特征描述子中的各个特征描述子分别形成对应的第一点对，得到第一特征集Pm；建立一基准坐标系，以所述第一特征集Pm中任意第一点对内首个的特征点作为所述基准坐标系的基准点，计算该特征点在所述基准坐标系中的平移向量T和旋转矩阵R；具体包括：对于所述第一特征集Pm中的第一点对((p1,n1),(p2,n2))，将首个的特征点p1转换至所述基准坐标系的原点，将对应的法向量n1＝(nx,ny,nz)的方向转换至与所述基准坐标系的X轴方向一致，计算X轴方向夹角θ＝arccos(nx)和等效轴角单位方向向量由此计算得到特征点p1在所述基准坐标系中的平移向量T和旋转矩阵R，分别表示为T＝-Rp1＝-R(px,py,pz)T；其中，cθ表示cosθ，sθ表示sinθ，(px,py,pz)T表示特征点p1的转置运算；根据所述平移向量T和旋转矩阵R对第一点对((p1,n1),(p2,n2))内的另一个特征点p2进行基准坐标变换，得到变换后的坐标本文档来自技高网...

【技术保护点】
1.一种三维目标物体的实时位姿估计方法,其特征在于，包括：/n获取目标物体的三维的图形信息；/n根据所述图形信息计算得到所述目标物体的局部特征描述子；/n利用预先建立的三维模型数据库，通过所述局部特征描述子对所述目标物体进行三维的位姿估计，得到所述目标物体的位姿信息；所述三维模型数据库包括所述目标物体的全局特征描述子；/n输出所述位姿信息。/n

【技术特征摘要】
1.一种三维目标物体的实时位姿估计方法,其特征在于，包括：
获取目标物体的三维的图形信息；
根据所述图形信息计算得到所述目标物体的局部特征描述子；
利用预先建立的三维模型数据库，通过所述局部特征描述子对所述目标物体进行三维的位姿估计，得到所述目标物体的位姿信息；所述三维模型数据库包括所述目标物体的全局特征描述子；
输出所述位姿信息。


2.如权利要求1所述的实时位姿估计方法，其特征在于，所述根据所述图形信息计算得到所述目标物体的局部特征描述子，包括：
采用体素栅格对所述图形信息进行降采样处理，以降低所述图形信息中数据点的数目；
采用特征阈值对降采样处理后所述图形信息中的各个数据点进行筛选，以剔除异常的数据点，得到第二点云数据；所述第二点云数据包括所述目标物体在当前场景下各个场景特征点的坐标以及对应的法向量；
根据所述第二点云数据形成所述目标物体的局部特征描述子；所述局部特征描述子中的每个特征描述子与每两个场景特征点相对应。


3.如权利要求2所述的实时位姿估计方法，其特征在于，所述三维模型数据库通过以下方式建立：
获取所述目标物体对应的三维模型的模型信息；
采用体素栅格对所述模型信息进行降采样处理，以降低所述模型信息中数据点的数目；
采用特征阈值对降采样处理后所述模型信息中的各个数据点进行筛选，以剔除异常的数据点，得到第一点云数据；所述第一点云数据包括所述目标物体在模型模板下各个模板特征点的坐标以及对应的法向量；
根据所述第一点云数据形成所述目标物体的全局特征描述子；所述全局特征描述子中的每个特征描述子与每两个模板特征点相对应；
通过所述全局特征描述子建立所述三维模型数据库；
所述全局特征描述子中的每个特征描述子、所述局部特征描述子中的每个特征描述子均为四维的特征向量，用公式表示为
F(p1,p2)＝(||d||,∠(n1,d),∠(n2,d),det(n1,n2,d)/||d||)
其中，p1、p2均表示模板特征点或场景特征点，且p1、p2分别对应的法向量为n1、n2，d表示p1到p2的向量，||d||表示p1和p2之间的距离，∠(n1,d)∈[0,π]表示向量n1和d之间的夹角，∠(n2,d)∈[0,π]表示n2和d之间的夹角，det(n1,n2,d)表示向量的行列式的值且相当于表征三个向量形成的六面体的体积。


4.如权利要求3所述的实时位姿估计方法，其特征在于，所述通过所述全局特征描述子建立所述三维模型数据库，包括：
根据所述全局特征描述子中的各个特征描述子分别形成对应的第一点对，得到第一特征集Pm；
建立一基准坐标系，以所述第一特征集Pm中任意第一点对内首个的特征点作为所述基准坐标系的基准点，计算该特征点在所述基准坐标系中的平移向量T和旋转矩阵R；具体包括：对于所述第一特征集Pm中的第一点对((p1,n1),(p2,n2))，将首个的特征点p1转换至所述基准坐标系的原点，将对应的法向量n1＝(nx,ny,nz)的方向转换至与所述基准坐标系的X轴方向一致，计算X轴方向夹角θ＝arccos(nx)和等效轴角单位方向向量由此计算得到特征点p1在所述基准坐标系中的平移向量T和旋转矩阵R，分别表示为T＝-Rp1＝-R(px,py,pz)T，其中，cθ表示cosθ，sθ表示sinθ，(px,py,pz)T表示特征点p1的转置运算；根据所述平移向量T和旋转矩阵R对第一点对((p1,n1),(p2,n2))内的另一个特征点p2进行基准坐标变换，得到变换后的坐标pt＝(pxt,pyt,pzt)以及对应的旋转角度ψm＝-arctan(pzt/pyt)；
将所述第一特征集中的各个第一点对和各个第一点对分别对应的旋转角度ψm存入多个哈希表内，利用多个所述哈希表组建所述三维模型数据库；具体包括：将所述第一特征集中具有相同或相似特征值的第一点对划分为一组且存入同一个哈希表内；为每一个哈希表设置一个键值，建立该键值和该哈希表内所存储的第一点对之间的映射关系；利用所有的哈希表组建所述三维模型数据库，用于通过各个哈希表内存储的第一点对替代所述全局特征描述子来对所述目标物体进行描述。


5.如权利要求4所述的实时位姿估计方法，其特征在于，所述利用预先建立的三维模型数据库，通过所述局部特征描述子对所述目标物体进行三维的位姿估计，得到所述目标物体的位姿信息，包括：
根据所...

【专利技术属性】
技术研发人员：杨洋，
申请(专利权)人：深圳市华汉伟业科技有限公司，
类型：发明
国别省市：广东;44