一种基于“Eye in Hand”模型的陶瓷制品三维点云重建方法技术

本发明专利技术提供一种基于“Eye in Hand”模型的陶瓷制品三维点云重建方法，包括：构建基于“Eye in Hand”模型的三维重建系统，并对陶瓷制品进行双目相机标定和手眼模型系统标定；操作机械臂进行多视角的陶瓷制品图像采集，并实时记录当时的机械臂笛卡尔空间坐标，经由转换得到多个视角下的机械臂末端坐标系相对于机械臂基座的转换矩阵；完成多视角的陶瓷制品图像采集的同时进行陶瓷制品彩色和深度图像的对齐，利用相机内外参、手眼转换矩阵以及转换矩阵进行点云坐标配准和拼接，得到多视角下的陶瓷制品场景点云模型；对多视角下的陶瓷制品场景点云模型进行实时点云滤波，提取出目标纯净的三维点云模型；最后对其进行误差估量。

【技术实现步骤摘要】
一种基于“EyeinHand”模型的陶瓷制品三维点云重建方法
本专利技术涉及三维重建
，尤其涉及一种基于“EyeinHand”模型的陶瓷制品三维点云重建方法。
技术介绍
社会进步与人们生活质量提升的同时，人们对于产品的外观质量给予了越来越多的关注，产品的品控与口碑直接影响企业的发展前景。近年来，随着陶瓷产业的生产技术以及机械化、自动化程度也逐渐提高，并引入了大量自动化生产设备和生产线，从炼泥、拉坯、利坯、晒坯、施釉到烧窑已经实现半自动化生产，但质量检测与分级评估工序还未实现自动化，主要依靠人眼观察加辅助触摸的方式进行检测与评估。然而人工检测存在劳动强度大、检测速度慢、主观性强、漏检率高等问题，严重影响了生产效率和产品品质。于是在复杂的工业现场，机器人要对陶瓷制品进行缺陷检测和质量评判，往往需要先对陶瓷制品进行多视角的三维重建，因此点云重建较为适合，然后以此引导机械臂进行轨迹规划来近距离进行图像采集和力位融合检测。常规三维方法由于其表面光滑反光难以对其进行多视角全尺寸的三维重建重建。传统的多视角点云拼接方法大多数通过多帧图像间的两两帧图像间进行特征提取和匹配得到图像的特征匹配点对，选择候选图像的特征点，再根据相机参数及匹配点对恢复出三维模型点；或者从计算每一个视角下的2D图像进行特征提取和特征匹配，根据2D匹配点对得到3D匹配点对，并计算3D匹配点对的坐标变换，以得到每两幅具有重叠区域的3D点云的变换矩阵；根据变换矩阵计算全视图变换矩阵。但这些方法都由于点云数量庞大，且特征匹配和点云帧之间的旋转矩阵和平移矩阵计算耗费大量的时间，且算法设计对硬件要求高而适用有限。其次对于陶瓷一类表面光滑反光且弱纹理的对象而言，其表面特征点少，导致立体匹配不准确或失败，难以进行常规方法的立体匹配而三维重建。针对这一类对象，本专利技术提出了一种基于“EyeinHand”模型的陶瓷制品三维点云重建方法，以解决陶瓷制品造型复杂多变，表面光滑反光且纹理弱难以进行多视角三维点云重建的问题。
技术实现思路
有鉴于此，本专利技术目的是提供一种基于“EyeinHand”模型的陶瓷制品三维点云重建方法，包括以下步骤：S1、构建基于“EyeinHand”模型的三维重建系统，并进行双目相机标定和手眼模型系统标定，分别获取相机内外参以及相机坐标系到机械臂末端坐标系的手眼转换矩阵E；S2、操作机械臂进行多视角的陶瓷制品图像采集，并实时记录当时的机械臂笛卡尔空间坐标，即机械臂末端相对于机械臂基座标系的位姿，经由转换得到多个视角下的机械臂末端坐标系相对于机械臂基座的转换矩阵F；S3、完成多视角的陶瓷制品图像采集的同时进行陶瓷制品彩色和深度图像的对齐，利用相机内外参、手眼转换矩阵E以及转换矩阵F进行点云坐标配准和拼接，得到多视角下的陶瓷制品场景点云模型；S4、对S3得到多视角下的陶瓷制品场景点云模型进行实时点云滤波，提取出目标纯净的三维点云模型,最后生成PCD点云文件；S5、根据S4三维点云模型上的点测量陶瓷制品的尺寸得到陶瓷制品三维点的重建效果并对其进行误差估量。本专利技术提供的技术方案带来的有益效果是：避免了图像特征点提取和匹配所需要的时间，特别是针对像陶瓷制品一类表面光滑反光切弱纹理对象，易出现特征点稀少而出现误匹配的情况；同时解决了点云配准时大数量点云帧间计算旋转矩阵和平移矩阵所需要耗费的时间，为陶瓷制品实时三维点云重建提供了一个较好的方法；本方法适用于大部分类似陶瓷制品，而不仅仅只对于单一工件，同时还可以利用智能点云分割方法来对提取到的点云集进行进一步的调整与优化。附图说明图1是本专利技术一种基于“EyeinHand”模型的陶瓷制品三维点云重建方法的流程图；图2是本专利技术一种基于“EyeinHand”模型的陶瓷制品三维点云重建方法的蹲便器实物图；图3是本专利技术一种基于“EyeinHand”模型的陶瓷制品三维点云重建方法的三维重建系统；图4是本专利技术一种基于“EyeinHand”模型的陶瓷制品三维点云重建方法的采集到多视角下的原始RGB图和深度图像；图5是本专利技术一种基于“EyeinHand”模型的陶瓷制品三维点云重建方法的生成的陶瓷蹲便器三维点云模型；图6是本专利技术一种基于“EyeinHand”模型的陶瓷制品三维点云重建方法的蹲便器点云测量尺寸效果图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术实施方式作进一步地描述。请参考图1，本专利技术通过对陶瓷制品(以蹲便器为例)进行基于EyeinHand”模型的三维点云重建，如图2所示，本专利技术提供了一种基于“EyeinHand”模型的陶瓷制品三维点云重建方法，步骤如下：S1、构建基于“EyeinHand”模型的三维重建系统，请参考图3，并对蹲便器进行双目相机标定和手眼模型系统标定，双目相机标定获取相机内外参，用于获取相机坐标系下蹲便器的单视角三维点云信息以及相机坐标系到机械臂末端坐标系的手眼转换矩阵E，通过张正友标定法以及相机在线的方式获取相机内外参；所述手眼转换矩阵E的计算方式具体如下：首先，得到机械臂和相机以及标定板之间的位姿关系：其中代表标定板到机械手末端工具坐标系的转换关系矩，代表机械臂末端工具坐标系到机械臂基座标系的转换关系矩阵，代表相机坐标系到机械手末端工具坐标系的转换关系矩阵，代表标定板到相机坐标系的转换关系矩阵，即我们进行手眼模型的目的是求得手眼转换矩阵E，即控制机械臂在另外不同位置进行棋盘格拍照，位姿满足下式：综合上式得到手眼转换公式：AX＝XB其中A为B为A和B不是固定的，通过机械臂底层运动控制器获得，控制机械臂在一定距离内移动，并在多个摄像机位置中拍照，获得多组AX＝XB方程，并计算手眼矩阵E的值。S2、操作机械臂进行多视角的蹲便器图像采集，并实时记录当时的机械臂笛卡尔空间坐标，即机械臂末端相对于机械臂基座标系的位姿，经由转换得到多个视角下的机械臂末端坐标系相对于机械臂基座的转换矩阵F；S3、完成多视角的陶瓷制品图像采集的同时进行蹲便器彩色和深度图像的对齐，如图4所示，彩色图为bmp格式，深度图png格式，总共有13个视角下的RGB-D图像，利用相机内外参、手眼转换矩阵E以及转换矩阵F进行点云坐标配准和拼接，得到多视角下的蹲便器场景点云模型；选择一个直接进行多视角配准的基准坐标系，将不同视角下的点云快速配准并转换到基准坐标系下后进行拼接，进行点云坐标配准具体如下：由相机内外参、手眼转换矩阵X以及每个视角下的机械臂位姿转换矩阵转换矩阵F即来计算每个视角下的点云在相机坐标系到机械臂基座标坐系下的转换矩阵首先，由相机内参计算相机坐标系下的蹲便器三维坐标，公式如下：其中，Z为Realsence双目相机通过三角测量原理得到蹲便器上的点P的深度值，点P在像素坐标系中的坐标为为(u,v),(u0,v0)表示为图像像素坐标系中光轴投影坐标即主点坐标，1/本文档来自技高网...

【技术保护点】
1.一种基于“Eye in Hand”模型的陶瓷制品三维点云重建方法，其特征在于，包括以下步骤：/nS1、构建基于“Eye in Hand”模型的三维重建系统，并进行双目相机标定和手眼模型系统标定，分别获取相机内外参以及相机坐标系到机械臂末端坐标系的手眼转换矩阵E；/nS2、操作机械臂进行多视角的陶瓷制品图像采集，并实时记录当时的机械臂笛卡尔空间坐标，即机械臂末端相对于机械臂基座标系的位姿，经由转换得到多个视角下的机械臂末端坐标系相对于机械臂基座的转换矩阵F；/nS3、完成多视角的陶瓷制品图像采集的同时进行陶瓷制品彩色和深度图像的对齐，利用相机内外参、手眼转换矩阵E以及机械臂末端坐标系相对于机械臂基座的转换矩阵F进行点云坐标配准和拼接，得到多视角下的陶瓷制品场景点云模型；/nS4、对S3得到多视角下的陶瓷制品场景点云模型进行实时点云滤波，提取出目标纯净的三维点云模型,最后生成PCD点云文件；/nS5、根据S4三维点云模型上的点测量陶瓷制品的尺寸得到陶瓷制品三维点的重建效果并对其进行误差估量。/n

【技术特征摘要】
1.一种基于“EyeinHand”模型的陶瓷制品三维点云重建方法，其特征在于，包括以下步骤：
S1、构建基于“EyeinHand”模型的三维重建系统，并进行双目相机标定和手眼模型系统标定，分别获取相机内外参以及相机坐标系到机械臂末端坐标系的手眼转换矩阵E；
S2、操作机械臂进行多视角的陶瓷制品图像采集，并实时记录当时的机械臂笛卡尔空间坐标，即机械臂末端相对于机械臂基座标系的位姿，经由转换得到多个视角下的机械臂末端坐标系相对于机械臂基座的转换矩阵F；
S3、完成多视角的陶瓷制品图像采集的同时进行陶瓷制品彩色和深度图像的对齐，利用相机内外参、手眼转换矩阵E以及机械臂末端坐标系相对于机械臂基座的转换矩阵F进行点云坐标配准和拼接，得到多视角下的陶瓷制品场景点云模型；
S4、对S3得到多视角下的陶瓷制品场景点云模型进行实时点云滤波，提取出目标纯净的三维点云模型,最后生成PCD点云文件；
S5、根据S4三维点云模型上的点测量陶瓷制品的尺寸得到陶瓷制品三维点的重建效果并对其进行误差估量。


2.根据权利要求1所述的一种基于“EyeinHand”模型的陶瓷制品三维点云重建方法，其特征在于，步骤S1中所述手眼转换矩阵E的计算方式如下：
首先，得到机械臂和相机以及标定板之间的位姿关系：



其中代表标定板到机械手末端工具坐标系的转换关系矩，代表机械臂末端工具坐标系到机械臂基座标系的转换关系矩阵，代表相机坐标系到机械手末端工具坐标系的转换关系矩阵，代表标定板到相机坐标系的转换关系矩阵，即我们进行手眼模型的目的是求得手眼转换矩阵E，即控制机械臂在另外不同位置进行棋盘格拍照，位姿满足下式：



综合上式得到手眼转换公式：
AX＝XB
其中A为B为A和B不是固定的，通过机械臂底层运动控制器获得，控制机械臂以各个关节不同位姿在一定距离内移动，并在多个视角位置中拍照，获得多组AX＝XB方程，并计算手眼矩阵E的值。


3.根据权利要求1所述的一种基于“EyeinHand”模型的陶瓷制品三维点云重建方法，其特征在于，选择一个直接进行多视角配准的基准坐标系，将不同视角下的点云快速配准...

【专利技术属性】
技术研发人员：陈鑫，龚旋，简旭，贺文朋，
申请(专利权)人：中国地质大学武汉，
类型：发明
国别省市：湖北;42