一种基于靶标标定定位模型的智能控制方法及系统技术方案

本发明专利技术公开了一种基于靶标标定定位模型的智能控制方法及系统，包括：利用辅相机、主相机和标定执行机构的标靶获取执行机构末端在主相机下的位姿获取目标零件在主相机下的位姿所述执行机构通过法兰安装于机械臂末端；根据所述位姿和位姿计算获得目标零件在螺丝批下位姿；基于目标零件在螺丝批下位姿、螺丝批在机械臂的法兰下的位姿以及法兰在基准坐标系下的位姿建立所述目标零件在基准坐标系下的坐标模型；根据目标零件在基准坐标系下的坐标模型控制机械臂动作，并带动执行机构对目标零件进行加工；简化机械臂的控制过程，同时避免了受环境因素的限制。免了受环境因素的限制。免了受环境因素的限制。

【技术实现步骤摘要】
一种基于靶标标定定位模型的智能控制方法及系统


[0001]本专利技术属于机器视觉
，具体涉及基于靶标标定定位模型的智能控制方法及系统。

技术介绍

[0002]近年来，机械臂控制作为一种极具前景和应用价值的技术在汽车制造、果实采摘、流水线作业、外科手术等领域发挥了重要的作用，对工业、农业、制造业的发展具有重要意义。大多数多自由度机械臂系统本质上是一种半闭环的控制结构，系统只能精确控制关节伺服电机位置，而电机位置与机械臂末端执行器位置之间关系通过运动学确定。目前国内外机械臂厂商生产的机械臂受加工装配的影响，不能保证各个模块绝对的契合，而且机械臂在运行的过程中电机磨损、外部噪声等非几何因素直接影响机械臂的模型参数，造成理论运动学模型与实际模型之间不可避免的存在误差，从而导致末端位置的误差。
[0003]当前环境下，通常基于单目视觉和双目视觉对机械臂以及执行机构末端进行标定，辅助完成机械臂的控制动作，然而基于双目视觉的控制方法较为繁琐，同时基于单目视觉的控制方法受限制于环境因素。

技术实现思路

[0004]本专利技术提供了一种基于靶标标定定位模型的智能控制方法及系统，简化机械臂的控制过程，同时避免了受环境因素的限制。
[0005]为达到上述目的，本专利技术所采用的技术方案是：
[0006]本专利技术第一方面提供了一种基于靶标标定定位模型的智能控制方法，包括：
[0007]利用辅相机、主相机和标定执行机构的标靶获取执行机构末端在主相机下的位姿所述辅相机和主相机组成双目相机，所述辅相机和主相机分别设置于所述执行机构的两侧；
[0008]获取目标零件在主相机下的位姿所述执行机构通过法兰安装于机械臂末端；根据所述位姿和位姿计算获得目标零件在螺丝批下位姿；
[0009]基于目标零件在螺丝批下位姿、螺丝批在机械臂的法兰下的位姿以及法兰在基准坐标系下的位姿建立所述目标零件在基准坐标系下的坐标模型；根据目标零件在基准坐标系下的坐标模型控制机械臂动作，并带动执行机构对目标零件进行加工。
[0010]优选的，利用辅相机、主相机和标定执行机构的标靶获取执行机构末端在主相机下的位姿的方法包括：
[0011]通过辅相机和主相机之间进行相互标定获得双目相机的相对位姿关系；
[0012]利用辅相机对靶标的定位区域进行图像采集建立靶标模板；使用可变形模板匹配算法对靶标模板进行识别获得靶标定位点的二维像素坐标，各靶标定位点组成靶标定位区域的边缘线；
[0013]将靶标定位点的二维像素坐标转换为在世界坐标系下的三维坐标；根据靶标与执行机构的固定位置关系获得执行机构末端在辅相机下的位姿；
[0014]基于执行机构末端在辅相机下的位姿以及双目相机的相对位姿关系，计算执行机构末端在主相机下的位姿其中，表示为执行机构末端至主相机的旋转矩阵，表示为执行机构末端至主相机的平移向量。
[0015]优选的，所述通过辅相机和主相机之间进行相互标定获得双目相机的相对位姿关系的方法包括：
[0016]将辅相机和主相机分别安装于所述执行机构两侧后，分别对辅相机和主相机建立辅相机坐标系和主相机坐标系，标定双目相机的的相对位姿；所述双目相机的的相对位姿包括辅相机至主相机的旋转矩阵和辅相机至主相机的平移向量
[0017]优选的，将靶标定位点的二维像素坐标转换为在世界坐标系下的三维坐标的方法包括：通过PnP算法靶标定位点的二维像素坐标转换为在辅相机坐标系下的三维坐标，通过ICP算法将靶标定位点在辅相机坐标系下的三维坐标转换为在世界坐标系下的三维坐标。
[0018]优选的，标定执行机构的标靶的固定方法包括：
[0019]将靶标设置于距离机械臂的法兰设定距离l处，同时设置所述靶标在辅相机的视野中，所述靶标与所述执行机构的轴线相互垂直；将靶标坐标系原点设置于所述执行机构的轴线上；其中，所述执行机构的轴线、主相机的轴线和辅相机的轴线相互平行。
[0020]优选的，基于执行机构末端在辅相机下的位姿以及双目相机的相对位姿关系，计算执行机构末端在主相机下的位姿的方法包括：
[0021][0022][0023]公式中，t
x
为靶标坐标原点相对于辅相机坐标系下在x轴方向上的坐标；t
y
为靶标坐标原点相对于辅相机在y方向上的坐标，t
z
靶标坐标原点相对于辅相机坐标系下在z轴方向上的坐标；表示为执行机构末端至辅相机的平移向量；表示为执行机构末端至辅相机的旋转矩阵。
[0024]优选的，获取目标零件在主相机下的位姿的方法包括：
[0025]利用主相机对目标零件进行图像采集建立目标零件模板；使用可变形模板匹配算
法对目标零件模板进行识别获得目标零件定位点的二维像素坐标，各目标零件定位点组成目标零件的边缘线；
[0026]通过PnP算法目标零件定位点的二维像素坐标转换为在主相机坐标系下的三维坐标，通过ICP算法将目标零件定位点在主相机坐标系下的三维坐标转换为在世界坐标系下的三维坐标，获取目标零件在主相机下的位姿其中，表示为目标零件至主相机的旋转矩阵；表示为目标零件至主相机的平移向量。
[0027]优选的，基于目标零件在螺丝批下位姿、螺丝批在机械臂的法兰下的位姿以及法兰在基准坐标系下的位姿建立所述目标零件在基准坐标系下的坐标模型的方法包括：
[0028][0029][0030][0031]公式中，R
hb
表示为机械臂法兰到基准坐标系原点的旋转矩阵；T
hb
表示为机械臂法兰到基准坐标系原点的平移向量；R
th
表示为执行机构到机械臂法兰的旋转矩阵；T
th
表示为执行机构到机械臂法兰的平移向量；R
final
表示为执行机构到基准坐标系原点的旋转矩阵；T
final
表示为执行机构到基准坐标系原点的平移向量。
[0032]本专利技术第二方面提供了一种基于靶标标定定位模型的智能控制系统，包括：
[0033]标定模块，用于利用辅相机、主相机和标定执行机构的标靶获取执行机构末端在主相机下的位姿所述辅相机和主相机组成双目相机，所述辅相机和主相机分别设置于所述执行机构的两侧；
[0034]处理分析模块，用于获取目标零件在主相机下的位姿所述执行机构通过法兰安装于机械臂末端；根据所述位姿和位姿计算获得目标零件在螺丝批下位姿；
[0035]控制模块，用于基于目标零件在螺丝批下位姿、螺丝批在机械臂的法兰下的位姿以及法兰在基准坐标系下的位姿建立所述目标零件在基准坐标系下的坐标模型；根据目标零件在基准坐标系下的坐标模型控制机械臂动作，并带动执行机构对目标零件进行加工。
[0036]优选的，所述执行机构设置为电动螺丝批。
[0037]本专利技术第三方面提供了计算机可读存储介质，其特征在于其上存储有计算机程序，该程序被处理器执行时实现第一方面所述智能控制方法的步骤。
[0038]与现有技本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于靶标标定定位模型的智能控制方法，其特征在于，包括：利用辅相机、主相机和标定执行机构的标靶获取执行机构末端在主相机下的位姿所述辅相机和主相机组成双目相机，所述辅相机和主相机分别设置于所述执行机构的两侧；获取目标零件在主相机下的位姿所述执行机构通过法兰安装于机械臂末端；根据所述位姿和位姿计算获得目标零件在螺丝批下位姿；基于目标零件在螺丝批下位姿、螺丝批在机械臂的法兰下的位姿以及法兰在基准坐标系下的位姿建立所述目标零件在基准坐标系下的坐标模型；根据目标零件在基准坐标系下的坐标模型控制机械臂动作，并带动执行机构对目标零件进行加工。2.根据权利要求1所述的一种基于靶标标定定位模型的智能控制方法，其特征在于，利用辅相机、主相机和标定执行机构的标靶获取执行机构末端在主相机下的位姿的方法包括：通过辅相机和主相机之间进行相互标定获得双目相机的相对位姿关系；利用辅相机对靶标的定位区域进行图像采集建立靶标模板；使用可变形模板匹配算法对靶标模板进行识别获得靶标定位点的二维像素坐标，各靶标定位点组成靶标定位区域的边缘线；将靶标定位点的二维像素坐标转换为在世界坐标系下的三维坐标；根据靶标与执行机构的固定位置关系获得执行机构末端在辅相机下的位姿；基于执行机构末端在辅相机下的位姿以及双目相机的相对位姿关系，计算执行机构末端在主相机下的位姿其中，表示为执行机构末端至主相机的旋转矩阵，表示为执行机构末端至主相机的平移向量。3.根据权利要求2所述的一种基于靶标标定定位模型的智能控制方法，其特征在于，所述通过辅相机和主相机之间进行相互标定获得双目相机的相对位姿关系的方法包括：将辅相机和主相机分别安装于所述执行机构两侧后，分别对辅相机和主相机建立辅相机坐标系和主相机坐标系，标定双目相机的相对位姿；所述双目相机的相对位姿包括辅相机至主相机的旋转矩阵和辅相机至主相机的平移向量4.根据权利要求2所述的一种基于靶标标定定位模型的智能控制方法，其特征在于，将靶标定位点的二维像素坐标转换为在世界坐标系下的三维坐标的方法包括：通过PnP算法靶标定位点的二维像素坐标转换为在辅相机坐标系下的三维坐标，通过ICP算法将靶标定位点在辅相机坐标系下的三维坐标转换为在世界坐标系下的三维坐标。5.根据权利要求3所述的一种基于靶标标定定位模型的智能控制方法，其特征在于，标定执行机构的标靶的固定方法包括：将靶标设置于距离机械臂的法兰设定距离l处，同时设置所述靶标在辅相机的视野中，所述靶标与所述执行机构的轴线相互垂直；将靶标坐标系原点设置于所述执行机构的轴线
上；其中，所述执行机构的轴线、主相机的轴线和辅相机的轴线相互平行。6.根据权利要求5所述的一种基于靶标标定定位模型的智能控制方法，其特征在于，基于执行机构末端在辅相机下的位姿以及双目相机的相对位姿关系，计算执行机构末端在主相机下的位姿的方法包括：的方法包括：公式中，t
x
为靶标坐标原点相对于辅相机坐标系下在...

【专利技术属性】
技术研发人员：谭治英，孔伟丰，陶旭，季琰，范文博，赵锦溁，薛友，徐孝彬，骆敏舟，
申请(专利权)人：河海大学，
类型：发明
国别省市：