一种工件整理归位的AI算法制造技术

本发明专利技术公开了一种工件整理归位的AI算法，采用视觉识别定位方案，通过校准程序，获取摄像头图像中所有物体的坐标；校准完毕后，通过摄像头识别图像中的贴有二维码的电路板工件，获取到二维码的坐标，并通过将二维码坐标计算出任务空间坐标，再把任务空间坐标转换为关节空间坐标，通过关节空间操控机械臂的位姿来抓取电路板工件，再通过摄像头获取装纳盒的二维码坐标，通过将二维码转换为关节空间坐标，然后通过关键空间操控机械臂的位姿摆放电路板工件；与现有技术相比，本算法具有较高的识别率与分拣效率。率与分拣效率。率与分拣效率。

【技术实现步骤摘要】
一种工件整理归位的AI算法


[0001]本专利技术涉及计算机应用技术、嵌入式系统、人工智能领域，具体涉及一种工件整理归位的AI算法。

技术介绍

[0002]目前在自动分拣整理方面，大多数都采用了机械自动化操作实现。目前的方案有基于PLC和机器视觉的工件自动分拣系统。但是PLC运算能力不够强，因此基于PLC的自动化操作并不能适应复杂的分拣环境。
[0003]对于外观相似的分拣物时，有方案是基于二维码的分拣方案。通过扫描枪扫描二维码图片获取目标垃圾的信息，以便分拣管理。
[0004]也有方案是通过颜色识别，通过颜色识别传感器来识别分拣目标。通过分拣物的不同颜色来进行区分分拣。只能对单个物件颜色进行识别，并不能对多个物件进行识别。
[0005]现有的分拣整理的技术缺点有：
[0006]针对PLC的操作精度低，本专利技术的核心是通过ROS系统，创建与机械臂的服务进行操作，可以精确控制机械臂动作，提高抓取的准确率。
[0007]针对扫描枪的不能同时识别多个二维码的局限性，本专利技术算法用的是摄像头识别二维码，可以识别同屏中多个二维码。提高分拣的速度效率。
[0008]针对颜色传感器无法识别多种颜色的弱点，本项目是通过摄像头来确定装纳盒的颜色进行分拣。

技术实现思路

[0009]本专利技术的目的是提供一种工件整理归位的AI算法，用以实现分拣实训室工件。
[0010]为了实现上述任务，本专利技术采用以下技术方案：
[0011]一种工件整理归位的AI算法，通过工作台上安装机械臂，对散乱的电路板工件归位整理，整理到相应的装纳盒中；其中，机械臂为多关节结构，机械臂的的末端执行器为夹爪；在夹爪上搭载有摄像头；所述算法包括：
[0012]步骤1，主控模块利用预先设定好的校准图像，对摄像头拍摄图片的横轴、纵轴、大小、弯曲四个维度进行校准；
[0013]步骤2，初始化过程
[0014]通过ROS系统生成AR二维码，通过二维码记录ID号码，用ID号码作为分拣工件的标识号；将同一种电路板工件编为同一种ID的二维码，将同一种装纳盒编为同一种ID的二维码；然后将生成的电路板工件的二维码、装纳盒的二维码打印后，粘贴到电路板工件的中心位置以及装纳盒的内侧壁上；
[0015]然后是开启服务，用于主控模块与机械臂进行通信；所述服务包括二维码服务、任务空间坐标控制服务、关节空间坐标服务、夹爪控制服务，其中：
[0016]二维码获取服务，用于获取摄像头捕抓到的二维码图像数据和位置数据；
[0017]任务空间坐标控制服务，本方案的主控模块通过此服务来把以摄像头为原点的二维码的坐标值转换为以机械臂底座中心为原点的任务空间的坐标值，并对机械臂发送任务空间坐标的值，用于进行关节空间的旋转坐标的计算；
[0018]关节空间坐标控制服务，用于给机械臂发送关节空间的旋转坐标，机械臂获得关节空间中各个关节的旋转角值后，即会把机械臂的位姿调整到关节空间描述的对应位置；
[0019]夹爪控制服务，用于给机械臂发送夹爪张开的值，机械臂会根据此值来打开/闭合机械臂；
[0020]步骤3，初始化完成后，将机械臂移动到识别位置，利用摄像头对桌面上待分拣的电路板工件进行图像获取；通过图像识别，获取电路板工件上的二维码图像，并将图像中所有的电路板工件的二维码的内容以及位置信息记录下来；其中，内容信息表示二维码本身所包含的信息，包括工件的ID号码；位置信息则是电路板工件上的二维码相对于摄像头为原点的目标坐标系的坐标点信息；
[0021]步骤4，通过二维码服务，把二维码的内容信息以及位置信息发送到主控模块，在主控模块利用任务空间坐标控制服务进行坐标转换；具体内容是把以摄像头为原点的二维码的坐标值转换为以机械臂底座中心为原点的任务空间的坐标值；
[0022]首先在识别二维码前，机械臂会先到达一个人为设定便于检测工件二维码的固定姿态，即Q0(x0,y0,z0)，Q0此坐标点是摄像头在任务空间中的坐标，用于坐标系转换计算；C
x
，C
y
，C
z
分别是误差补偿常数，用于各种因素导致的计算误差，是通过实际情况标定后人为设定；假设通过二维码服务获取到多个二维码的坐标，第i个二维码的坐标为x
i
’
,y
i
’
,z
i
’
，转换后的任务空间坐标为Q(x
i
,y
i
,z
i
)，那么可以得到公式：
[0023][0024]步骤5，获取到电路板工件的任务空间坐标Q(x
i
,y
i
,z
i
)后，主控模块将任务空间坐标通过任务空间坐标控制服务将任务空间坐标Q(x
i
,y
i
,z
i
)发送给机械臂；然后机械臂利用关节空间坐标控制服务，通过机器人逆运动学方法，将任务空间的坐标Q(x
i
,y
i
,z
i
)转为关节空间的旋转坐标；机械臂按照旋转坐标将自身姿态移动到对应目标位置，并且通过夹爪控制服务发送行程系数，控制夹爪闭合抓取电路板工件；
[0025]步骤6，抓取到目标电路板工件后，机械臂的位姿将移动到任务空间中预设的设定的Q1点，在此识别装纳盒的二维码；获取到装纳盒的二维码的中的位置信息并转换为任务空间坐标后作为目标坐标，将目标坐标以及二维码包含的内容发送到主控模块；
[0026]步骤7，根据实际装纳盒的边缘高度设置偏移常数C，以及误差进行人为设置；假设摄像头所在的任务空间的坐标是Q1(x
q
,y
q
,z
q
)，记第i个装纳盒的二维码的目标坐标为(x
i”,y
i”,z
i”)，那么通过下式获得放置点的任务空间坐标U(x,y,z)；计算公式如下：
[0027][0028]步骤8，使用机器人逆运动学算法，通过放置点的任务空间坐标U(x,y,z)计算出关节空间的旋转坐标；通过关节空间坐标控制服务把旋转坐标发送到机械臂，从而使得机械臂姿态到达放置点，并通过夹爪控制服务发送行程系数，使得夹爪打开，工件放置在装纳盒中；
[0029]步骤9，机械臂回到识别位置，识别图像中是否还有未分拣整理电路板工件的二维码；如果存在，返回到步骤3继续分拣；如果已经分拣完成，则机械臂回到初始化位置，休眠待机。
[0030]进一步地，对于夹爪控制，夹爪实际张开的距离为变量d，夹爪的最大行程值为d
max
，通过预设的行程系数m控制乘以夹爪的最大行程值来得到实际张开距离d；
[0031]d＝m
×
d
max
,0≤m≤1。
[0032]进一步地，所述关节空间的旋转坐标包含机械臂各个关节的旋转角度，用于使机械臂的末端执行本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种工件整理归位的AI算法，其特征在于，通过工作台上安装机械臂，对散乱的电路板工件归位整理，整理到相应的装纳盒中；其中，机械臂为多关节结构，机械臂的的末端执行器为夹爪；在夹爪上搭载有摄像头；所述算法包括：步骤1，主控模块利用预先设定好的校准图像，对摄像头拍摄图片的横轴、纵轴、大小、弯曲四个维度进行校准；步骤2，初始化过程通过ROS系统生成AR二维码，通过二维码记录ID号码，用ID号码作为分拣工件的标识号；将同一种电路板工件编为同一种ID的二维码，将同一种装纳盒编为同一种ID的二维码；然后将生成的电路板工件的二维码、装纳盒的二维码打印后，粘贴到电路板工件的中心位置以及装纳盒的内侧壁上；然后是开启服务，用于主控模块与机械臂进行通信；所述服务包括二维码服务、任务空间坐标控制服务、关节空间坐标服务、夹爪控制服务，其中：二维码获取服务，用于获取摄像头捕抓到的二维码图像数据和位置数据；任务空间坐标控制服务，本方案的主控模块通过此服务来把以摄像头为原点的二维码的坐标值转换为以机械臂底座中心为原点的任务空间的坐标值，并对机械臂发送任务空间坐标的值，用于进行关节空间的旋转坐标的计算；关节空间坐标控制服务，用于给机械臂发送关节空间的旋转坐标，机械臂获得关节空间中各个关节的旋转角值后，即会把机械臂的位姿调整到关节空间描述的对应位置；夹爪控制服务，用于给机械臂发送夹爪张开的值，机械臂会根据此值来打开/闭合机械臂；步骤3，初始化完成后，将机械臂移动到识别位置，利用摄像头对桌面上待分拣的电路板工件进行图像获取；通过图像识别，获取电路板工件上的二维码图像，并将图像中所有的电路板工件的二维码的内容以及位置信息记录下来；其中，内容信息表示二维码本身所包含的信息，包括工件的ID号码；位置信息则是电路板工件上的二维码相对于摄像头为原点的目标坐标系的坐标点信息；步骤4，通过二维码服务，把二维码的内容信息以及位置信息发送到主控模块，在主控模块利用任务空间坐标控制服务进行坐标转换；具体内容是把以摄像头为原点的二维码的坐标值转换为以机械臂底座中心为原点的任务空间的坐标值；首先在识别二维码前，机械臂会先到达一个人为设定便于检测工件二维码的固定姿态，即Q0(x0,y0,z0)，Q0此坐标点是摄像头在任务空间中的坐标，用于坐标系转换计算；C
x
，C
y
，C
z
分别是误差补偿常数，用于各种因素导致的计算误差，是通过实际情况标定后人为设定；假设通过二维码服务获取到多个二维码的坐标，第i个二维码的坐标为x
i
’
,y
i
’
,z
i
’
，转换后的任务空间坐标为Q(x
i
,y
i
,z
i
)，那么可以得到公式：步骤5，获取到电路板工件的任务空间坐标Q(x
i

【专利技术属性】
技术研发人员：乔海晔，徐献圣，张震，余家豪，刘晓程，
申请(专利权)人：佛山职业技术学院，
类型：发明
国别省市：