【技术实现步骤摘要】
一种基于计算机视觉的工业零件智能识别与分拣系统
本专利技术涉及一种机器人分拣技术，特别涉及基于计算机视觉实例分割的工业零件机器人分拣技术。
技术介绍
在传统的机器人分拣环境中，机器人的运动控制一般采用示教或离线编程的方法。现有的零件加工生产环境中大都是针对机器人的初始和终止姿态及工件的摆放位置有严格要求的情形。在实际零件制造加工生产线中，存在一些零件结构不对称、质量分布不均匀以及输送带上零件随机摆放导致的重叠、阴影等问题，这些因素都会给零件检测识别和抓取带来干扰和误差，最终会导致机器人抓取工件失败。基于上述工业背景，现存主流的技术方案主要分为两类。第一类便是传统的流水线自动化生产，即机器人所有的运动轨迹、工序流程和位姿及工件的摆放位置都是固定的。此方案实现简单，可以轻易地完成一些重复工作，节省了人力。但是其分拣速度慢、效率低、动作固定且无法适应多变的工作环境。如对随机放置或重叠零件的分拣，一旦零件位置和形状发生轻微变化则会导致机器人抓取失败，从而影响生产效率。第二类便是利用机器视觉和机器人结合，使工业...
【技术保护点】
1.一种基于计算机视觉的工业零件智能识别与分拣系统，包括总控系统终端、机械臂组件和图像采集器，其特征在于，/n机械臂组件包括机械臂、机械臂主机、机械夹、机械夹主机；/n图像采集器位于目标经过的正上方，周围配置有均匀光源，采集二维彩色图像和深度信息图像并输出至总控系统终端；所述目标为待分拣零件；/n总控控制终端通过图像采集器采集到的二维彩色图像和深度信息图像提取生产环境中的目标的尺寸大小和位置信息作为分类特征输入至本地训练好的实例分割模型HTC进行目标的识别和定位从而得到目标的位置信息；所述目标的位置信息包括待目标的坐标、形状与大小信息；根据传送的图像采集器视野中目标的坐标与...
【技术特征摘要】
1.一种基于计算机视觉的工业零件智能识别与分拣系统，包括总控系统终端、机械臂组件和图像采集器，其特征在于，
机械臂组件包括机械臂、机械臂主机、机械夹、机械夹主机；
图像采集器位于目标经过的正上方，周围配置有均匀光源，采集二维彩色图像和深度信息图像并输出至总控系统终端；所述目标为待分拣零件；
总控控制终端通过图像采集器采集到的二维彩色图像和深度信息图像提取生产环境中的目标的尺寸大小和位置信息作为分类特征输入至本地训练好的实例分割模型HTC进行目标的识别和定位从而得到目标的位置信息；所述目标的位置信息包括待目标的坐标、形状与大小信息；根据传送的图像采集器视野中目标的坐标与机械臂当前的坐标实现机械臂的路径规划，根据目标的形状与大小确定机械夹的姿态，向机械臂主机发送机械臂的实时路径坐标与姿态控制信息；当机械臂到位后向机械夹主机发送抓取控制信息；抓取控制信息包括抓取角度和机械夹开合大小；根据实时接收到的来自于机械臂主机和机械夹主机的交互信息来实时中断或更改机械臂和机械夹的任务；
机械臂主机用于根据接收到的实时路径坐标控制机械臂运动到相应位置，根据接收到的姿态控制信息转动机械臂从而控制机械夹的姿态，并实时与总控系统终端进行交互；
机械夹主机用于接收到抓取控制信息后指令控制机械夹合拢和松开，并实时与总控系统终端进行交互。
2.如权利要求1所述系统，其特征在于，总控控制终端中实例分割模型通过目标的识别分类和实例分割完成目标定位：
实例分割模型对先对目标进行识别检测得到像素级分割的目标检测边框bbox，再根据bbox矩阵获得目标在场景中的二维坐标(x,y)，实例分割模型中实例分割的结果是bbox对应的掩膜mask矩阵信息；将采集到的二维彩色图像和深度信息图像进行对齐，再根据mask矩阵在深度信息图像上截取对应位置的像素矩阵，由此根据深度图的像素值计算出目标z方向的坐标，从而完成目标的三维定位。
3.如权利要求1所述系统，其特征在于，总控控制终端中实例分割模型根据mask矩阵在深度信息图像上截取对应位置的像素矩阵时，根据图像采集器距离目标经过水平面的距离以及零件最大高度来确定mask矩阵的高度异常值范围，将出高度异常值范围内的mask矩阵剔除；之后按1cm一个区间对mask矩阵进行分割，统计每个有效区间的目标个数分布，
最后由远及近取距离图像采集器个数占比超...
【专利技术属性】
技术研发人员：于鸿洋，黄万军，杨雪，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川;51
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。