一种基于机器视觉的水果分拣系统及其图像识别方法技术方案

本发明专利技术涉及一种基于机器视觉的水果分拣系统及其图像识别方法，属于机器视觉和机械设计与控制的技术领域，系统装置包括图像采集装置、传送装置、机器人支撑架、delta机器人、气动夹具；图像采集装置设于传送装置上方，delta机器人通过机器人支撑架设于图像采集装置后方，气动夹具与delta机器人相连，各部分互相配合，采集图像信息并上传到计算机分析运算，得到缺陷水果的位置坐标。最后计算机控制delta机器人带动气动夹具夹取水果，放到相应的传送带，完成分拣过程，识别准确效率高。

A Fruit Sorting System Based on Machine Vision and Its Image Recognition Method

The invention relates to a fruit sorting system based on machine vision and its image recognition method, belonging to the technical field of machine vision and mechanical design and control. The system device includes image acquisition device, transmission device, robot support frame, Delta robot, pneumatic fixture; the image acquisition device is located above the transmission device, and the delta robot is mounted on the image through robot support. In the rear of the acquisition device, the pneumatic fixture is connected with the delta robot. Each part cooperates with each other. The image information is collected and uploaded to the computer for analysis and calculation, and the position coordinates of the defective fruit are obtained. Finally, the computer controls the delta robot to drive the pneumatic fixture to pick up the fruit and put it on the corresponding conveyor belt to complete the sorting process, so that the recognition accuracy and efficiency are high.

【技术实现步骤摘要】
一种基于机器视觉的水果分拣系统及其图像识别方法
本专利技术涉及一种基于机器视觉的水果分拣系统及其图像识别方法，属于机器视觉和机械设计与控制的

技术介绍
我国是典型的农业大国，农作物产量以及水果的产量在逐年递增。长期以来，我国都是依赖人工进行水果分拣，这就导致了水果分拣的成本高、效率低、分拣标准也千差万别，最终会导致水果价格偏高，水果质量难以满足消费者的需求等问题，在一定程度上制约了我们农业经济的发展。近几年来，机器视觉以及机器人技术发展较为成熟，在工业领域的应用越来越广泛，在农业领域同样能发挥它的价值，所以本专利技术提出了将两种在工业领域应用较为成熟的技术结合后应用在农业领域的方案，希望它能够解决水果分拣中存在的问题，并带来一定的社会效益。
技术实现思路
针对现有技术的不足，本专利技术提供一种基于机器视觉的水果分拣系统及其图像识别方法本专利技术的技术方案如下：一种基于机器视觉的水果分拣系统，包括图像采集装置、传送装置、机器人支撑架、delta机器人、气动夹具；图像采集装置设于传送装置上方，delta机器人通过机器人支撑架设于图像采集装置后方，气动夹具与delta机器人相连；所述图像采集装置包括框架，框架跨设于传送装置上方，框架四周设有挡板，挡板内侧设有光电传感器、CCD相机，光电传感器与CCD相机均与控制系统相连；所述的delta机器人包括固定平台，固定平台上设有伺服电机，伺服电机输出轴与大臂相连，大臂通过两自由度连接件与小臂相连，小臂通过两自由度连接件与末端执行器相连；通过伺服电机的转动便可以控制末端执行器在空间中运动；所述气动夹具包括气动夹具底座和气动杆，气动夹具底座与末端执行器的末端执行器底座相连，气动夹具底座通过转动轴与夹具大臂相连，夹具大臂底部通过传动螺栓与抓手相连，夹具大臂中部通过转动轴与夹具小臂相连，夹具大臂、夹具小臂、抓手的数量均为两个，两个夹具小臂通过转动轴与连接臂相连，气动杆一端与连接臂相连，气动杆另一端贯穿气动夹具底座和末端执行器底座。通过气动杆的伸缩，便可以实现夹具的夹取动作。各部分互相配合，在控制系统及软件系统的支持下完成分拣水果的具体操作：水果在传送带上先经过图像采集装置，传感器感应到水果后上报控制器，控制器控制工业相机进行拍照。然后将采集到的图像上传到计算机分析运算，得到缺陷水果的位置坐标。最后计算机控制delta机器人带动气动夹具夹取水果，放到相应的传送带，完成分拣过程。根据本专利技术优选的，所述图像采集装置还包括照明灯，所述照明灯、CCD相机均通过固体胶粘结于挡板内侧。进一步优选的，所述框架为立体矩形框架，所述CCD相机设于矩形框架顶部挡板的内侧，照明灯设在两侧挡板内侧，光电传感器设在设于框架上。进一步优选的，所述传送装置传送方向两侧的挡板从框架顶部延伸至传送装置下方。遮光板采用不透光的黑色亚克力板，左右板延伸到传送带底部，前后到传动带上表面的距离要保证水果能够通过，此设计的优点在于大大减小了外部光线对图像采集的干扰。根据本专利技术优选的，所述传送装置包括主传动轴、从动轴、轴承、传送带，传送带两端设有主传动轴和从动轴，主传动轴和从动轴均通过轴承连接在轴承支撑上。根据本专利技术优选的，所述伺服电机通过电机基座固定设在固定平台上，所述伺服电机的数量为三个，三个伺服电机在水平方向上按圆周相互间隔120°分布。进一步优选的，大臂通过两自由度连接件与小臂相连，所述两自由度连接件包括大连接件、小连接件、大传动轴、轴承，大连接件一端通过大传动轴与大臂相连，大传动轴与大臂之间设有轴承，大连接件另一端内设有轴承，轴承内通过轴承连接销与小连接件相连，小连接件通过臂连接销与小臂相连；小臂通过两自由度连接件与末端执行器相连，所述两自由度连接件包括大连接件、小连接件、大传动轴、轴承，大连接件一端通过大传动轴与小臂相连，大传动轴与小臂之间设有轴承，大连接件另一端内设有轴承，轴承内通过轴承连接销与小连接件相连，小连接件通过臂连接销与末端执行器相连。进一步优选的，所述大臂的数量为三个，所述小臂的数量为六个，每个大臂末端两侧各通过两自由度连接件与小臂相连。根据本专利技术优选的，所述气动夹具的抓手相对一侧设有弧形垫片。适合水果轮廓的圆弧状橡胶垫片，可保证能够牢固的抓取水果，与夹具相配合的气动系统设置一个合适的压力值，以保证夹具产生合适的夹取水果的力，同时避免对水果造成机械硬伤。一种基于机器视觉的水果分拣系统的图像识别的方法，包括以下步骤：(1)将水果置于传送装置，光电传感器感应到有水果进入后上报控制系统，控制系统控制CCD相机拍照，将采集到的图像信息上传至计算机分析运算；(2)将收到的图像进行图像处理，图像处理包括直方图均衡化、中值平滑、高斯平滑、边缘检测，得到具有水果轮廓的二值图，利用膨胀算法增大二值图中白色缺陷区域的面积，通过直方图均衡化，图像的灰度直方图更加均匀，像素将占有更多的灰度级，处理后的图像的对比度提高，图像质量改善；中值滤波在降噪时引起的模糊较低、中值平滑后可有效消除了图像的椒盐噪声，避免线性平滑滤波在处理像素邻域内的噪声点时，噪声会影响该点像素值的计算；在中值平滑的基础上再进行高斯平滑，以增强图像的有效信息，避免平均平滑对邻域内的像素取相同的权重、会造成图像模糊；通过边缘检测得到具有水果轮廓的二值图；图像的边缘是图像的最基本特征，是指灰度值有较大变化的地方。边缘检测可以大大减少数据量，并且去除无效信息，提取出图像的有效信息。利用膨胀算法做形态学处理，以提高水果识别的正确率，应该扩大正常水果和缺陷水果之间的差异。本步骤中可用OpenCV机器视觉开源库给提供的方法直接调用进行图像处理。(3)霍夫圆检测，采用基于梯度的霍夫圆检测方法，得到图像中所有水果的质心位置坐标以及水果的半径大小；(4)缺陷识别，由步骤(3)已经得出了水果所在位置的圆心及半径，根据圆心和半径构建每个圆的外接正方形，得到该正方形总的像素点数并设为总面积，得到在该正方形内像素值为255的点数个数并设为缺陷面积，用缺陷面积除以总面积得到缺陷比率，设置比率阈值，通过该阈值便可以识别出有缺陷的水果及无缺陷水果的坐标位置；选择正方形而不选择圆形的原因是这样可以提高算法的运行效率；(5)控制系统控制delta机器人带动气动夹具行进至该缺陷水果的上方，并拾取该缺陷水果至指定位置。本专利技术的有益效果在于：1、本专利技术采用气动夹具作为水果的夹取装置，比吸盘式夹具能够承受更大的重量，夹取更大直径的水果，提高了适用范围，通过气动的方式实现抓取和放下动作，delta机器人作为空间移动装置属于并联结构，能够高速拾取，效率高。2、本专利技术的图像识别方法采用Python语言结合OpenCV开源库开发，巧妙的将OpenCV提供的方法和自己的方法融合在一起，对单个图像进行一系列的图像处理最终得到二值化图像，并设置阈值进行识别，相比于直接对比相似图像，本方法可高效简便的完成了图像识别的任务，且正确率高，便于二次开发。3、本专利技术分拣系统对五部分硬件装置进行模块化设计，构思巧妙，结构简单，安装使用方便，其分拣方法简单易行，操作方便，分拣结果准确率高，对于水果分拣设备的设计制作具有重要的指导意义。附图说明图1为本专利技术基于机器视觉的水果分拣系统总体结构示意图；图2为本专利技术中气动夹具的本文档来自技高网...

【技术保护点】
1.一种基于机器视觉的水果分拣系统，其特征在于，包括图像采集装置、传送装置、机器人支撑架、delta机器人、气动夹具；图像采集装置设于传送装置上方，delta机器人通过机器人支撑架设于图像采集装置后方，气动夹具与delta机器人相连；所述图像采集装置包括框架，框架跨设于传送装置上方，框架四周设有挡板，挡板内侧设有光电传感器、CCD相机，光电传感器与CCD相机均与控制系统相连；所述的delta机器人包括固定平台，固定平台上设有伺服电机，伺服电机输出轴与大臂相连，大臂通过两自由度连接件与小臂相连，小臂通过两自由度连接件与末端执行器相连；所述气动夹具包括气动夹具底座和气动杆，气动夹具底座与末端执行器的末端执行器底座相连，气动夹具底座通过转动轴与夹具大臂相连，夹具大臂底部通过传动螺栓与抓手相连，夹具大臂中部通过转动轴与夹具小臂相连，夹具大臂、夹具小臂、抓手的数量均为两个，两个夹具小臂通过转动轴与连接臂相连，气动杆一端与连接臂相连，气动杆另一端贯穿气动夹具底座和末端执行器底座。

【技术特征摘要】
1.一种基于机器视觉的水果分拣系统，其特征在于，包括图像采集装置、传送装置、机器人支撑架、delta机器人、气动夹具；图像采集装置设于传送装置上方，delta机器人通过机器人支撑架设于图像采集装置后方，气动夹具与delta机器人相连；所述图像采集装置包括框架，框架跨设于传送装置上方，框架四周设有挡板，挡板内侧设有光电传感器、CCD相机，光电传感器与CCD相机均与控制系统相连；所述的delta机器人包括固定平台，固定平台上设有伺服电机，伺服电机输出轴与大臂相连，大臂通过两自由度连接件与小臂相连，小臂通过两自由度连接件与末端执行器相连；所述气动夹具包括气动夹具底座和气动杆，气动夹具底座与末端执行器的末端执行器底座相连，气动夹具底座通过转动轴与夹具大臂相连，夹具大臂底部通过传动螺栓与抓手相连，夹具大臂中部通过转动轴与夹具小臂相连，夹具大臂、夹具小臂、抓手的数量均为两个，两个夹具小臂通过转动轴与连接臂相连，气动杆一端与连接臂相连，气动杆另一端贯穿气动夹具底座和末端执行器底座。2.根据权利要求1所述的基于机器视觉的水果分拣系统，其特征在于，所述图像采集装置还包括照明灯，所述照明灯、CCD相机均通过固体胶粘结于挡板内侧。3.根据权利要求2所述的基于机器视觉的水果分拣系统，其特征在于，所述框架为立体矩形框架，所述CCD相机设于矩形框架顶部挡板的内侧，照明灯设在两侧挡板内侧，光电传感器设在设于框架上。4.根据权利要求3所述的基于机器视觉的水果分拣系统，其特征在于，所述传送装置传送方向两侧的挡板从框架顶部延伸至传送装置下方。5.根据权利要求1所述的基于机器视觉的水果分拣系统，其特征在于，所述传送装置包括主传动轴、从动轴、轴承、传送带，传送带两端设有主传动轴和从动轴，主传动轴和从动轴均通过轴承连接在轴承支撑上。6.根据权利要求1所述的基于机器视觉的水果分拣系统，其特征在于，所述伺服电机通过电机基座固定设在固定平台上，所述伺服电机的数量为三个，三个伺服电机在水平方向上按圆周相互间隔120°分布。7.根据权利要求...

【专利技术属性】
技术研发人员：胡天亮，李学兵，张承瑞，陶飞，
申请(专利权)人：山东大学，
类型：发明
国别省市：山东,37