一种基于计算机视觉和机器学习的自适应分拣系统技术方案

本实用新型专利技术提供了一种基于计算机视觉和机器学习算法的自适应分拣系统及其配套末端执行器。该系统由：物件分类决策模块，物件信息预估模块，底座，摄像机，可变吸力吸盘，柔性机械手爪，触觉传感器七部分组成。结构简单，制造成本低，工作稳定可靠，通用性和互换性良好，可适用于多种工作环境，该实用新型专利技术结合了可变吸力吸盘以及柔性机械手爪，使得该实用新型专利技术适用于包括水果自适应分拣分级等多种生产场合中，具有较高的应用价值。

An Adaptive Sorting System Based on Computer Vision and Machine Learning

The utility model provides an adaptive sorting system based on computer vision and machine learning algorithm and a matching end-effector. The system consists of seven parts: object classification decision module, object information prediction module, base, camera, variable suction chuck, flexible manipulator gripper and tactile sensor. The utility model has the advantages of simple structure, low manufacturing cost, stable and reliable operation, good versatility and interchangeability, and can be applied to a variety of working environments. The utility model combines variable suction sucker and flexible manipulator gripper, which makes the utility model suitable for a variety of production occasions, including fruit self-adaptive sorting and grading, and has high application value.

【技术实现步骤摘要】
一种基于计算机视觉和机器学习的自适应分拣系统
本专利技术属于机器人应用领域，特别涉及一种利用计算机视觉和机器学习的自适应分拣系统及方法。
技术介绍
如今，随着机器人技术的不断发展，机器人已经在人类社会的工业生产领域当中扮演着举足轻重的角色，机器人的大批量应用提升了工厂的生产自动化程度，提升了生产线的制造效率。而在一些特殊的生产领域，如水果分拣，往往需要机器人的夹持具有一定的柔性抓取特性，以在不破坏水果品质的同时实现稳定抓取。特别的，在樱桃分拣领域，通常需要根据樱桃的大小、重量、色泽等进行樱桃的质量分级，并实现稳定的抓取分拣。然而，在目前相关种类的机器人中，还存在着抓取模式单一，抓取稳定性不高，无法实时识别抓取种类并实现分拣以及抓取方式的变换等问题。中国专利号：CN201320598860.0，名称：工业机器人分拣系统，该专利技术公开了一种工业机器人分拣系统，该方法具体为：使用摄像机实现视觉分拣，并采用六轴机械臂进行工件的分拣。该专利针对几何形状的工件进行研究，主要用于工业零件分拣领域。然而，该专利技术采用的六轴机械臂在灵活抓取上具有一定的局限性，只能对一定的规范几何工件进行抓取，因此，该专利技术并不能完全适用于多种需要进行柔性抓取的生产场合如水果分拣产业当中。中国专利号：CN201510713573.3，名称：一种柔性抓取机械手，该专利技术公开了一种柔性抓取机械手，用以提高抓取的范围，灵活抓取。所述柔性机械臂具有360度旋转的能力，其拥有灵活的运动能力，能够在一定程度上避开障碍物到达目标空间。然而，该专利技术的末端执行器仍然为刚性结构，无法实现柔性抓取，使得该专利技术的应用场景局限于硬质刚体的抓取任务中，无法将其扩展应用到柔性抓取的生产场合当中。综上，在工业生产的实际应用中，需要一种能够实现柔性抓取的夹持器，结合计算机视觉，实现物件的柔性分拣。本专利技术正是结合了柔性机械爪的优点，提出了一种新型有效的自适应分拣方法及其配套柔性末端执行器。
技术实现思路
本专利技术提供了一种基于计算机视觉和机器学习的自适应分拣系统及方法，用以实现对樱桃等水果的自适应柔性分拣。其目的在于，在水果分拣的过程中，利用计算机视觉识别算法，通过对水果种类、大小、以及成熟度等信息对水果进行实时分拣，提高水果分拣的过程准确率，主要解决了现阶段用户无法根据水果的种类、质量等信息实现准确稳定的分拣等问题。本专利技术的目的通过下述技术方案予以实现：一种基于计算机视觉和机器学习算法的自适应分拣系统，其特征在于：包括，底座（1），摄像机（2），可伸缩连杆（3），可变吸力吸盘（4），柔性手爪（5），触觉传感器（6），个人或工业计算机（7），个人或工业计算机（7）包含有物件分类决策模块及物件信息预估模块。摄像机（2）安装于所述底座（1）之上；可变吸力吸盘（4）被布置于底座（1）的下部中央位置，通过可伸缩连杆（3）进行连接；柔性手爪（5）布置于底座（1）的下方边缘处；触觉传感器（6）安置于柔性手爪（5）的各个末端指尖内表面；物件分类决策模块及物件信息预估模块整合于个人或工业计算机（7）中；物件分类决策模块,通过有线或无线与摄像机（2）、触觉传感器（6）连接；物件信息预估模块通过有线或无线与可变吸力吸盘（6）和柔性手爪（5）连接。摄像机（2）用于拍摄被抓取物体的图像信息，将图像信息实时传输到物件信息预估模块，物件信息预估模块进行数据比对，用以获得被抓取物体的信息如种类、质量等。可变吸力吸盘（4）的吸盘数量为一个或多个，可适应多种物件形状的贴合吸取，吸力大小由物件信息预估模块给出的信号决定。柔性手爪（5）基本结构为柔性多指手爪，柔性手指数量等于或大于3根，采用柔性关节设计，其刚度由物件信息预估模块给出的信号和力反馈信号共同决定。触觉传感器（6）在柔性手爪（5）接触到被抓物件的表面时，产生力反馈信号，实时传输到物件分类决策模块，结合物件信息预估模块，给出柔性手爪的刚度决策信号。物件分类决策模块用于实现视觉信息和力反馈信息的融合，实现对物件的分拣决策生成。本专利技术的一种技术方案为提供一种自适应分拣系统实现分拣的方法，其特征在于：1）、在开始抓取进程后，摄像机（2）实时捕捉物件的画面信息并传输到系统中，通过与数据空中的数据进行比对，确定被抓取物件的种类。2）、当确定被抓取物后，与数据库中的物件类别进行比对，根据物件的大小及种类大体确定物件的重量，并根据该先验重量信息确定可变吸力吸盘（4）的吸取力度，确保不会由于吸取力度太小而吸取失败，或者由于吸取力度太大而损伤到物体表面。3）、在吸取完成后，对可变吸力吸盘（4）进行回收，同时启动手爪的抓取包络程序对物件进行固定，此时，被抓取的物件不但能够受到可变吸力吸盘（4）的吸力，还有柔性手爪（5）的固定作用，确保在手爪移动的同时，物件不会掉落。4）、在柔性手爪（5）末端触碰到物件的表面后，根据柔性手爪（5）末端的触感传感器（6）所得到的力反馈信息，实时判断物件的软硬程度，并及时调整柔性手爪（5）的抓取力度和刚度，以防止由于柔性手爪（5）夹取力度的不均匀导致樱桃的掉落或者损害到樱桃的表面。本专利技术的特点：1，本专利技术结合计算机视觉及机器学习技术，通过布置在夹持器末端的摄像头捕捉被夹取物的画面信息，实时对其种类、大小、质量等信息进行预估，进而确定末端吸盘的吸取力度。2，本专利技术具有力反馈机制，通过布置在夹持器手爪末端的三个触觉传感器，在使用手爪接触物件的同时，通过触觉传感器的力反馈信号，估计出被抓取物件的软硬度，并进一步更新手爪包络物件所需采用的力度及刚度。3，本专利技术的抓取过程：在摄像头识别出被抓取物件的种类、大小后，根据数据库中的相关数据，预估物件的重量，确定夹持器的吸取力度；在对物件进行初步的吸取后，夹持器手爪对物件进行进一步的包络，以提高抓取稳定性，在此过程中，手爪的刚度由触觉传感器的力反馈信息所决定。本专利技术的优点在于：1，本专利技术结合了计算机视觉及机器学习相关技术，在进行分拣前能够对被抓物件产生一定的先验知识，如种类、大小、质量等，增强了初步抓取阶段的准确性和稳定性。2，本专利技术的末端夹持器同时结合了吸盘式和柔性手爪式两种夹持方式，在使用吸盘对物件进行初步夹持后，进一步的，使用手爪对物件进行柔性包络，进而提高抓取的稳定性，便于对物件进行进一步的移动。3，本专利技术中的末端夹持器手爪采用柔性关节设计，其活动范围广，能够适应物件的表面形状进而改变手爪的弯曲程度，在保证不损害物件表面的同时，对物件拥有良好的固定效果。4，本专利技术中的末端夹持器手爪具有触觉传感器，能够在接触物件表面的同时获得物件的软硬度信息，用以实时更新手爪的刚性数据，实现柔性抓取，保护被抓取物件的表面完整性。5，本专利技术中的末端夹持器手爪具有触觉传感器，能够获得物件的软硬度信息，用以同步改变柔性手爪的刚性，实现对物件的柔性包络。6，本专利技术可通过物件的软硬度、颜色信息，在水果分拣场景中确定水果的成熟度，用作对水果进行分级。附图说明图1为本专利技术实施例的算法运行流程图图2为本专利技术的结构示意图图3为本专利技术模块间的联系框图其中1为底座、2为摄像机、3为可伸缩连杆、4为可变吸力吸盘、5为柔性手爪、6为触觉传感器、7为个人或工业计算机。具体实施方式本专利技术实例提供了一种基于计算机视觉和机器学习的自适应分拣系统及方法。为了本文档来自技高网...

【技术保护点】
1.一种基于计算机视觉和机器学习的自适应分拣系统，其特征在于：包括底座（1）、摄像机（2）、可伸缩连杆（3）、可变吸力吸盘（4）、柔性手爪（5）、触觉传感器（6）、个人或工业计算机（7）组成；个人或工业计算机（7）包含有物件分类决策模块及物件信息预估模块。

【技术特征摘要】
1.一种基于计算机视觉和机器学习的自适应分拣系统，其特征在于：包括底座（1）、摄像机（2）、可伸缩连杆（3）、可变吸力吸盘（4）、柔性手爪（5）、触觉传感器（6）、个人或工业计算机（7）组成；个人或工业计算机（7）包含有物件分类决策模块及物件信息预估模块。2.根据权利要求1所述的自适应分拣系统，其特征在于：摄像机（2）安装于所述底座（1）之上；可变吸力吸盘（4）被布置于底座（1）的下部中央位置，通过可伸缩连杆（3）进行连接；柔性手爪（5）布置于底座（1）的下方边缘处；触觉传感器（6）安置于柔性手爪（5）的各个末端指尖内表面；物件分类决策模块通过有线或无线与摄像机（2）、触觉传感器（6）连接；物件信息预估模块通过有线或无线与可变吸力吸盘（4）和柔性手爪（5）连接。3.根据权利要求1或2任一项所述的自适应分拣系统，其特征在于：摄像机（2）用于拍摄被抓取物体的图像信息，将图像信息实时传输到物件信息预估模...

【专利技术属性】
技术研发人员：梁聪垣，贺波涛，王柠，
申请(专利权)人：常州普旺科技有限公司，
类型：新型
国别省市：江苏,32