一种基于3D视觉识别的机器人手爪姿态校正系统及方法技术方案

本发明专利技术涉及一种基于3D视觉识别的机器人手爪姿态校正系统，使用该系统进行机器人手爪姿态校正的方法。具体属于流水线生产的自动化控制领域。通过对工件不同侧面进行3D视觉识别，确定多组对应于不同侧面的识别位点，并将各识别位点组与预存的标准识别位点组进行对照组合，最终获得机器人手爪抓取用识别位点矩阵，从而对机器人手爪进行姿态角整。前述操作仅使用了本领域中业已成熟的传送带系统和3D视觉识别系统，不需要特殊定制的装置，设备成本可控、保养维修方面；同时能够引导机器人手抓对工件、特别是形状不规则工件实现快速有效抓取，能够在提高生产效率的前提下避免对于工件脆弱部位的损坏。

An attitude correction system and method for robot hand based on 3D vision recognition

The invention relates to a robot hand attitude correction system based on 3D visual recognition, which uses the system to carry out the attitude correction of robot hand. It belongs to the automatic control field of pipeline production. Based on the work of different side 3D visual identification, identify sets of corresponding recognition sites on different sides, and the standard recognition sites in each group and group recognition sites stored were obtained at the end of robot gripper combination, with recognition site matrix, so as to make the whole robot attitude angle. The operation is only used in the field of mature belt system and 3D visual identification system, device does not require special custom, cost control, equipment maintenance; at the same time can guide the robot hand on the workpiece, especially the irregular shape of the workpiece to achieve rapid and effective grasp, to avoid damage to the fragile site in the the premise of increasing production efficiency.

【技术实现步骤摘要】
一种基于3D视觉识别的机器人手爪姿态校正系统及方法
本专利技术涉及一种基于3D视觉识别的机器人手爪姿态校正系统，使用该系统进行机器人手爪姿态校正的方法。具体属于流水线生产的自动化控制领域。
技术介绍
在流水线生产过程中，如何减少人工干预、提高过程的自动化控制水平，一直是人们不断追求的目标。与人不同，机器由于不具有智能，并且在空间结构识别方面存在严重欠缺，使用自动化设备完全替代人工并不现实。其中较为典型的情况是对于流水线中工件的抓取。使用机器人手爪对工件进行抓取需要注意若干问题。其一是工件大部分情况下并非均匀体或具有良好对称结构，其二是工件不同部位承受压力的能力不同。两点结合，需要控制机器人手爪在恰当的位置以恰当的力度进行抓取，既要保证抓取的稳定，又要防止对于工件已有结构的损坏。对于后者而言，如果工件中存在完全不能受力的部分(例如花纹、薄壁等)，如果机器人手爪抓取点位于这些部位，甚至会直接造成工件的损坏。现有技术中为了解决前述问题，主要改进方式在于对手爪本身的改进(CN101890722A)，包括提供灵活的姿态调整自由度、抓取力度控制手段、柔软的抓手等方式；但是往往需要使用精密复杂的手爪组件，不仅提高了成本，还提高了设备维修保养的难度。3D视觉识别系统是近期发展起来的物体识别方式，并且已被应用于流水线上生产上。3D视觉识别技术的基本原理是，通过采集工件的图像，并通过一定的算法进行处理，获得工件轮廓、外貌、纹理、形态等物理信息，并将这些物理信息数字化、模型化，从而获得计算机可以识别和处理的数字信号，使得诸如机械手等设备能够根据这些数字信号识别并处理工件，从而达到自动化生产的目的(CN106251353A，CN106003093A，CN105021124A)。现有技术中公开了多种实现3D视觉识别的方法，例如通过双摄像头获得工件轴线特征(魏弦等，煤矿机械，2013,34(8)，72-73)，通过光栅投影获得3D工件表面形貌(CN102305601A)等。现有技术中，对于形状规则的工件可以方便地利用3D视觉识别技术引导机器人手爪的姿态，例如CN105729472A公开了一种基于机器视觉的球泡灯分拣和装箱系统。但是工业生产中涉及的工件更多是不具有规则性状、甚至不具有对称轴的异形工件，这一问题在柔性生产系统中表现得更为突出。如何在应用环境下实现对于机器人手爪姿态的校正，成为亟待解决的问题。
技术实现思路
本专利技术的目的在于，对于特别是不具有规整性装的工件如何实现快速有效抓取的问题，提供一种对于机器人手爪姿态进行校正的系统，以及相应的校正方法，从而解决现有技术中存在的问题。为解决前述技术问题，本专利技术提出了如下的基于3D视觉识别的机器人手爪姿态校正系统，其特征在于，所述系统包括以下组件：(1)第一传送带，所述第一传送带用于工件的匀速传送；(2)第一3D识别装置，所述第一3D识别装置安装于第一传送带上方，用于对第一传送带所传送工件的3D形貌进行第一次识别；(3)挡板，所述挡板安装于第一传送带末端，用于改变工件的放置形态；所述挡板在垂直方向上与第一传送带呈垂直状态，在水平方向上与第一传送带的传送方向呈一定角度；(4)第二传送带，所述第二传送带用于工件继续匀速传送，第二传送带在垂直方向上位于第一传送带下方并具有一定落差，第二传送带的传送方向与第一传送带的传送方向相同；(5)第二3D识别装置，所述第二3D识别装置安装于第二传送带上方，用于对第二传送带所传送工件的3D形貌进行第二次识别；(6)计算装置，所述计算装置用于对第一3D识别装置和第二3D识别装置采集到的图像信号进行处理，计算得到对应的工件形貌，获得工件识别位点，并根据识别位点信息控制机器人手爪的姿态校正。为了保证工件能够被准确识别，需要控制其运动速度、防止在传送带上的颠簸；同时也要从效率的角度考虑，不能使传输速度过低。优选所述第一传送带和所述第二传送带的传送速度相同，并进一步优选该传送速度为1m/s。所述挡板在水平方向上与第一传送带的传送方向所呈角度范围在85～55°即可，其目的在于对工件水平放置姿态进行调节，保证其在两个传送带上具有不同的形态。为了进一步保证形貌的差别，所述第一传送带与所述第二传送带应具有落差，其范围优选为5～50cm，从而利用工件的下落大幅度调节其形态。所述3D结构构建组件没有特别限制，只要是现有技术中公开的能够对被识别组件的3D信息予以识别的设备和/或方法均可使用。例如，所述3D结构构建组件包括双摄像头，所述双摄像头采集被识别对象的边缘信息，并将所述边缘信息传送至所述计算组件，通过计算被识别对象轴线特征以获得被识别组件的姿态信息。具体而言，图像在三维尺度上的相面形心的求解方程为随后求得半径序列Radium(i)(i＝1,2,3….)，并计算h值两侧半径差的对应绝对值，最终求得被识别对象的特征轴线。获得轴线后，进行图像的归一化色差处理，公式为：其中Cn为色度偏差值，R、G、B为RGB色域参数，并对图像各像素进行统一灰度处理，从而识别出全灰度状态下的识别位点的坐标，公式为：其中Tn为预设的灰度阈值。一般而言，Tn值为图像平均灰度的75-80％即可。再例如，所述3D结构构建组件包括网格投影装置和图像采集装置，所述网格投影装置对被识别对象表面投射网格化图像，由图像采集装置收集变形网格图像并输送至所述计算组件，计算得到被识别组件的姿态信息。具体流程为：(1)图像栅格化，将三维形貌所扭曲的而为网格划分为m×n个格子，其边界为(2)拟合得到主轴线位置，其中k1、k2、b1、b2为直线参数(3)根据标准图像，获得识别位点与轴线的坐标关系index(x,y)，从而将该识别位点映射到工件上，s(x,y)为标准图像中的标准位点坐标。在收集到工件的3D形貌信息，使用所述计算装置对采集到的图像信号进行处理，计算得到对应的工件形貌，获得工件识别位点，并根据识别位点信息控制机器人手爪的姿态校正。具体的识别过程例如，工件一个侧面的识别位点计为An，另一个侧面的识别位点计为Bn，两组位点组合，获得表征工件3D形貌的位点矩阵随后，表征工件3D形貌的位点矩阵与预存的标准识别位点组进行匹配，获得机器人手爪抓取用识别位点矩阵，最终，机器人手爪抓取用识别位点矩阵，以及工件的姿态，对机器人手爪的姿态进行适应性调整，以使机器人手爪的各爪与各识别位点相对应，从而实现对工件的抓取。本专利技术的有益效果为：1.本专利技术所用设备构建简单，所需组件均可采用市售组件，不要额外购买或生产特殊用途的组件，设备通用性强、构建成本低。2.本专利技术能够极大提高流水线生产的自动化水平，通过将3D视觉识别技术应用于自动化生产线中，能够引导机器人手抓对工件、特别是形状不规则工件实现快速有效抓取，并能够避免对于工件脆弱部位的损坏。附图说明为清楚地展现本专利技术的技术方案，下面将对实施例中所需要使用的附图作简单地介绍。图1实施例1所用工件的俯视图，白色部分为金属部分，灰色部分为不能抓取的海绵部分。虚线为分隔工件不同侧面的虚拟线。具体实施方式下面通过具体实施例详细介绍本专利技术的具体运作方式。如图1示工件为一形状不规则工件。虚线为分隔工件不同侧面的虚拟线。工件在第一传送带上被传送时，经第一3D识别装置获取工件一个侧面的3D形貌，并获得第一组本文档来自技高网...

【技术保护点】
一种基于3D视觉识别的机器人手爪姿态校正系统，其特征在于，所述系统包括以下组件：(1)第一传送带，所述第一传送带用于工件的匀速传送；(2)第一3D识别装置，所述第一3D识别装置安装于第一传送带上方，用于对第一传送带所传送工件的3D形貌进行第一次识别；(3)挡板，所述挡板安装于第一传送带末端，用于改变工件的放置形态；所述挡板在垂直方向上与第一传送带呈垂直状态，在水平方向上与第一传送带的传送方向呈一定角度；(4)第二传送带，所述第二传送带用于工件继续匀速传送，第二传送带在垂直方向上位于第一传送带下方并具有一定落差，第二传送带的传送方向与第一传送带的传送方向相同；(5)第二3D识别装置，所述第二3D识别装置安装于第二传送带上方，用于对第二传送带所传送工件的3D形貌进行第二次识别；(6)计算装置，所述计算装置用于对第一3D识别装置和第二3D识别装置采集到的图像信号进行处理，计算得到对应的工件形貌，获得工件识别位点，并根据识别位点信息控制机器人手爪的姿态校正。

【技术特征摘要】
1.一种基于3D视觉识别的机器人手爪姿态校正系统，其特征在于，所述系统包括以下组件：(1)第一传送带，所述第一传送带用于工件的匀速传送；(2)第一3D识别装置，所述第一3D识别装置安装于第一传送带上方，用于对第一传送带所传送工件的3D形貌进行第一次识别；(3)挡板，所述挡板安装于第一传送带末端，用于改变工件的放置形态；所述挡板在垂直方向上与第一传送带呈垂直状态，在水平方向上与第一传送带的传送方向呈一定角度；(4)第二传送带，所述第二传送带用于工件继续匀速传送，第二传送带在垂直方向上位于第一传送带下方并具有一定落差，第二传送带的传送方向与第一传送带的传送方向相同；(5)第二3D识别装置，所述第二3D识别装置安装于第二传送带上方，用于对第二传送带所传送工件的3D形貌进行第二次识别；(6)计算装置，所述计算装置用于对第一3D识别装置和第二3D识别装置采集到的图像信号进行处理，计算得到对应的工件形貌，获得工件识别位点，并根据识别位点信息控制机器人手爪的姿态校正。2.根据权利要求1所述的基于3D视觉识别的机器人手爪姿态校正系统，其特征在于，所述第一传送带和所述第二传送带的传送速度相同，优选1m/s。3.根据权利要求1所述的基于3D视觉识别的机器人手爪姿态校正系统，其特征在于，所述挡板在水平方向上与第一传送带的传送方向所呈角度范围在85～55°。4.根据权利要求1所述的基于3D视觉识别的机器人手爪姿态校正系统，其特征在于，所述第一传送带与所述第二传送带的落...

【专利技术属性】
技术研发人员：宋明安，李志博，孙洁，刘学平，麻辉，同彦恒，
申请(专利权)人：宁夏巨能机器人股份有限公司，
类型：发明
国别省市：宁夏,64