【技术实现步骤摘要】
本专利技术属于烟草加工领域，主要涉及到一种基于视觉辅助的烟叶自动投料装置及方法。
技术介绍
1、原烟烟叶投料是烟草生产过程中的重要环节之一。目前一般采用人工投料方式，工人依次将烟叶从烟筐中拿出、散开并放至铺叶台上进行投料，工人劳动强度大、无法精准控制投料流量、且工人熟练度的差异会造成工作效率低下。现有的一些机械手抓取投料装置，由于缺乏有效的视觉辅助手段，投料效率低、工作时间长，且在余料较少的情况下无法准确抓取剩余烟叶，直接影响到后续工序的投料稳定性。中国专利cn214802252u公开了一种基于桁架机械手的物料自动投料装置，该装置采用机械手对单烟筐中烟叶进行抓取投料，抓手只是步进式等间隔抓取烟叶，抓取效率和精度都不高，而且存在余料抓取不到的问题。
2、视觉定位技术是指通过双目或多目视觉仪获取环境图像信息，并利用立体视觉定位算法分析恢复场景的三维信息，以得到其中的目标物位置信息的技术，该技术具有成本较低、精度和灵活度高等优点。激光测距仪是利用激光对目标距离进行测定的仪器，工作时激光测距仪通过发射激光并计算从发出到收回的时间，从而测出距离，包括一维激光测距仪，用于距离测量定位；二维激光测距仪，用于轮廓测量定位、区域监控等领域；三维激光测距仪，用于三维轮廓测量、三维空间定位等领域。目前这两种技术在工业测控、建筑、无人机等领域有相关应用，但是关于两种技术的融合创新运用尚未见诸报道。
技术实现思路
1、为了克服现有技术中存在的问题，本专利技术提供了一种基于视觉辅助的烟叶自动投料装
2、本专利技术的目的是通过以下技术方案来实现的：
3、一种基于视觉辅助的烟叶自动投料装置，包括定位柱、横向移动装置及横向支架、纵向移动装置及纵向支架、竖向移动装置及竖向支架、控制器、以及三轴机械臂和设置在三轴机械臂下端的机械抓手，本装置是在现有专利技术的主体结构上进行改进的，主要是增设了视觉辅助系统及相应控制，由单烟筐抓取改造为双烟筐并行设置，其中：在横向支架的两侧对称设置有双目相机，且两横向支架之间的距离为容纳两个烟筐的宽度，在纵向支架中间的下端面位置设有激光测距仪，双目相机和激光测距仪通过数据线与控制器相连，机械抓手通过旋转驱动电机控制在水平面位置转动，通过双目相机和激光测距仪的视觉辅助，提升投料效率和精度，且在余料较少是可精准抓取，并可对两个烟筐实施同时抓取，满足两筐同进同出。
4、一种基于视觉辅助的烟叶自动投料方法，利用上述装置实施操作，主要包括以下步骤：
5、1）对激光测距仪和双目相机进行初始标定，设定激光测距仪的扫描范围并获取空载扫描高度，以及校正双目相机的原始图像；
6、2）将初选后装满烟叶的烟筐送至固定位置，视觉辅助及机械手抓取装置启动；
7、3）双目相机开始拍摄并将数据传输至控制器，控制器分析判别烟筐内是否有烟叶及烟叶的初始高度等信息；
8、4）当余料较多时，双目相机由工作状态转为静默状态，激光测距仪开始扫描，测量烟筐内烟叶的实时高度信息并传输至控制器，余料较多时，控制器控制机械抓手的下降高度和运行速度，并依次移动位置，抓取烟叶并释放至传送皮带上；
9、5）当余料较少时，激光仪由工作状态转为停止状态，双目相机开始拍摄并传输数据，机械抓手运行速度降低，控制器分析相机数据并根据剩余烟叶的位置分布信息控制机械抓手精准抓取尾料。
10、进一步的，烟叶自动投料装置主要由三向移动装置、三轴机械臂、机械抓手、控制器、双目相机、激光测距仪组成，机械抓手上的夹爪可到达取料区域内任一三维点位进行抓取释放动作。
11、进一步的，双目相机在使用前需要利用棋盘格进行初始标定，先使用左目相机对棋盘格进行拍摄得到原始图像，并标定得到内参数矩阵k1，畸变向量d1，右目重复上述操作，得到内参数矩阵k2，畸变向量d2，利用所得到的四个参数矩阵，使用stereo calibrate函数计算左右目相机的旋转矩阵r、平移向量t，最后利用所得到的一系列矩阵对原始图像进行校正，使校正后的两张图像位于同一平面且互相平行，最后进行像素点匹配，根据匹配结果计算每个像素的深度从而得到深度图。
12、进一步的，激光测距仪在使用前需要进行初始标定，首先标定扫描角度范围，其起止角度设定需要保证至少覆盖两烟筐各自的最侧边，其次以烟筐空载时的底面作为激光仪扫描的高度零点。
13、进一步的，视觉辅助系统的工作次序为，开始投料后双目相机先工作并传输数据至控制器，控制器分析判别烟筐内是否有烟叶及烟叶的初始高度等信息。若余料较多，双目相机转为静默状态，激光测距仪开始扫描，测量烟筐内烟叶的实时高度信息并传输至控制器，控制器控制机械抓手依次移动位置，并抓取烟叶；当余料较少时，激光测距仪转入静默状态，双目相机介入工作，控制器分析其所摄照片，根据深度及位置信息控制机械抓手精准抓取烟筐底部剩余烟叶。
14、进一步的，控制器根据双目相机所摄图像判断是否有烟叶的方法为，在标定阶段双目相机预先拍摄空烟筐的图像，并传输至系统控制器，当开始投料后，双目相机首先拍摄图像并将数据传输至控制器。控制器内嵌图像处理模块对图像进行预处理，采用图像滤波去除噪声干扰；采用图像分割、边缘检测的方法对图像进行特征提取。图像处理模块采用sift算法对空载照片和正常工作照片作特征匹配，通过求两幅图中的特征点及其有关scale 和 orientation 的描述子得到特征并进行图像特征点匹配，若特征点匹配比例较低则说明烟筐内有烟叶。其中，图像滤波采用中值滤波法；图像分割采用局部二值化进行分割；图像边缘检测利用canny算子分析计算边缘值结果。
15、进一步的，控制器根据双目相机所摄图像计算烟叶初始高度的方法为，按前述方法对双目立体视觉相机进行标定以消除相机畸变，再通过校正将两个摄像头投影到同一平面，于是得到在同一坐标系下，同一个点在左右两个成像面投影的点之间的距离d；两摄像头之间的距离（即基线）t可以通过实测得到；焦距f属已知参数；最后根据等比三角形原理求出该特征点到两摄像头之间的距离z，计算公式为d/t = (z-f)/z，通过等式变换就可以得到特征点到基线的垂直距离z，与摄像头的垂直高度作差即可得到特征点的实际高度。
16、进一步的，控制器根据双目相机所摄图像计算余料抓取位置信息的方法为，输入预处理后的图像，控制器内嵌位置计算模块采用yolov5目标检测算法，对照片进行定位模型训练，以获取筐内烟叶的准确位置。实现原理是：假设将一幅图像划分为s×s个网格，如果检测目标的中心落在网格中，则需要对检测目标所在的具体位置进行估计，一是平面位置按照检测目标在该网格中的平面中心确定，二是高度位置按照图像景深信息确定。
17、进一本文档来自技高网...
【技术保护点】
1.一种基于视觉辅助的烟叶自动投料装置，包括定位柱、横向移动装置及横向支架、纵向移动装置及纵向支架、竖向移动装置及竖向支架、控制器以及三轴机械臂和设置在三轴机械臂下端的机械抓手，其特征在于：在横向支架的两侧对称设置有双目相机，且两横向支架之间的距离为容纳两个烟筐的宽度，在纵向支架中间的下端面位置设有激光测距仪，双目相机和激光测距仪通过数据线与控制器相连，机械抓手通过旋转驱动电机控制在水平面位置转动，通过双目相机和激光测距仪的视觉辅助，提升投料效率和精度，且在余料较少是可精准抓取，并可对两个烟筐实施同时抓取，满足两筐同进同出。
2.一种基于视觉辅助的烟叶自动投料方法，是基于权利要求1所述装置进行操作，其特征在于：包括以下步骤：
3.根据权利要求2所述的基于视觉辅助的烟叶自动投料方法，其特征在于：双目相机在使用前需要利用棋盘格进行初始标定，先使用左目相机对棋盘格进行拍摄得到原始图像，并标定得到内参数矩阵K1，畸变向量D1，右目重复上述操作，得到内参数矩阵K2，畸变向量D2，利用所得到的四个参数矩阵，使用Stereo Calibrate函数计算左右目相机的旋转矩
4.根据权利要求2所述的基于视觉辅助的烟叶自动投料方法，其特征在于：激光测距仪在使用前需要进行初始标定，首先标定扫描角度范围，其起止角度设定需要保证至少覆盖两烟筐各自的最侧边，其次以烟筐空载时的底面作为激光仪扫描的高度零点。
5.根据权利要求2所述的基于视觉辅助的烟叶自动投料方法，其特征在于：视觉辅助系统的工作次序为，开始投料后双目相机先工作并传输数据至控制器，控制器分析判别烟筐内是否有烟叶及烟叶的初始高度等信息；若余料较多，双目相机转为静默状态，激光测距仪开始扫描，测量烟筐内烟叶的实时高度信息并传输至控制器，控制器控制机械抓手依次移动位置，并抓取烟叶；当余料较少时，激光测距仪转入静默状态，双目相机介入工作，控制器分析其所摄照片，根据深度及位置信息控制机械抓手精准抓取烟筐底部剩余烟叶。
6.根据权利要求2所述的基于视觉辅助的烟叶自动投料方法，其特征在于：控制器根据双目相机所摄图像判断是否有烟叶的方法为，在标定阶段双目相机预先拍摄空烟筐的图像，并传输至系统控制器，当开始投料后，双目相机首先拍摄图像并将数据传输至控制器；控制器内嵌图像处理模块对图像进行预处理，采用图像滤波去除噪声干扰；采用图像分割、边缘检测的方法对图像进行特征提取；图像处理模块采用SIFT算法对空载照片和正常工作照片作特征匹配，通过求两幅图中的特征点及其有关scale 和 orientation 的描述子得到特征并进行图像特征点匹配，若特征点匹配比例较低则说明烟筐内有烟叶；其中，图像滤波采用中值滤波法；图像分割采用局部二值化进行分割；图像边缘检测利用Canny算子分析计算边缘值结果。
7.根据权利要求2所述的基于视觉辅助的烟叶自动投料方法，其特征在于：控制器根据双目相机所摄图像计算烟叶初始高度的方法为，按前述方法对双目立体视觉相机进行标定以消除相机畸变，再通过校正将两个摄像头投影到同一平面，于是得到在同一坐标系下，同一个点在左右两个成像面投影的点之间的距离d；两摄像头之间的距离（即基线）T可以通过实测得到；焦距f属已知参数；最后根据等比三角形原理求出该特征点到两摄像头之间的距离z，计算公式为d/T = (z-f)/z，通过等式变换就可以得到特征点到基线的垂直距离z，与摄像头的垂直高度作差即可得到特征点的实际高度。
8.根据权利要求2所述的基于视觉辅助的烟叶自动投料方法，其特征在于：控制器根据双目相机所摄图像计算余料抓取位置信息的方法为，输入预处理后的图像，控制器内嵌位置计算模块采用YOLOv5目标检测算法，对照片进行定位模型训练，以获取筐内烟叶的准确位置；实现原理是：假设将一幅图像划分为S×S个网格，如果检测目标的中心落在网格中，则需要对检测目标所在的具体位置进行估计，一是平面位置按照检测目标在该网格中的平面中心确定，二是高度位置按照图像景深信息确定。
9.根据权利要求2所述的基于视觉辅助的烟叶自动投料方法，其特征在于：控制器根据激光仪扫描数据计算筐内烟叶高度的方法为，将激光测距传感器固定在纵向支架底面正中间并按一定频率发射激光，在机械手移动过程中，扫描获取若干物料截面的特征点信息，即从起始角度至终止角度间每一个角度间隔下的激光仪光源与物料表面某点的连线距离，根据三角法计算得到其在高度方向上的投影，与初始标定时测得的空载高度作差，即可得到各特...
【技术特征摘要】
1.一种基于视觉辅助的烟叶自动投料装置，包括定位柱、横向移动装置及横向支架、纵向移动装置及纵向支架、竖向移动装置及竖向支架、控制器以及三轴机械臂和设置在三轴机械臂下端的机械抓手，其特征在于：在横向支架的两侧对称设置有双目相机，且两横向支架之间的距离为容纳两个烟筐的宽度，在纵向支架中间的下端面位置设有激光测距仪，双目相机和激光测距仪通过数据线与控制器相连，机械抓手通过旋转驱动电机控制在水平面位置转动，通过双目相机和激光测距仪的视觉辅助，提升投料效率和精度，且在余料较少是可精准抓取，并可对两个烟筐实施同时抓取，满足两筐同进同出。
2.一种基于视觉辅助的烟叶自动投料方法，是基于权利要求1所述装置进行操作，其特征在于：包括以下步骤：
3.根据权利要求2所述的基于视觉辅助的烟叶自动投料方法，其特征在于：双目相机在使用前需要利用棋盘格进行初始标定，先使用左目相机对棋盘格进行拍摄得到原始图像，并标定得到内参数矩阵k1，畸变向量d1，右目重复上述操作，得到内参数矩阵k2，畸变向量d2，利用所得到的四个参数矩阵，使用stereo calibrate函数计算左右目相机的旋转矩阵r、平移向量t，最后利用所得到的一系列矩阵对原始图像进行校正，使校正后的两张图像位于同一平面且互相平行，最后进行像素点匹配，根据匹配结果计算每个像素的深度从而得到深度图。
4.根据权利要求2所述的基于视觉辅助的烟叶自动投料方法，其特征在于：激光测距仪在使用前需要进行初始标定，首先标定扫描角度范围，其起止角度设定需要保证至少覆盖两烟筐各自的最侧边，其次以烟筐空载时的底面作为激光仪扫描的高度零点。
5.根据权利要求2所述的基于视觉辅助的烟叶自动投料方法，其特征在于：视觉辅助系统的工作次序为，开始投料后双目相机先工作并传输数据至控制器，控制器分析判别烟筐内是否有烟叶及烟叶的初始高度等信息；若余料较多，双目相机转为静默状态，激光测距仪开始扫描，测量烟筐内烟叶的实时高度信息并传输至控制器，控制器控制机械抓手依次移动位置，并抓取烟叶；当余料较少时，激光测距仪转入静默状态，双目相机介入工作，控制器分析其所摄照片，根据深度及位置信息控制机械抓手精准抓取烟筐底部剩余烟叶。
6.根据权利要求2所述的基于视觉辅助的烟叶自动投料方法，其特征在于：控制器根据双目相机所摄图像判断是否有烟叶的方法为，在标定阶段双目相机预先拍摄空烟筐的图像，并传输至系统控制器，当开始投料后，双目相机首先拍摄图像并将数据传输至控制器；控制器内嵌图像处理模块对图像进行预处理，采用图像滤波去除噪声干扰；采用图像分割、边缘检测的方法对图...
【专利技术属性】
技术研发人员：朱文魁，黄振军，王子冲，杨雨要，李杰，王兵，李嘉康，苏子淇，邓国栋，杨亿军，李瑞东，王献友，李克强，杨立扬，王永祺，汤云海，李鹏，邹湘香，
申请(专利权)人：中国烟草总公司郑州烟草研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。