【技术实现步骤摘要】
本专利技术涉及工业装卸车领域，具体涉及基于深度视觉识别的平板式货车全自动装卸车系统及方法。
技术介绍
1、近年来，市场出现了一些自动或半自动的装车系统，或是利用传送带将货物输送到车内，再由人工完成货物的车内码垛，或是事先测量好货车的长、宽、高等参数，输入到中控系统，控制机械臂或装车装置自动完成货物的车内摆放，但目前这些系统仅能完成装车任务，市场上还鲜有卸车系统，更没有能实现装/卸一体的全自动系统。
2、现有中国专利：袋装产品自动装车系统。提出了一种袋装产品自动装车系统，通过三轴桁架机械手、抓手机构和撑平机构完成袋装产品的装车流程。但是该系统缺少能满足全自动卸载货物的条件，不满足一些加工厂装\卸一体化的需求。
3、另外，中国专利：件货货物整车自动卸车方法、系统以及作业方法。该专利技术提出了一种件货货物整车自动卸车方法、系统以及作业方法，通过该系统能解决普通件货货物整车自动卸车的方法，实现整车普通件货货物卸车作业的自动化过程。但是该系统在卸载时不能判断货物的具体位置，无法进行视觉定位识别从而对货物进行布局，在卸载过程中会存在很大的局限性，并且这种系统无法完成自动装车功能。
技术实现思路
1、针对现有技术的不足，本专利技术提供基于深度视觉识别的平板式货车全自动装卸车系统及方法，实现全自动化的货物装/卸载搬运过程。
2、基于深度视觉识别的平板式货车全自动装卸车系统，包括装车部分和卸车部分；
3、所述卸车部分包含货物数据集采集处理系统、货物三维
4、货物数据集采集处理系统和货物三维坐标识别系统基于pc端完成，通过通信系统的网线连接主控制器操作系统；由主控制器操作系统控制桁架针式吸盘抓取装置完成抓取货物；
5、所述装车部分包含车厢位姿识别系统和抓取系统两部分，车厢位姿识别系统用来预测平板货车车厢的长、宽、高参数，抓取系统用来完成对货物的抓取；
6、所述车厢位姿识别系统包括测量机构和控制系统，测量机构包含伸缩杆机构、360°激光扫描测距雷达、激光测距仪，360°激光扫描测距雷达和激光测距仪安装在伸缩杆机构上，并分别通过串口通信与控制系统相连；伸缩杆机构用于带动360°激光扫描测距雷达和激光测距仪实现竖直方向的上下移动；360°激光扫描测距雷达用于采集车厢的极坐标数据点集；激光测距仪用于采集车厢的深度数据；控制系统用于根据采集到的极坐标数据点集识别车厢的存在，并估算车厢的位姿，车厢的位姿包括车厢的长度值、宽度值、车厢偏移角度值，控制系统还根据采集到的深度数据实现车厢深度的测量；
7、所述抓取系统包括卸车部分的主控制器操作系统以及桁架针式吸盘抓取装置，根据车厢位姿识别系统测量的车厢信息，进行货物的装配；
8、所述货物数据集采集处理系统包括：深度相机、pc端和数据集标注工具；首先利用相机获取货物每一帧图片得到数据集，经过pc端处理得到其rgb图片，再经由数据集标注工具对rgb图片数据集进行标注处理；
9、所述货物三维坐标识别系统，包括预训练模型、货物识别模型和旋转目标检测网络模型；首先利用标注后的货物数据集把预训练模型放入到旋转目标检测网络模型中生成属于货物的识别模型文件，预训练模型定义了所用的旋转目标检测网络模型中的模型结构和初始权重参数，由此完成货物识别模型的训练；然后经由深度相机拍摄的视频流取出一张图片，利用货物识别模型估计出货物的二维坐标，在利用相机反馈货物的深度值，得到深度图像中相机到货物的距离，获得货物的三维坐标；
10、所述通信系统，包括plc、网线、以太网通讯库；pc端利用以太网通讯库通过python把货物的三维坐标作为real数据类型，以网线为连接器发送给主控制器操作系统；
11、所述主控制器操作系统，包括plc编程逻辑控制器、伺服电机、伺服电机驱动器、总开关、电机开关电器元件；接通电源，打开总开关和相应的电机开关，plc接收货物的三维坐标，发送控制信号给伺服电机驱动器，伺服电机驱动器将控制信号转为实际的电机运动，控制伺服电机的速度、位置和扭矩，从而控制桁架针式吸盘抓取装置的运动和抓取；
12、所述桁架针式吸盘抓取装置，包括桁架、针式吸盘和相机支架，所述桁架用不同的方位移动完成系统的x轴、y轴、z轴运动，相机支架用来放置深度相机拍摄图片，桁架针式吸盘抓取装置既对货物完成装载过程，也完成卸载过程；
13、基于深度视觉识别的平板式货车全自动装卸车方法，基于上述基于深度视觉识别的平板式货车全自动装卸车系统实现，具体包括以下步骤：
14、所述全自动装卸车方法包括装车和卸车两个过程；
15、所述卸车过程具体包括以下步骤：
16、步骤1：将深度相机固定在桁架针式吸盘抓取装置上的相机支架上完全拍摄到货物的位置；
17、步骤2：利用相机拍摄货物照片，对其进行处理，获得货物数据集；
18、利用相机对摆放的货物以不同的角度进行拍摄，拍摄完毕后，在pc端转换为rgb货物图片，利用旋转标注工具对每一张拍摄的照片进行数据集标签的制作处理，生成xml文件，完成数据集的采集处理制作工作；
19、步骤3：建立训练货物识别模型，识别出置信度较高的货物的位置，并结合深度相机得到货物的三维坐标值；
20、货物识别模型的建立利用mmrotate—基于pytorch的旋转框检测的开源工具箱；旋转框由水平框绕中心点旋转一个角度得到，通过添加一个弧度参数得到其旋转框定义法(x_center,y_center,width,height,theta)；其中，theta＝angle*pi/180，单位为rad；利用标注工具生成的xml文件通过转换矩阵的方式生成mmrotate所能使用的dota类型的数据格式；
21、将货物数据集划分为train、test、val、trainval数据集，在以旋转目标检测网络模型文件作为训练基础，根据此网络的预训练模型文件，配置数据集的类别数，最后开始训练得到货物识别模型，之后利用货物识别模型进行识别操作，得到图片中由矩形框圈出的货物的位置，以置信度较高的货物为基础，得到货物的二维坐标(x,y)；在利用相机反馈货物的深度值，得到深度图像中相机到货物的距离，也就是z坐标，由此得到货物的三维坐标(x，y，z)；
22、所使用的旋转目标检测网络模型在第一阶段，使用了一种有向候选框生成网络oriented rpn，生成高质量的有向候选框；具体为：设计了新的定向对象表示方案即中点偏移表示，使用六个参数o＝(x,y,w,h,δα,δβ)的定向边界框o表示计算解码对象；其中(x,y)是预测的候选框的中心坐标，w和h是预测的定向候选框的外部矩形框的宽度和高度；δα和δβ是相对于外部矩形顶边和右侧边中点的偏移；通过六个参数，获得每个候选框的四个顶点的坐标集v＝(v1,v2,v3,v4)；δα是v1相对于水平框顶边中点(x,y本文档来自技高网...
【技术保护点】
1.基于深度视觉识别的平板式货车全自动装卸车系统，其特征在于，包括装车部分和卸车部分；
2.根据权利要求1所述的基于深度视觉识别的平板式货车全自动装卸车系统，其特征在于，所述货物数据集采集处理系统包括：深度相机、PC端和数据集标注工具；首先利用相机获取货物每一帧图片得到数据集，经过PC端处理得到其RGB图片，再经由数据集标注工具对RGB图片数据集进行标注处理。
3.根据权利要求1所述的基于深度视觉识别的平板式货车全自动装卸车系统，其特征在于，所述货物三维坐标识别系统，包括预训练模型、货物识别模型和旋转目标检测网络模型；首先利用标注后的货物数据集把预训练模型放入到旋转目标检测网络模型中生成属于货物的识别模型文件，预训练模型定义了所用的旋转目标检测网络模型中的模型结构和初始权重参数，由此完成货物识别模型的训练；然后经由深度相机拍摄的视频流取出一张图片，利用货物识别模型估计出货物的二维坐标，在利用相机反馈货物的深度值，得到深度图像中相机到货物的距离，获得货物的三维坐标。
4.根据权利要求1所述的基于深度视觉识别的平板式货车全自动装卸车系统，其特征在于
5.根据权利要求1所述的基于深度视觉识别的平板式货车全自动装卸车系统，其特征在于，所述桁架针式吸盘抓取装置，包括桁架、针式吸盘和相机支架，所述桁架用不同的方位移动完成系统的x轴、y轴、z轴运动，相机支架用来放置深度相机拍摄图片，桁架针式吸盘抓取装置既对货物完成装载过程，也完成卸载过程。
6.根据权利要求1所述的基于深度视觉识别的平板式货车全自动装卸车系统，其特征在于，所述车厢位姿识别系统包括测量机构和控制系统，测量机构包含伸缩杆机构、360°激光扫描测距雷达、激光测距仪，360°激光扫描测距雷达和激光测距仪安装在伸缩杆机构上，并分别通过串口通信与控制系统相连；伸缩杆机构用于带动360°激光扫描测距雷达和激光测距仪实现竖直方向的上下移动；360°激光扫描测距雷达用于采集车厢的极坐标数据点集；激光测距仪用于采集车厢的深度数据；控制系统用于根据采集到的极坐标数据点集识别车厢的存在，并估算车厢的位姿，车厢的位姿包括车厢的长度值、宽度值、车厢偏移角度值，控制系统还根据采集到的深度数据实现车厢深度的测量；
7.基于深度视觉识别的平板式货车全自动装卸车方法，根据权利要求1所述基于深度视觉识别的平板式货车全自动装卸车系统实现，其特征在于，所述全自动装卸车方法包括装车和卸车两个过程。
8.根据权利要求7所述的基于深度视觉识别的平板式货车全自动装卸车方法，其特征在于，所述卸车过程具体包括以下步骤：
9.根据权利要求7所述的基于深度视觉识别的平板式货车全自动装卸车方法，其特征在于，所述装车过程具体为：
...【技术特征摘要】
1.基于深度视觉识别的平板式货车全自动装卸车系统，其特征在于，包括装车部分和卸车部分；
2.根据权利要求1所述的基于深度视觉识别的平板式货车全自动装卸车系统，其特征在于，所述货物数据集采集处理系统包括：深度相机、pc端和数据集标注工具；首先利用相机获取货物每一帧图片得到数据集，经过pc端处理得到其rgb图片，再经由数据集标注工具对rgb图片数据集进行标注处理。
3.根据权利要求1所述的基于深度视觉识别的平板式货车全自动装卸车系统，其特征在于，所述货物三维坐标识别系统，包括预训练模型、货物识别模型和旋转目标检测网络模型；首先利用标注后的货物数据集把预训练模型放入到旋转目标检测网络模型中生成属于货物的识别模型文件，预训练模型定义了所用的旋转目标检测网络模型中的模型结构和初始权重参数，由此完成货物识别模型的训练；然后经由深度相机拍摄的视频流取出一张图片，利用货物识别模型估计出货物的二维坐标，在利用相机反馈货物的深度值，得到深度图像中相机到货物的距离，获得货物的三维坐标。
4.根据权利要求1所述的基于深度视觉识别的平板式货车全自动装卸车系统，其特征在于，所述通信系统，包括plc、网线、以太网通讯库；pc端利用以太网通讯库通过python把货物的三维坐标作为real数据类型，以网线为连接器发送给主控制器操作系统；
5.根据权利要求1所述的基于深度视觉识别的平板式货车全自动装卸车系统，其特征在于，所述桁架...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。