基于图像处理的用于环卫车的智能控制机械臂及控制方法技术

本发明专利技术公开了一种基于图像处理的用于环卫车的智能控制机械臂及控制方法，所述的控制方法包括以下步骤：实时采集图像，从图像中识别出垃圾桶的图像；判断环卫车与垃圾桶的位置关系，驱动环卫车移动到可抓取垃圾桶的位置；根据停车时环卫车相对于垃圾桶的位置关系，控制机械臂执行抓取垃圾桶的操作。所述机械臂包括图像识别模块，行车指示模块、机械臂和机械臂控制单元。本发明专利技术通过采用视觉传感器对垃圾桶进行图像识别，并运算其空间三维坐标，为环卫车辆的停放和智能机械臂的伸出距离和抓取位置提供数据，从而确定智能机械臂伸出机构伸出距离的方法。

【技术实现步骤摘要】
基于图像处理的用于环卫车的智能控制机械臂及控制方法
本专利技术属于智能环卫车辆
，具体涉及一种基于图像处理的用于环卫车的智能控制机械臂及控制方法。
技术介绍
目前国内使用的垃圾车收集垃圾时，都需要有环卫工人将垃圾桶推至收集装置处，并固定到收集装置上，操作人员通过操作按钮开关控制收集装置的升降，将垃圾桶内的垃圾到入垃圾车厢内，这种传统的收集方式，需要操作人员多且劳动强度大，不利于降低人力成本。
技术实现思路
针对上述问题，本专利技术提出一种基于图像处理的用于环卫车的智能控制机械臂及控制方法。实现上述技术目的，达到上述技术效果，本专利技术通过以下技术方案实现：本专利技术提供了一种基于图像采集系统实现智能环卫车的机械臂的控制方法，包括以下步骤：实时采集图像，从图像中识别出垃圾桶的图像；判断环卫车与垃圾桶的位置关系，驱动环卫车移动到可抓取垃圾桶的位置；根据停车时环卫车相对于垃圾桶的位置关系，控制机械臂执行抓取垃圾桶的操作。作为本专利技术的进一步改进，识别垃圾桶的图像包括将所采集的图像对比存储所有垃圾桶图片信息的数据库，从对比的结果中识别出实时采集的图像是否包含垃圾桶。作为本专利技术的进一步改进，采用三维坐标(x，y，z)表示所述环卫车与垃圾桶的空间位置关系，该三维坐标以机械臂在环卫车上的安装点为坐标原点；根据三维坐标(x，y，z)值所计算出的垃圾桶与机械臂之间的距离，判断垃圾桶是否在可抓取的范围内，若是执行抓取操作，若否则根据坐标值计算环卫车合适的停车位置并驱动环卫车向指定的方向行车方向，当环卫车停在垃圾桶可抓取位置的区域时执行抓取操作。作为本专利技术的进一步改进，抓取垃圾桶的过程包括根据停车时环卫车相对于垃圾桶的位置关系控制连接机械臂的伸缩油缸的伸出距离和速度抓取垃圾桶。基于上述控制方法，本专利技术还提供了一种用于环卫车的智能机械臂，包括图像识别模块，行车指示模块、机械臂和机械臂控制单元；图像识别模块，配置为实时采集环卫车四周的图像，从图像中识别出垃圾桶的图像；行车指示模块，配置为根据所判断出的环卫车与垃圾桶的位置关系，驱动环卫车移动到可抓取垃圾桶的位置；机械臂控制单元，配置为根据停车时环卫车相对于垃圾桶的位置关系，控制机械臂执行抓取垃圾桶的操作。作为本专利技术的进一步改进，还包括主控制器，所述的图像识别模块，行车指示模块和机械臂控制单元连接主控制器，将实时接收的信息传送至主控制器，接收主控制器的指令。作为本专利技术的进一步改进，所述图像识别模块包括视觉传感器和运算主机；在环卫车前、后、左、右每一个侧面的外侧安装至少两个视觉传感器；所述的运算主机中配置了存储所有垃圾桶图片信息的数据库，用于将视觉传感器捕捉到的图像信息与数据库中的信息进行实时对比，判别采集图像中是否捕捉到垃圾桶。作为本专利技术的进一步改进，所述的机械臂控制单元包括伸缩油缸，与伸缩油缸相连的伸出电磁比例阀和收回电磁比例阀，通过PID闭环控制方法调节伸出电磁比例阀和收回电磁比例阀的通断和阀芯开度，控制伸缩油缸的伸出距离和伸出速度。作为本专利技术的进一步改进，所述的机械臂控制单元还包括位移传感器，用于记录机械臂首次抓取垃圾桶时伸缩油缸伸出的位移距离，控制机械臂在垃圾桶放回过程中采用相同的油缸伸出的位移距离。作为本专利技术的进一步改进，所述的机械臂控制单元还包括垃圾卸载单元，所述的垃圾卸载单元包括抱桶油缸和翻桶油缸，与抱桶油缸相连和压力检测器，与翻桶油缸相连的上翻到位检测器和下翻到位检测器，所述垃圾卸载单元与所述的主控制器相连，控制机械臂完成的垃圾的收集和垃圾桶的放回。本专利技术的有益效果：(1)采用视觉传感器对垃圾桶进行图像识别，并运算其空间三维坐标，为环卫车辆的停放和智能机械臂的伸出距离和抓取位置提供数据。(2)提供一种根据垃圾桶的空间三维坐标确定智能机械臂伸出机构伸出距离的方法。(3)根据油缸内置位移传感器的反馈位移数据，采用PID闭环控制方法，控制电磁比例阀的通断与阀芯开度，从而控制伸缩油缸的伸出距离与伸出速度，保证智能机械臂伸缩机构快速、准确地达到设定位移值。(4)提供通过记忆油缸伸出位移将垃圾桶放回原处的方法。附图说明图1为环卫车的整体结构示意图；图2为机械臂的结构示意图；图3为环卫车上所设置的控制系统的结构连接图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。下面结合附图对本专利技术的应用原理作详细的描述。如图1所示的一种智能环卫车，包括环卫车1、图像识别模块，行车指示模块、机械臂4和机械臂控制单元。其中，智能机械臂4安装在环卫车1辆上，图像识别模块(ICP6600-7)为设置在车辆的垃圾箱体2上前、后、左、右四个侧面的视觉传感器3(ISV200-I-01)，每个侧面至少包括两个视觉传感器3，同一侧面的所有视觉传感器3作为一组。运算主机(ARK-1124)在定位垃圾桶时，在明确各个视觉传感器3相对于机械臂的三维坐标(x，y，z)的前提下，运算主机对接收的图像进行数据提取与处理，先通过与数据库进行比对，识别垃圾桶；当识别到垃圾桶后，运算主机采用Python语言程序根据图像深度信息计算出图像中的垃圾桶相对于所采集的视觉传感器3的三维位置，最后获得垃圾桶相对于机械臂4的确切的三维坐标。其中，机械臂4安装在臂座6上，计算垃圾桶的三维坐标点时，以两者的铰接点为坐标原点。在本专利技术中在四个方向采用多个视觉传感器3(ISV200-I-01)可用于对四周环境中存在的垃圾桶进行全面的搜索，另一方面减少位置计算的误差。在车辆行驶过程或收集垃圾过程中，视觉传感器3实时捕捉监视区域内的物体图像信息，并将捕捉到的图像信息实时传送至运算主机8，运算主机8内存有各类垃圾桶的图像信息，运算主机8调用存储区内的垃圾桶图像信息与捕捉到的图像进行对比、判断，识别是否为包含垃圾桶，如是，则根据垃圾桶与机械臂的空间三维坐标关系，相应的启动行车指示模块或机械臂控制单元。首先，根据三维坐标值所计算出的垃圾桶与机械臂之间的距离，判断垃圾桶是否在可抓取的范围内，若是执行抓取操作。若否则运行行车指示模块，主控制器9根据三维坐标值，判断垃圾桶的可抓取范围，根据坐标值计算环卫车合适的停车范围，同时可将结果显示在显示设备上采用图像和声音提示司机行车方向和停车位置，司机根据指示的范围开动环卫车向指定的方向行车。开动时主控制器9实时检测空间位置的变化，直至到合适抓取范围内停车；停车后，再次确定垃圾桶的三维坐标值，直至完全确定在抱爪的抓取范围内，则执行抓取操作。如果在合适的抓取范围内，即可执行自动上料动作，如不在合适的抓取范围内，则在显示设备上提示，继续运行环卫车直至找到合适的停车点。执行抓取操作时，主控制器9通过向机械臂控制单元发送各种控本文档来自技高网...

【技术保护点】
1.一种基于图像采集系统实现智能环卫车的机械臂的控制方法，其特征在于，包括以下步骤：/n实时采集图像，从图像中识别出垃圾桶的图像；/n判断环卫车与垃圾桶的位置关系，驱动环卫车移动到可抓取垃圾桶的位置；/n根据停车时环卫车相对于垃圾桶的位置关系，控制机械臂执行抓取垃圾桶的操作。/n

【技术特征摘要】
1.一种基于图像采集系统实现智能环卫车的机械臂的控制方法，其特征在于，包括以下步骤：
实时采集图像，从图像中识别出垃圾桶的图像；
判断环卫车与垃圾桶的位置关系，驱动环卫车移动到可抓取垃圾桶的位置；
根据停车时环卫车相对于垃圾桶的位置关系，控制机械臂执行抓取垃圾桶的操作。


2.根据权利要求1所述的控制方法，其特征在于：识别垃圾桶的图像包括将所采集的图像对比存储所有垃圾桶图片信息的数据库，从对比的结果中识别出实时采集的图像是否包含垃圾桶。


3.根据权利要求1所述的控制方法，其特征在于：
采用三维坐标(x，y，z)表示所述环卫车与垃圾桶的空间位置关系，该三维坐标以机械臂在环卫车上的安装点为坐标原点；
根据三维坐标(x，y，z)值所计算出的垃圾桶与机械臂之间的距离，判断垃圾桶是否在可抓取的范围内，若是执行抓取操作，若否则根据坐标值计算环卫车合适的停车位置并驱动环卫车向指定的方向行车方向，当环卫车停在垃圾桶可抓取位置的区域时执行抓取操作。


4.根据权利要求1所述的控制方法，其特征在于：抓取垃圾桶的过程包括根据停车时环卫车相对于垃圾桶的位置关系控制连接机械臂的伸缩油缸的伸出距离和速度抓取垃圾桶。


5.一种用于环卫车的智能机械臂，其特征在于：包括图像识别模块，行车指示模块、机械臂和机械臂控制单元；
图像识别模块，配置为实时采集环卫车四周的图像，从图像中识别出垃圾桶的图像；
行车指示模块，配置为根据所判断出的环卫车与垃圾桶的位置关系，驱动环卫车移动到可抓取垃圾桶的位置；<...

【专利技术属性】
技术研发人员：程磊，单龙，孙进，宋洁，张凯，许海川，陈诚，
申请(专利权)人：徐州徐工环境技术有限公司，
类型：发明
国别省市：江苏;32