一种应用于水果采摘机器人的并行识别采摘系统及方法技术方案

本发明专利技术公开了一种应用于水果采摘机器人的并行识别采摘系统及方法，包括上位机和下位机；上位机包括图像匹配识别模块、图像分割模块、数据处理模块、路径规划决策模块、第一通信模块；上位机用于接收下位机上传的图像，并进行图像匹配识别、分割、采摘位置定位、路径规划决策，并将路径规划决策反馈给下位机；下位机包括视频图像采集模块、第二通信模块、控制模块，下位机用于采集图像，上传图像给上位机，并接收上位机反馈的信息，实现采摘机器人的行走控制、机械臂空间定位控制以及末端执行器的抓取控制；每个模块都有独立的计算部分，都能够独立完成相应的控制工作，而且也能够实现各模块的协同处理。本发明专利技术扩展性能良好，并行化的效果好。

【技术实现步骤摘要】
一种应用于水果采摘机器人的并行识别采摘系统及方法
本专利技术属于图像识别
，涉及一种并行识别方法，具体涉及一种应用于水果采摘机器人的并行识别采摘系统及方法。
技术介绍
目前，虽然采摘机器人运用越来越广，但是采摘机器人的识别采摘技术难以实现并行化策略，与此同时采摘过程比较慢难以投入真正生产中；而且软件模块并行(预测模型决策树、图像分割与匹配)无法实现并行化策略，控制部分也难以实现并行控制(行走装置、机械臂定位和末端执行器)。
技术实现思路
为了解决上述技术问题，本专利技术提供了一种应用于水果采摘机器人的并行识别采摘系统及方法。本专利技术的系统所采用的技术方案是：一种应用于水果采摘机器人的并行识别采摘系统，其特征在于：包括上位机和下位机；所述上位机包括图像匹配识别模块、图像分割模块、数据处理模块、路径规划决策模块、第一通信模块；所述上位机用于接收下位机上传的图像，并进行图像匹配识别、分割、采摘位置定位、路径规划决策，并将路径规划决策反馈给所述下位机；其中每个模块都有独立的计算部分，都能够独立完成相应的控制工作，而且也能够实现各模块的协同处理；所述下位机包括视频图像采集模块、第二通信模块、控制模块，所述下位机用于采集图像，上传图像给所述上位机，并接收所述上位机反馈的信息，实现采摘机器人的行走控制、机械臂空间定位控制以及末端执行器的抓取控制；其中每个模块都有独立的计算部分，都能够独立完成相应的控制工作，而且也能够实现各模块的协同处理。本专利技术的方法所采用的技术方案是：一种应用于水果采摘机器人的并行识别采摘方法，其特征在于，包括以下步骤：步骤1：上位机接收下位机视频图像采集模块采集的图像；步骤2：图像匹配识别模块进行图像匹配识别；步骤3：图像分割模块对已经匹配的图像进行分割；步骤4：路径规划决策模块对采摘机器人进行路径决策与规划；步骤5：数据处理模块通过第一通信模块将路径决策与规划反馈给下位机；步骤6：下位机通过第二通信模块接收上位机反馈的信息；步骤7：控制模块控制采摘机器人执行路径决策与规划。和现有技术相比，本专利技术具有如下特点和有益效果：1.可扩展性能良好，下位机个体构成的独立个体机器人个数可以根据工作成本和任务的需要灵活设置；2.结构清晰，设计和搭建容易；3.数据量比较集中，软件的并行化的效果好；4.搭建模块齐全，能够根据采摘不同的水果而进行不同的模块调用，具有良好的通用性。附图说明图1为本专利技术实施例的采摘机器人并行技术路线图；图2为本专利技术实施例的方法流程图；图3为本专利技术实施例的匹配方法示意图；图4为本专利技术实施例的匹配方法流程图；图5为本专利技术实施例的分割前对已经匹配的图像进行判断流程图；图6为本专利技术实施例的图像分割方法流程图；图7为本专利技术实施例的通过决策树对数据进行分块和任务分配调度流程图；图8为本专利技术实施例的并行流程图，图中s1、s2、s3分别为下位机的逻辑控制电路开关，L1、L2、L3分别为电路接通的信号灯。具体实施方式为了便于本领域普通技术人员理解和实施本专利技术，下面结合附图及实施例对本专利技术作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本专利技术，并不用于限定本专利技术。请见图1，本专利技术提供的一种应用于水果采摘机器人的并行识别采摘系统，包括上位机和下位机；上位机包括图像匹配识别模块、图像分割模块、数据处理模块、路径规划决策模块、第一通信模块；上位机用于接收下位机上传的图像，并进行图像匹配识别、分割、采摘位置定位、路径规划决策，并将路径规划决策反馈给下位机；其中每个模块都有独立的计算部分，都能够独立完成相应的控制工作，而且也能够实现各模块的协同处理；下位机包括视频图像采集模块、第二通信模块、控制模块，下位机用于采集图像，上传图像给上位机，并接收上位机反馈的信息，实现采摘机器人的行走控制、机械臂空间定位控制以及末端执行器的抓取控制；其中每个模块都有独立的计算部分，都能够独立完成相应的控制工作，而且也能够实现各模块的协同处理。请见图2，本专利技术还提供了一种应用于水果采摘机器人的并行识别采摘方法，包括以下步骤：步骤1：上位机接收下位机视频图像采集模块采集的图像；步骤2：图像匹配识别模块进行图像匹配识别；请见图3、图4，本实施例的图像匹配识别模块将下位机视频图像采集模块采集的图像进行模板的匹配，通过搜索窗口和模板之间相匹配，那么相应像素间的大小关系将会和模板一致；相反，一旦不符合这个条件，则认为与其模板不相匹配；当图像数据匹配时，数据保存于数据存储器中，当图像数据不匹配的时候，数据进行删除，重新执行图像匹配过程；将图像匹配后的图像数据结果分为三类：图像数据A、图像数据B、图像数据C；其中图像数据A为干扰图像，图像数据B为导航图，图像数据C为果实图；通过快速一维投影模板匹配的方法，把二维的图像分别向X轴和Y轴进行一维投影，利用一维差分量化方法将其一维投影值转换到由一组0、1数字来构成的用以描述图像特征的字符串，再用模板与图像特征字符串进行匹配；当模板字符串与图像特征字符串匹配时，将图像进行保留，此时为图像数据B或图像数据C，取逻辑判断参数i＝1；当当模板字符串与图像特征字符串不匹配时，将图像保留，此时为图像数据A，取逻辑判断参数i＝0；再通过特征向量对图像数据B或图像数据C进行精细匹配，将图像进一步分类；这里用到特征向量b和特征向量c，其中特征向量b为匹配导航图所用特征向量，特征向量c为匹配导航图所用特征向量；每幅图像分别用特征向量b和特征向量c进行遍历；特征向量b遍历图像，当导航特征向量b与图像匹配时，取逻辑判断参数j＝1；特征向量c遍历图像，当水果特征向量c与图像匹配时，取逻辑判断参数n＝1；通过一级逻辑判断，当判断参数i＝1时，认定为匹配相关将其归类为图像数据B或图像数据C，判断参数i＝0时，认定为匹配不相关将其归类为图像数据A；再进行二级逻辑判断,当判断参数j＝1时，认定为匹配相关将其归类为图像数据B，当判断参数n＝1时，认定为匹配相关将其归类为图像数据C。步骤3：图像分割模块对已经匹配的图像进行分割；请见图5、图6，步骤3的具体实现包括以下子步骤：步骤3.1：进入分割前对已经匹配的图像进行判断，确定是否为所需要处理对象；当逻辑关系为1时，是所需处理对象，当逻辑关系为0时，不是所需处理对象；步骤3.2：对所需处理的图，通过将处理图像的灰度信息，对其灰度数据进行优化处理，像素(i,j)的灰度值为Gij,0≤Gij≤255；其中对其灰度数据进行优化处理，假设图像有n个数据点{x1，x2，x3......xn}，分为3个聚类簇cluster，聚类要做的就是最小化图像所要优化的目标函数J；用目标函数J对数据进行分类处理时，当数据n被归为一类clusterk时，多数据关系变量Tnk取1，否则为0；当J最小时满足公式：μk的值为所有clusterk中的数据点的平均值；由于每一次迭代都是取到J的最小值，因此J只会不断地减小或者不变，而不会增加，通过反复的迭代得到灰度图像的3个聚类点μk1，μk2，μk3，μk1<μk2<μk3。步骤3.3：输入n个数据点X1、X2、…、Xn，待聚类数目k；得到K个聚类中心，对聚类中心进行筛选，得到三个最优的聚类值Ck1、Ck2、Ck3，选取(Ck1，Ck3)为优化本文档来自技高网...

【技术保护点】
1.一种应用于水果采摘机器人的并行识别采摘系统，其特征在于：包括上位机和下位机；所述上位机包括图像匹配识别模块、图像分割模块、数据处理模块、路径规划决策模块、第一通信模块；所述上位机用于接收下位机上传的图像，并进行图像匹配识别、分割、采摘位置定位、路径规划决策，并将路径规划决策反馈给所述下位机；其中每个模块都有独立的计算部分，都能够独立完成相应的控制工作，而且也能够实现各模块的协同处理；所述下位机包括视频图像采集模块、第二通信模块、控制模块，所述下位机用于采集图像，上传图像给所述上位机，并接收所述上位机反馈的信息，实现采摘机器人的行走控制、机械臂空间定位控制以及末端执行器的抓取控制；其中每个模块都有独立的计算部分，都能够独立完成相应的控制工作，而且也能够实现各模块的协同处理。

【技术特征摘要】
1.一种应用于水果采摘机器人的并行识别采摘系统，其特征在于：包括上位机和下位机；所述上位机包括图像匹配识别模块、图像分割模块、数据处理模块、路径规划决策模块、第一通信模块；所述上位机用于接收下位机上传的图像，并进行图像匹配识别、分割、采摘位置定位、路径规划决策，并将路径规划决策反馈给所述下位机；其中每个模块都有独立的计算部分，都能够独立完成相应的控制工作，而且也能够实现各模块的协同处理；所述下位机包括视频图像采集模块、第二通信模块、控制模块，所述下位机用于采集图像，上传图像给所述上位机，并接收所述上位机反馈的信息，实现采摘机器人的行走控制、机械臂空间定位控制以及末端执行器的抓取控制；其中每个模块都有独立的计算部分，都能够独立完成相应的控制工作，而且也能够实现各模块的协同处理。2.一种应用于水果采摘机器人的并行识别采摘方法，其特征在于，包括以下步骤：步骤1：上位机接收下位机视频图像采集模块采集的图像；步骤2：图像匹配识别模块进行图像匹配识别；步骤3：图像分割模块对已经匹配的图像进行分割；步骤4：路径规划决策模块对采摘机器人进行路径决策与规划；步骤5：数据处理模块通过第一通信模块将路径决策与规划反馈给下位机；步骤6：下位机通过第二通信模块接收上位机反馈的信息；步骤7：控制模块控制采摘机器人执行路径决策与规划。3.根据权利要求2所述的应用于水果采摘机器人的并行识别采摘方法，其特征在于：步骤2中，图像匹配识别模块将下位机视频图像采集模块采集的图像进行模板的匹配，通过搜索窗口和模板之间相匹配，那么相应像素间的大小关系将会和模板一致；相反，一旦不符合这个条件，则认为与其模板不相匹配；当图像数据匹配时，数据保存于数据存储器中，当图像数据不匹配的时候，数据进行删除，重新执行图像匹配过程；将图像匹配后的图像数据结果分为三类：图像数据A、图像数据B、图像数据C；其中图像数据A为干扰图像，图像数据B为导航图，图像数据C为果实图；通过快速一维投影模板匹配的方法，把二维的图像分别向X轴和Y轴进行一维投影，利用一维差分量化方法将其一维投影值转换到由一组0、1数字来构成的用以描述图像特征的字符串，再用模板与图像特征字符串进行匹配；当模板字符串与图像特征字符串匹配时，将图像进行保留，此时为图像数据B或图像数据C，取逻辑判断参数i＝1；当当模板字符串与图像特征字符串不匹配时，将图像保留，此时为图像数据A，取逻辑判断参数i＝0；再通过特征向量对图像数据B或图像数据C进行精细匹配，将图像进一步分类；这里用到特征向量b和特征向量c，其中特征向量b为匹配导航图所用特征向量，特征向量c为匹配导航图所用特征向量；每幅图像分别用特征向量b和特征向量c进行遍历；特征向量b遍历图像，当导航特征向量b与图像匹配时，取逻辑判断参数j＝1；特征向量c遍历图像，当水果特征向量c与图像匹配时，取逻辑判断参数n＝1；通过一级逻辑判断，当判断参数i＝1时，认定为匹配相关将其归类为图像数据B或图像数据C，判断参数i＝0时，认定为匹配不相关将其归类为图像数据A；再进行二级逻辑判断,当判断参数j＝1时，认定为匹配相关将其归类为图像数据B，当判断参数n＝1时，认定为匹配相关将其归类为图像数据C。4.根据权利要求3所述的应用于水果采摘机器人的并行识别采摘方法，其特征在于，步骤3的具体实现包括以下子步骤：步骤3.1：进入分割前对已经匹配的图像进行判断，确定是否为所需要处理对象；当逻辑关系为1时，是所需处理对象，当逻辑关系为0时，不是所需处理对象；步骤3.2：对所需处理的图，通过将处理图像的灰度信息，对其灰度数据进行优化处理，像素(i,j)的灰度值为Gij,0≤Gij≤255；步骤3.3：输入n个数据点X1、X2、…、Xn，待聚类数目k；得到K个聚类中心，对聚类中心进行筛选，得到三个最优的聚类值Ck1、Ck2、Ck3，选取(Ck1，Ck3)为优化的灰度范围对图像进行阈值分割；步骤3.4：采用阈值对图像进行分割，通过阈值的比较获取来判断此阈值是否为最佳分割阈值，这里初阈值为σ，将其与聚类中心Ck2进行比较，得到一个判断值w，通过逻辑关系判断，若逻辑关系为1，通过σ进行分割，若逻辑关系为0，则通过优...

【专利技术属性】
技术研发人员：王浩，邹光明，王炯，王欣，张晓寒，
申请(专利权)人：武汉科技大学，
类型：发明
国别省市：湖北,42