一种虚拟远程水果采摘系统及方法技术方案

本发明专利技术涉及一种虚拟远程水果采摘系统，属于水果采摘技术领域，包括前端水果采摘装置，后端虚拟交互设备和云平台服务器；所述前端水果采摘装置用于采集并识别水果图像，上传至云平台服务器，并执行云平台服务器的水果采摘命令，还用于对采摘的水果进行品质判断和编号计数；所述后端虚拟交互设备用于模拟前端水果采摘装置所处的环境空间，在虚拟空间中实时展示当前的前端水果采摘装置状态信息、其周围的环境和水果的信息以及采摘下来的水果信息；所述云平台服务器用于对前端水果采摘装置和后端虚拟交互设备交互的信息进行管理、转发和存储。本发明专利技术还提供一种虚拟远程水果采摘方法。本发明专利技术还提供一种虚拟远程水果采摘方法。本发明专利技术还提供一种虚拟远程水果采摘方法。

【技术实现步骤摘要】
一种虚拟远程水果采摘系统及方法


[0001]本专利技术属于水果采摘
，涉及一种虚拟远程水果采摘系统及方法。

技术介绍

[0002]水果采摘不仅仅是农业生产非常重要的一部分，同时也是人们休闲娱乐的一种方式。随着科技的发展，利用科技手段对现实世界进行虚拟化可以对我们的农业生产和用户体验带来巨大的改变。传统的水果采摘需要人们在果园中采摘，劳动量大，人工成本高，即使是同一种水果在成熟时间上会存在差异，采用传统的水果采摘方式不但费时费力，同时难以保证水果品质在比较好的时候被采摘。
[0003]专利技术专利“水果采摘系统”(公开号为CN109526396A)，其采摘方式主要通过振动的方式对水果进行采摘，虽然提高了水果采摘的效率，但是对水果品质鉴定以及水果保护方面做得不够好；专利技术专利“基于虚拟机器人与真实机器人集成的采摘系统及方法”(授权号为CN104067781B)，其利用虚拟技术与真实机器人结合对水果实现采摘，可以准确的定位水果进行采摘，提高水果采摘效率，但是对水果品质鉴定不足，并且无法适用于远距离，大数据的水果采摘。
[000本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种虚拟远程水果采摘系统，其特征在于：包括前端水果采摘装置，后端虚拟交互设备和云平台服务器；所述前端水果采摘装置用于采集并识别水果图像，上传至云平台服务器，并执行云平台服务器的水果采摘命令，还用于对采摘的水果进行品质判断和编号计数；所述后端虚拟交互设备用于模拟前端水果采摘装置所处的环境空间，在虚拟空间中实时展示当前的前端水果采摘装置状态信息、其周围的环境和水果的信息以及采摘下来的水果信息；所述云平台服务器用于对前端水果采摘装置和后端虚拟交互设备交互的信息进行管理、转发和存储。2.根据权利要求1所述的虚拟远程水果采摘系统，其特征在于：所述前端水果采摘装置包括底座、设置在所述底座上的摄像头支架、AI嵌入式设备、机械臂底座旋转关节和无线通信设备，在所述机械臂底座旋转关节上通过机械臂转动轴铰接有机械臂，所述机械臂包括机械臂第一连杆、机械臂第二连杆、机械臂第三连杆、机械臂第四连杆、机械臂第五连杆、机械臂第六连杆；所述机械臂第一连杆、机械臂第二连杆、机械臂第三连杆依次铰接；所述机械臂第四连杆、机械臂第五连杆、机械臂第六连杆依次铰接；所述机械臂第三连杆与机械臂第四连杆之间通过机械臂旋转关节旋转连接；所述机械臂第六连杆还铰接有末端抓手连杆，所述末端抓手连杆通过末端抓手旋转关节连接有末端抓手手指，所述末端抓手手指上设有柔性力传感器；所述摄像头支架上设有双目摄像头，其朝向机械臂末端抓手手指方向；在底座下方还设有转动轮；所述AI嵌入式设备与所述双目摄像头、机械臂底座旋转关节、机械臂、无线通信设备电性连接。3.根据权利要求2所述的虚拟远程水果采摘系统，其特征在于：所述前端水果采摘装置使用双目摄像头对水果图像信息实时采集，送入部署有深度学习模型的AI嵌入式设备进行处理，获取目标水果的空间位置信息以及外观特征信息；所述AI嵌入式设备使用无线通信设备将双目摄像头参数信息，双目摄像头采集的图像信息，获取到的目标水果的空间位置信息以及外观特征信息，机械臂状态信息发送到云平台服务器；所述AI嵌入式设备根据云平台的水果采摘命令，控制机械臂对目标水果进行采摘；所述前端水果采摘装置使用机械臂末端的柔性力传感器构建受力模型，对力反馈信息进行解耦，计算目标水果的重量；所述AI嵌入式设备根据采摘水果的外观信息和柔性力传感器的反馈对水果品质做出综合判断，再根据当前时间对水果编号和计数，然后控制机械臂把水果放置在相应品质的水果存储箱内；所述AI嵌入式设备将水果的外观信息、重量、品质等级、编号、数量以及水果采摘完成信号通过无线网络上传到云平台服务器。4.根据权利要求1所述的虚拟远程水果采摘系统，其特征在于：所述AI嵌入式设备所述的深度学习模型为引入坐标注意力机制的YOLOv4神经网络，通过将空间注意力分解为两个沿着不同方向聚合特征的1D特征编码，在识别水果的图像中沿着X(Y)空间方向捕获长程依赖的时候能够沿着Y(X)空间方向保留精确的位置信息，使得在识别水果的同时能够更加准确的获取水果位置信息。5.根据权利要求1所述的虚拟远程水果采摘系统，其特征在于：所述后端虚拟交互设备包括虚拟环境构建模块，用户控制模块，数据分析模块以及无线通信模块；所述的无线通信模块用于后端虚拟交互设备与云平台的信息交互；所述数据分析模块用于将从云平台服务
器接收的数据进行分类并存储，将接收到的环境图像信息和机械臂自身状态信息进行信息融合，过滤掉图像信息中机械臂无法到达的位置所对应的图像信息，融合后的信息用于构建虚拟空间环境；所述虚拟环境构建模块用于构建虚拟空间环境，所述虚拟空间幻境中只包括前端水果采摘...

【专利技术属性】
技术研发人员：吴德成，苏因镭，杨平安，张雅雯，寿梦杰，黄鑫，李渝，程隆奇，余猛，王宁，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：