【技术实现步骤摘要】
本专利技术属于人工智能与自动机械臂领域，涉及一种基于情景记忆的智能机械臂自主抓取方法。
技术介绍
1、随着人工智能技术和自动化机械臂在工业、生产和服务领域的广泛应用，机械臂的灵活性和智能化成为技术发展的关键焦点。然而目前主流的机械臂抓取方案有两种，一种是预编程抓取：在固定场景下，预先设定机械臂的抓取轨迹和动作序列。该方案缺乏对不同场景和物体的适应性，如果环境发生变化则需要重新进行编程和设定；另一种是视觉导引抓取：利用视觉传感器获取物体的外观和位置信息，通过图像处理和深度学习技术实现物体识别和抓取规划。该方案对视觉识别要求较高，对于透明、反光、复杂形状或复杂背景下的物体精准定位十分困难。
2、同时这些方案存在一个普遍性问题，即它们无法利用先前的抓取经验来应对新的抓取场景，导致了在面对不同环境或物体时需要重新进行编程或依赖更高级的感知和处理来实现抓取。这种缺乏先前经验的能力限制了机械臂在实际应用中的灵活性和智能化水平。因此，研究机械臂如何通过历史经验学习并智能决策来完成复杂抓取任务显得尤为重要。
技术实现思路
1、针对现有技术存在的问题，本专利技术提供一种基于情景记忆的智能机械臂自主抓取方法。情景记忆能够积累和存储各种抓取动作的经验数据，并能够根据存储的情景记忆来做出适应性更强的抓取决策。该方法使机械臂具有类人的任务技能学习与获取能力，使其能够利用情景记忆自主、灵活地执行不同环境下的抓取任务。
2、为了达到上述目的，本专利技术采用的技术方案为：
3、
4、所述自主抓取方法，首先需要对机器人系统及示教系统进行多模态感知的硬件设施搭建，机器人系统中的深度相机为最后机械臂自主抓取过程提供物体的视觉定位，示教系统中的追踪器及柔性薄膜压力传感器为下一步建立的情景记忆库提供机械臂的连续动作序列数据集。其次，通过控制电脑(ubuntu)配置深度强化学习环境并基于此环境建立情景记忆库模型，该模型存储下一步机械臂抓取示教学习中产生的数据集并对冗余数据进行过滤，减少噪声；再利用lstm算法对该数据集中的动作序列数据进行处理，为最后机械臂自主抓取决策提供基于先前学习的动作模式、序列顺序和时间依赖性的智能推断能力。再次，在第一步搭建好的多模态感知硬件基础上进行机械臂抓取示教学习，将示教数据存入第二步搭建的情景记忆库模型中为机械臂自主抓取决策提供基础的参考，使其能够依据先前的抓取经验和场景信息，更好地评估和选择适当的抓取策略。最后，经过前三步的铺垫，在操作平台上进行倾倒实验对该自主抓取方法进行验证，此实验旨在模拟机械臂根据情景记忆进行自主抓取的能力，通过在特定场景下模拟抓取和倾倒不同物体的动作，验证机械臂是否能够根据情景记忆库中存储的数据，灵活地调整抓取动作并正确地倾倒物体。具体包括以下步骤：
5、第一步，多模态感知：首先进行多模态感知硬件基础的搭建，确保机械臂能够准确感知环境中的物体和周围情境。这为后续的情景记忆库建模、机械臂抓取示教学习以及最终的机械臂实现自主抓取提供了必要的数据基础和环境信息。该步的硬件搭建完成后为后续步骤提供了以下感知内容：
6、①机械臂抓取示教学习阶段，远程服务器通过追踪器以及定位基站，获取示教者手腕部的实时连续位姿数据，这些位姿数据经udp传输至控制电脑端，并以json格式存储到控制电脑的情景记忆库中，以此为后续机械臂自主抓取过程中的路径规划作参考；
7、②机械臂抓取示教学习阶段，远程服务器通过柔性薄膜压力传感器获取示教者手指间的压力数据，这些压力数据经udp传输至控制电脑端，以json格式和①中同一时刻的连续位姿数据同时存储到控制电脑的情景记忆库中，以此为后续机械臂自主抓取过程中末端夹爪的开闭以及夹持力度作参考；
8、③机械臂自主抓取阶段，控制电脑通过协作机械臂末端安装的电动夹爪，利用ros话题通讯机制获取夹爪的电流反馈信息，进而控制夹爪抓取力度，以避免待抓取物体受到损伤；
9、④机械臂自主抓取阶段，控制电脑通过协作机械臂末端安装的深度相机，利用ros话题通讯机制获取待抓取物体的rgb、深度信息，同时在控制电脑下采用yolov8目标检测算法对待抓取物体进行精确定位。
10、第二步，情景记忆库建模：在第一步多模态感知硬件搭建好的基础上，通过控制电脑端建立情景记忆库模型，收集和存储不同情景下的数据信息。这些数据包括环境信息、示教动作数据、物体属性，以便机械臂能够从中学习并做出正确的决策。该步骤包括以下四个模块内容：
11、①数据采集与预处理：这个模块的主要任务是获取来自多模态感知设备和机械臂示教的数据，并对其进行预处理，以清理和格式化数据，使其适合后续处理。这些预处理的数据将被用于情景记忆存储与检索阶段；
12、②情景记忆存储与检索：建立的情景记忆库模型将接收和存储经过预处理的数据。这个模块负责将各种数据按照环境信息、示教动作数据和物体属性等分类并建立索引，以便后续访问和检索；
13、③模型训练与推断：情景记忆库中的数据将被用于训练模型，这一阶段利用lstm处理动作序列数据。lstm模型通过学习和理解动作序列的模式，提供机械臂抓取动作决策的基础；
14、④决策制定与执行：这个阶段采用深度q网络(dqn)利用情景记忆库中的数据进行抓取动作决策制定。该决策将指导机械臂执行抓取动作，使其具备适应不同情景并实现正确动作的能力。
15、第三步，机械臂抓取示教学习：基于上一步情景记忆库的建模结果，利用机械臂遥操作示教的优势，该阶段通过记录并存储实时连续动作序列数据到情景记忆库中，机械臂能够全面学习和理解准确的抓取动作，以适应各种不同的场景和物体。该步骤包括以下内容：
16、①首先在机械臂操作平台上布置特定的抓取场景，示教者通过示教装置控制机械臂运动至待抓取物体，并作出人为判断的最优抓取策略实现物体的准确抓取及移动；
17、②在①人工示教最优抓取策略的同时，多模态感知设备会产生包含环境信息、抓取动作序列数据的json数据集，该数据集经远程服务器端通过udp传本文档来自技高网...
【技术保护点】
1.一种基于情景记忆的智能机械臂自主抓取方法，其特征在于，所述自主抓取方法基于自主抓取系统实现，所述自主抓取系统由控制电脑、远程服务器、协作机械臂、电动夹爪、深度相机、追踪器、定位基站、柔性薄膜压力传感器、操作平台、实验物品构成；具体的：协作机械臂末端安装电动夹爪及深度相机组成机器人系统，通过控制电脑下的ROS进行控制；控制电脑下搭载Pytorch深度强化学习环境，建立数据采集与预处理、情景记忆存储与检索、模型训练与推断、决策制定与执行四个模块，由此组成自主抓取系统的情景记忆库；示教者手部佩戴追踪器及柔性薄膜压力传感器模拟机械臂及夹爪运动，在定位基站的配合下组成示教系统，通过远程服务器传出连续的示教动作数据集并经UDP协议与控制电脑通讯；操作平台、实验物品作为自主抓取系统的实验验证部分；
2.根据权利要求1所述的一种基于情景记忆的智能机械臂自主抓取方法，其特征在于，包括以下步骤：
【技术特征摘要】
1.一种基于情景记忆的智能机械臂自主抓取方法，其特征在于，所述自主抓取方法基于自主抓取系统实现，所述自主抓取系统由控制电脑、远程服务器、协作机械臂、电动夹爪、深度相机、追踪器、定位基站、柔性薄膜压力传感器、操作平台、实验物品构成；具体的：协作机械臂末端安装电动夹爪及深度相机组成机器人系统，通过控制电脑下的ros进行控制；控制电脑下搭载pytorch深度强化学习环境，建立数据采集与预处理、情景记忆存储...
【专利技术属性】
技术研发人员：杜宇，杨壮，刘冬，陈灿，丛明，田小静，
申请(专利权)人：大连交通大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。