【技术实现步骤摘要】
本专利技术涉及机械臂控制和运动规划领域，特别是一种基于大语言模型的抓力自适应调节机械手抓取方法。
技术介绍
1、现有的机械手抓取系统往往需要提前编程指定抓取物体的方式，灵活性很差。2023年以来，国内外陆续有团队使用大语言模型控制机械臂完成自定义任务。然而，在现有的方法中，对于物体的抓取方式依然不够灵活，尤其是对于软硬程度等特征无法适应，导致抓取效率低下或者损坏物体。例如，抓取豆腐需要大小适中的力，但这在传统算法中是是无法灵活完成的。因此，需要一种能够自动感知并理解物体特性的机械手抓取系统。
技术实现思路
1、针对上述问题，第一方面，本专利技术提供一种基于大语言模型的抓力自适应调节机械手抓取方法，包括以下步骤：
2、数据采集和特征提取：获取物体的场景照片，通过算法提取出目标物体的各项信息；
3、任务解析和抓取命令生成：将大语言模型嵌入到系统内，通过提示词进行交互；
4、机械手控制：将所述抓取命令转换为底层代码；
5、反馈：完成抓取任务后比较场景照片，判断任务是否成功。
6、在上述方案的基础上，所述数据采集和特征提取具体包括：
7、基于摄像头和激光测距相机获取物体的场景照片；
8、通过yolov8和opencv算法提取出目标物体的类别信息、位置信息和颜色信息；
9、其中，物体的类别信息由yolov8算法输出得到；
10、在yolov8输出的轮廓信息内，使用opencv对rgb数
11、物体的平面位置信息由像素坐标进行坐标转换得到；
12、物体的高度坐标具体步骤包括：
13、机械臂运动到目标物体正上方；
14、使用激光测距相机获取距离并进行转换；
15、将信息涵盖在一个字典里。
16、在上述方案的基础上，所述任务解析和抓取命令生成具体包括：
17、将大语言模型嵌入到系统内；
18、通过提示词进行交互，使得大语言模型可以理解机械臂操控任务，并且具有能输出面向计算机的操控代码的能力；
19、所述系统包括：与用户的文字交互系统，具体为语音转文字系统或者直接键盘输入系统；
20、与其他系统连接的接口：用于从传感系统接受环境信息并向操控系统发送操作命令；
21、与大语言模型交互的系统：通过api或者本地部署的方式与模型进行交互；通过提示词告诉模型任务目标和输入输出的含义和规范。
22、在上述方案的基础上，所述提示词具体包括下述内容：
23、交代任务和环境并规定语言模型的输出形式；
24、向大语言模型描述每部分的含义以及其结构，使之理解输入内容；
25、给模型举一个包括信息输入和和模型输出命令的例子。
26、在上述方案的基础上，所述机械手控制具体包括：用一个解释器将任务解析和抓取命令生成命令转换为底层代码；
27、在机械夹爪夹取物体的过程中，获取压力的实时反馈；
28、当压力满足大语言模型的预设值时，系统进行下一步运动；
29、否则，机械夹爪增大或减小压力；
30、如果抓取过程中压力异常，返回错误值。
31、在上述方案的基础上，所述反馈具体包括：
32、在完成抓取任务后，再次拍摄图片，使用yolov8算法分析两张图片内物体的变化是否满足预期，从而推断抓取任务是否成功；
33、如果判断抓取任务成功，则向用户返回信息；
34、如果抓取失败，则询问用户是否要增加压力再次执行任务，并将用户反馈结果输入给gpt4。
35、第二方面，提供一种基于大语言模型的抓力自适应调节机械手抓取系统，工业单目摄像头和激光测距相机固定在夹爪上，压力传感器安装在夹爪的内侧；机械臂、夹爪、单目摄像头、压力传感器和激光测距仪分别与控制计算机相连接；
36、所述系统执行如第一方面所述的方法。
37、本专利技术的有益效果：
38、(1)结合大语言模型的语义理解能力、机器视觉算法模型对环境的结构化解析、机械抓手的柔性操控能力和柔性压力传感器的实时压力反馈检测方式，实现对不同软硬程度目标的动态智能抓取。
39、(2)结合了大语言模型的语义理解和柔性传感器的抓力实时反馈能力，实现了机械手的自适应抓取，能够根据物体的特性自动调整抓取策略，提高抓取效率并减少物体损坏的风险。
本文档来自技高网...【技术保护点】
1.一种基于大语言模型的抓力自适应调节机械手抓取方法，其特征在于，包括以下步骤：
2.如权利要求1所述的一种基于大语言模型的抓力自适应调节机械手抓取方法，其特征在于，
3.如权利要求1所述的一种基于大语言模型的抓力自适应调节机械手抓取方法，其特征在于，所述任务解析和抓取命令生成具体包括：
4.如权利要求3所述的一种基于大语言模型的抓力自适应调节机械手抓取方法，其特征在于，所述提示词具体包括下述内容：
5.如权利要求1所述的一种基于大语言模型的抓力自适应调节机械手抓取方法，其特征在于，所述机械手控制具体包括：用一个解释器将任务解析和抓取命令生成命令转换为底层代码；
6.如权利要求1所述的一种基于大语言模型的抓力自适应调节机械手抓取方法，其特征在于，所述反馈具体包括：
7.一种基于大语言模型的抓力自适应调节机械手抓取系统，其特征在于，工业单目摄像头和激光测距相机固定在夹爪上，压力传感器安装在夹爪的内侧；机械臂、夹爪、单目摄像头、压力传感器和激光测距仪分别与控制计算机相连接；所述系统执行如任意权利要求1-6所述的方
...【技术特征摘要】
1.一种基于大语言模型的抓力自适应调节机械手抓取方法，其特征在于，包括以下步骤：
2.如权利要求1所述的一种基于大语言模型的抓力自适应调节机械手抓取方法，其特征在于，
3.如权利要求1所述的一种基于大语言模型的抓力自适应调节机械手抓取方法，其特征在于，所述任务解析和抓取命令生成具体包括：
4.如权利要求3所述的一种基于大语言模型的抓力自适应调节机械手抓取方法，其特征在于，所述提示词具体包括下述内容：
5.如权利要求1所述的一种基于大语言模型的抓力自...
【专利技术属性】
技术研发人员：余韬远，李泽积，邢添翔，高峰利，王怀喜，
申请(专利权)人：北京京仪仪器仪表研究总院有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。