【技术实现步骤摘要】
本申请涉及机器人控制，尤其涉及基于多模态问答大模型的持镜机器人控制方法及系统。
技术介绍
1、操作者通过设置于持镜机器人末端的关节镜可以观察操作区域，部分操作场景下，操作空间非常狭小，需要协同使用多种器械工具，因此需要持续精准调整关节镜的位置，以实时调整关节镜观察的视野。然而，相关技术的持镜机器人仍存在视野跟踪不准确、不稳定的问题。
技术实现思路
1、本申请实施例的主要目的在于提出基于多模态问答大模型的持镜机器人控制方法及系统，以提高持镜机器人的跟踪精度和稳定性。
2、为实现上述目的，本申请实施例的一方面提出了基于多模态问答大模型的持镜机器人控制方法，所述方法包括以下步骤：
3、获取持镜机器人拍摄得到的图像；
4、利用经过预先训练的多模态问答大模型获取所述图像对应的目标坐标；
5、确定所述图像中器械尖端的坐标作为当前坐标，并确定所述当前坐标与所述目标坐标之间的坐标误差；
6、获取所述持镜机器人的当前关节角，并根据所述当前关节角计算...
【技术保护点】
1.基于多模态问答大模型的持镜机器人控制方法，其特征在于，所述方法包括以下步骤：
2.根据权利要求1所述的基于多模态问答大模型的持镜机器人控制方法，其特征在于，所述利用经过预先训练的多模态问答大模型获取所述图像对应的目标坐标，包括以下步骤：
3.根据权利要求2所述的基于多模态问答大模型的持镜机器人控制方法，其特征在于，在所述利用经过预先训练的多模态问答大模型获取所述图像对应的目标坐标之前，所述方法还包括训练所述多模态问答大模型的步骤，所述训练所述多模态问答大模型的步骤包括：
4.根据权利要求1所述的基于多模态问答大模型的持镜机器人控...
【技术特征摘要】
1.基于多模态问答大模型的持镜机器人控制方法，其特征在于，所述方法包括以下步骤：
2.根据权利要求1所述的基于多模态问答大模型的持镜机器人控制方法，其特征在于，所述利用经过预先训练的多模态问答大模型获取所述图像对应的目标坐标，包括以下步骤：
3.根据权利要求2所述的基于多模态问答大模型的持镜机器人控制方法，其特征在于，在所述利用经过预先训练的多模态问答大模型获取所述图像对应的目标坐标之前，所述方法还包括训练所述多模态问答大模型的步骤，所述训练所述多模态问答大模型的步骤包括：
4.根据权利要求1所述的基于多模态问答大模型的持镜机器人控制方法，其特征在于，所述确定所述图像中器械尖端的坐标作为当前坐标，包括以下步骤：
5.根据权利要求1所述的基于多模态问答大模型的持镜机器人控制方法，其特征在于，所述根据所述坐标误差和所述...
【专利技术属性】
技术研发人员：彭键清，魏富鑫，杨梓杰，陈宁宁，佘鹏，张鹏辉，
申请(专利权)人：中山大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。