一种基于模糊强化学习的机械臂柔顺力控制方法技术

本发明专利技术公开了一种基于模糊强化学习的机械臂柔顺力控制方法，采用模糊强化学习算法，通过在线学习的方式训练导纳参数的实时调整策略，收敛后的变导纳控制策略根据操作者所施加的外力矩、当前关节速度和加速度控制电机主动顺应操作者的控制意图，以完成机械臂的主动跟随任务，无需建立相应的任务及环境模型，具有更快的收敛速度和稳定的实际效果。本方法能够显著降低操作者的工作强度，改善定位精度，有助于减小机械臂结构尺寸和自重，人机力交互模型能够很好地响应操作者的控制意图，具有良好的自适应能力，可使人机力交互体验更加流畅自然，更接近日常生活中对实际物体进行操作时的力交互感受。

A mechanical force control method of robot arm based on fuzzy reinforcement learning

The invention discloses a fuzzy manipulator compliant force control method based on reinforcement learning, using fuzzy reinforcement learning algorithm, real-time adjustment strategy based on online learning method to train the admittance parameters, variable admittance control strategy based on the convergence of the control torque exerted by the operator, the joint velocity and acceleration control motor active adaptation operator to take the initiative to follow the intention, to complete the task of the mechanical arm, without the establishment of the task and the corresponding model, the actual effect has faster convergence speed and stability. This method can significantly reduce the work intensity of operators, improve the positioning accuracy, helps to reduce the mechanical arm structure size and weight, human-computer interaction model force responds well to the operator's intention, has good adaptive ability, can make the human-computer interaction experience more smooth and natural force, closer to the actual operation of the daily objects when the life force interaction experience.

【技术实现步骤摘要】
一种基于模糊强化学习的机械臂柔顺力控制方法
：本专利技术属于人机交互控制
，具体是涉及一种基于模糊强化学习的机械臂柔顺力控制方法。
技术介绍
：在进行机器人辅助微创手术之前，医护人员需要根据病人的个体特征制定相应的手术方案，选择微创手术的切口位置并以此设定各机械臂的初始姿态。在执行过程中，需要将各机械臂拖拽至微创切口位置并手动调整手术臂的关节角度，即操作者直接对机械臂施加外力，根据操作意图对机械臂各连杆位姿进行相应调整。通常，机械臂以减速器作为机械臂关节动力的传动环节，大减速比及传动摩擦会使主动关节的位姿调整变得困难。目前常见的解决方法主要有两种：一种是在减速器后安装电磁制动器，通过控制电磁制动器的动作实现减速器与后端动力输出部分的脱离与吸合，即所谓的被动顺应控制方式。若机械臂在此种方式下进行拖拽，机械臂自身的重力全部由操作者承担，工作强度增大且难以控制操作精度。此外，由于拖拽过程中各关节与其驱动电机脱离，为了能够获得机械臂调整后的关节转动角度，还需要额外增加编码器记录关节的位置变化。电磁制动器和辅助编码器的引入会增大机械臂的结构尺寸和自身重量，电磁制动器的频繁吸合也会影响机器本文档来自技高网...

【技术保护点】
一种基于模糊强化学习的机械臂柔顺力控制方法，其特征在于，包括如下步骤：S1：建立导纳控制模型；S2：获取机械臂的运动状态、操作者施加的外力矩以及环境回报值；S3：为了获得与当前环境相适应的导纳模型参数调整策略，根据步骤S2中获得的相关信息，通过模糊强化学习进行导纳模型参数调整策略的在线训练直至算法收敛，以期望获与当前环境相适应的变导纳控制模型；S4：将步骤S3中经训练收敛后的导纳参数调整策略应用于变导纳控制模型之中，根据操作者施加的外力矩和机械臂关节的反馈速度计算关节当前速度值并发送至关节驱动电机，从而实现微创外科手术机械臂的主动摆位功能。

【技术特征摘要】
1.一种基于模糊强化学习的机械臂柔顺力控制方法，其特征在于，包括如下步骤：S1：建立导纳控制模型；S2：获取机械臂的运动状态、操作者施加的外力矩以及环境回报值；S3：为了获得与当前环境相适应的导纳模型参数调整策略，根据步骤S2中获得的相关信息，通过模糊强化学习进行导纳模型参数调整策略的在线训练直至算法收敛，以期望获与当前环境相适应的变导纳控制模型；S4：将步骤S3中经训练收敛后的导纳参数调整策略应用于变导纳控制模型之中，根据操作者施加的外力矩和机械臂关节的反馈速度计算关节当前速度值并发送至关节驱动电机，从而实现微创外科手术机械臂的主动摆位功能。2.根据权利要求1所述的基于模糊强化学习的机械臂柔顺力控制方法，其特征在于，所述步骤S3中的模糊强化学习具体包括如下步骤：S31：将机械臂的运动状态以及操作者施加的外力矩作为状态变量，在各状态变量的论域范围内划分多个模糊集合，建立对应的模糊规则并给出离散动作集合；S32：根据当...

【专利技术属性】
技术研发人员：杨文龙，王伟，庞海峰，
申请(专利权)人：哈尔滨思哲睿智能医疗设备有限公司，
类型：发明
国别省市：黑龙江,23