一种基于强化学习的转台控制参数自整定方法技术

本发明专利技术是一种基于强化学习的转台控制参数自整定方法及其系统，解决了传统上转台控制参数需要专业人员长时间调节的问题。所述方法包括：通过制定自整定过程的动作集与回报函数，建立了强化学习回路模型。同时，采用参考控制参数作为初始值，减少了无效训练次数。将仿真模拟训练与真实环境微调相结合，进而在能够快速获得训练好的强化学习网络的同时，避免了数学建模误差带来的不利影响。该方法具有能够自动调节转台控制参数的优势，有效提高了转台的生产效率。

【技术实现步骤摘要】
一种基于强化学习的转台控制参数自整定方法
本专利技术是一种基于强化学习的转台控制参数自整定方法，属于智能控制领域。
技术介绍
转台，也称惯性导航测试试验设备，它能够为惯性器件及系统精确模拟其工作环境下的运行方式，从而为惯性器件及系统的研制、生产及维护提供准确详实的标定依据。为保证转台平稳运行，转台控制算法的计算量应当尽可能小，从而满足高实时性的需求。现阶段转台主要采用PID算法进行伺服控制。该方法由于计算简单，因此便于工程化使用。由于PID算法本身的局限性，为了保证转台能够达到较高的精度，往往需要使用多环控制及前馈控制。增加控制结构的复杂性带来了控制参数众多的不利影响，同时由于不同转台之间性能指标及结构的差异较大，因而需要有经验的专业人员进行长时间的控制参数调节，才能够保证转台控制的稳定可靠。该过程的重复进行会造成大量的人力成本及时间成本的消耗，因而不利于转台大规模生产的需求。
技术实现思路
本专利技术正是针对以上现有技术中的不足而设计提供了一种基于强化学习的转台控制参数自整定方法，其目的是解决了传统转台生产时需要专业人员长时间调节控制参数的问题，有效提高了生产效率，有利于转台大规模生产的进行。本专利技术的目的是通过以下技术方案实现的：该种基于强化学习的转台控制参数自整定的方法，其特征在于：该方法的步骤如下：步骤一、将转台的速率精度、位置精度设计指标作为PID算法中的超调量、稳态误差、上升时间指标，根据PID算法计算公式计算出超调量、稳态误差、上升时间所对应的Kp、Ki、Kd三个参数，并将Kp、Ki、Kd这三个参数称为转台控制系统参考控制参数；步骤二、在计算机模拟环境下，选取转台模型，将转台的设计指标及转台控制系统参考控制参数输入到转台控制系统结构模型中；步骤三、在计算机模拟环境下，选取工作模式，所述工作模式为强化学习网络训练模式或转台控制参数训练模式，强化学习网络训练模式用于对强化学习执行网络与评价网络进行模拟训练，从而获得能够满足不同使用条件下的执行网络及评价网络；转台控制参数训练模式用于对转台控制参数进行模拟训练，从而获得能够满足转台性能指标的控制参数，其中：若选取强化学习网络训练模式，首先，对转台设计指标的变化范围及训练次数进行设置，变化范围为设计指标的±10％，在该变化范围内的训练次数选择为50～100次，然后，通过强化学习方式对转台控制系统参考控制参数进行调节，获得转台控制系统实际控制参数；若选取转台控制参数训练模式，首先，直接取值转台的设计指标，训练次数选择为400～500次，然后，通过强化学习方式对转台控制系统参考控制参数进行调节，获得转台控制系统实际控制参数；步骤四、将转台控制系统实际控制参数输入到转台PID控制算法中，然后对转台实际运行情况进行检测，并对转台控制系统实际控制参数进行微调，直至达到技术指标为止。进一步，在步骤二所述的强化学习网络训练模式下，变化范围为设计指标的±5％。本专利技术的有益效果为：1.本专利技术方法是在转台控制系统结构模型的传统伺服控制基础上，结合强化学习自整定回路，实现对转台控制参数的调节，该方法能够避免需要人员长时间调节的问题，有效提高了转台调试过程的效率，有利于转台的大规模生产；2.采用模拟仿真方式训练强化学习执行网络和评价网络，能够快速获得大量的学习样本，避免了实际操作中训练网络带来的训练时间长、易造成设备损坏等问题。3.使用参考控制参数作为初值，减少了无效训练次数。4.采用将模拟环境下训练好的转台控制参数在实际转台上进行微调的方式，避免了数学建模误差带来的不利影响，从而保证了实际转台的性能指标要求的满足。附图说明图1为本专利技术所述转台控制参数自整定方法的系统结构框图图2为本专利技术所述转台控制参数自整定方法的原理图图3为本专利技术所述转台控制参数自整定方法的程序流程图。具体实施方式以下将结合附图和实施例对本专利技术技术方案作进一步地详述：参见附图1所示，实现本专利技术方法的系统包括转台、FFT分析仪和PC机。所述转台包括运动控制模块及转台通讯接口，所述运动控制模块包括驱动器与电机，用于带动转台框体进行运动；所述转台通讯接口包括RS232、RS422、RS485串行接口、CAN总线接口、网口接口等外部接口，用于转台与PC机之间进行转台数据及指令的传输。所述FFT分析仪用于分析转台控制系统的频域特性，其分析结果能够通过USB接口或网口传输至PC机。所述FFT分析仪产生的激励信号通过输出接口传输至PC机，用于设置转台运动的期望位置；输入接口用于接收转台输入到驱动器的模拟信号，通过输入与输出接口之间信号的比较，可以分析转台控制系统的性能。PC机包括PC机通讯接口、控制参数自整定软件及信号转换模块。所述PC机通讯接口包括串行接口、网口接口及USB接口，用于PC机与转台及FFT分析仪之间的数据及指令的传输，其中与转台通讯接口的匹配可以通过相应接口转换器实现；所述控制参数自整定软件用于实现本专利技术所述的转台控制参数自整定方法；所述信号转换模块包括DA模块及AD模块，其中AD模块用于将FFT分析仪输出接口的期望位置转化为PC机可以识别的数字信号，DA模块用于将控制算法计算出的电机控制信号输入至驱动器。参见附图2～3所示，采用上述系统进行本专利技术所述的转台控制参数自整定方法的步骤如下：步骤一、将转台的速率精度、位置精度设计指标作为PID算法中的超调量、稳态误差、上升时间指标，根据PID算法计算公式计算出超调量、稳态误差、上升时间所对应的Kp、Ki、Kd三个参数，并将Kp、Ki、Kd这三个参数称为转台控制系统参考控制参数；步骤二、在计算机模拟环境下，选取转台模型，将转台的设计指标及转台控制系统参考控制参数输入到转台控制系统结构模型中；所述计算机模拟环境为V-REP仿真平台，该平台通过调用物理引擎，从而实现对力矩、摩擦力等物理量的模拟。所述转台模型包括三轴、双轴及单轴转台模型，通过统一机器人描述格式(URDF)进行设计。启动仿真平台后，将转台模型置于仿真场景中，通过对转台各部件的质量、最大转速进行设置，达到模拟真实转台运行环境的目的。仿真时，将转台控制系统参考控制参数作为转台控制系统结构模型中的控制参数初始值；步骤三、在计算机模拟环境下，选取工作模式，所述工作模式为强化学习网络训练模式或转台控制参数训练模式，其中：若选取强化学习网络训练模式，首先，对转台设计指标的变化范围及训练次数进行设置，变化范围为设计指标的±10％，在该变化范围内的训练次数选择为50～100次，然后，通过强化学习方式对转台控制系统参考控制参数进行调节，获得转台控制系统实际控制参数；若选取转台控制参数训练模式，首先，直接取值转台的设计指标，训练次数选择为400～500次，然后，通过强化学习方式对转台控制系统参考控制参数进行调节，获得转台控制系统实际控制参数；所述计算机模拟环境包括强化学习自整定回路，进而实现对转台控制参数的调节。强化学习自整定回路的作用是对现有转台控制参数产生的效果进行评价，然后根据转台控制结果确定控制参数调节的趋势，进而获得最优控制参数。步骤四、将转台控制系统实际控制参数输入到转台PID控制算法中，考虑到通过计算机模拟训练时使用的数学模型与真实环境存在一定的差异，因此训练好的转台控制参数需要一定的修正才能够保证真实本文档来自技高网...

【技术保护点】
1.一种基于强化学习的转台控制参数自整定的方法，其特征在于：该方法的步骤如下：步骤一、将转台的速率精度、位置精度设计指标作为PID算法中的超调量、稳态误差、上升时间指标，根据PID算法计算公式计算出超调量、稳态误差、上升时间所对应的Kp、Ki、Kd三个参数，并将Kp、Ki、Kd这三个参数称为转台控制系统参考控制参数；步骤二、在计算机模拟环境下，选取转台模型，将转台的设计指标及转台控制系统参考控制参数输入到转台控制系统结构模型中；步骤三、在计算机模拟环境下，选取工作模式，所述工作模式为强化学习网络训练模式或转台控制参数训练模式，其中：若选取强化学习网络训练模式，首先，对转台设计指标的变化范围及训练次数进行设置，变化范围为设计指标的±10％，在该变化范围内的训练次数选择为50～100次，然后，通过强化学习方式对转台控制系统参考控制参数进行调节，获得转台控制系统实际控制参数；若选取转台控制参数训练模式，首先，直接取值转台的设计指标，训练次数选择为400～500次，然后，通过强化学习方式对转台控制系统参考控制参数进行调节，获得转台控制系统实际控制参数；步骤四、将转台控制系统实际控制参数输入到转台PID控制算法中，然后对转台实际运行情况进行检测，并对转台控制系统实际控制参数进行微调，直至达到技术指标为止。...

【技术特征摘要】
1.一种基于强化学习的转台控制参数自整定的方法，其特征在于：该方法的步骤如下：步骤一、将转台的速率精度、位置精度设计指标作为PID算法中的超调量、稳态误差、上升时间指标，根据PID算法计算公式计算出超调量、稳态误差、上升时间所对应的Kp、Ki、Kd三个参数，并将Kp、Ki、Kd这三个参数称为转台控制系统参考控制参数；步骤二、在计算机模拟环境下，选取转台模型，将转台的设计指标及转台控制系统参考控制参数输入到转台控制系统结构模型中；步骤三、在计算机模拟环境下，选取工作模式，所述工作模式为强化学习网络训练模式或转台控制参数训练模式，其中：若选取强化学习网络训练模式，首先，对转台设计指标的变化范围及训练次数进行设置，变化范围为...

【专利技术属性】
技术研发人员：张祺琛，叶明，胡泓，聂宜云，
申请(专利权)人：中国航空工业集团公司北京航空精密机械研究所，
类型：发明
国别省市：北京,11