基于强化学习的超快脉冲激光器反向实现方法和系统技术方案

本发明专利技术提供了一种基于强化学习的超快脉冲激光器反向实现方法和系统，包括：步骤1：通过锁模技术获取种子源，通过种子源确定脉冲形态和光斑模式；步骤2：采用光纤放大技术对脉冲的功率进行放大，确定脉冲的最终能量和输出特性；步骤3：将超快激光生成过程进行模块化和一体化，通过分布傅里叶算法对脉冲在光纤中的传播过程进行仿真；步骤4：将仿真数据按照预设窗口大小值，输入到长短期记忆网络模型LSTM中，并进行分步训练；步骤5：将训练后的结果输入到强化学习DDPG中，得到激光器最优参数，使得激光器快速输出指定目标脉冲状态。本发明专利技术利用LSTM神经网络建模替代传统算法，缩短仿真耗时，提高仿真效率。提高仿真效率。提高仿真效率。

Reverse realization method and system of ultrafast pulse laser based on Reinforcement Learning

【技术实现步骤摘要】
基于强化学习的超快脉冲激光器反向实现方法和系统


[0001]本专利技术涉及超快脉冲激光器
，具体地，涉及一种基于强化学习的超快脉冲激光器反向实现方法和系统。

技术介绍

[0002]脉冲激光器是指单个激光脉冲宽度小于0.25秒、每间隔一定时间才工作一次的激光器，它具有较大输出功率，适合于激光打标、切割、测距等。
[0003]专利文献CN113922199A(申请号：CN202111141060.1)公开了一种抗回返的主振荡功率放大脉冲激光器，依次包括种子半导体激光器、回返光处理器、一级放大器、一级回返光处理器、二级放大器、二级回返光处理器、
…
、n级放大器、n级回返光处理器；设计回返光处理器保证信号光正向传输，阻止信号光反向传输，阻止非线性激光、ASE光、光路外的回返光反向传输，对回返光进行监测。
[0004]现有技术主要是通过迭代式的分布傅里叶传统算法来模拟超快激光的传输过程，算法的复杂度高，效率较低，难以满足为超快激光器进行快速反向设计提供反馈信息的要求；另一方面，目前仍未存在利用精确仿真建模结果来对超快激光器进行反向设计的技术，超快激光器的设计几乎完全依靠经验和实验尝试。

技术实现思路

[0005]针对现有技术中的缺陷，本专利技术的目的是提供一种基于强化学习的超快脉冲激光器反向实现方法和系统。
[0006]根据本专利技术提供的基于强化学习的超快脉冲激光器反向实现方法，包括：
[0007]步骤1：通过锁模技术获取种子源，通过种子源确定脉冲形态和光斑模式；
[0008]步骤2：采用光纤放大技术对脉冲的功率进行放大，确定脉冲的最终能量和输出特性；
[0009]步骤3：将超快激光生成过程进行模块化和一体化，通过分布傅里叶算法对脉冲在光纤中的传播过程进行仿真；
[0010]步骤4：将仿真数据按照预设窗口大小值，输入到长短期记忆网络模型LSTM中，并进行分步训练；
[0011]步骤5：将训练后的结果输入到强化学习DDPG中，得到激光器最优参数，使得激光器快速输出指定目标脉冲状态。
[0012]优选的，通过动作估计网络、动作现实网络、状态现实网络、状态估计网络来寻找获得最大价值的动作，输出激光器中种子源输出脉冲特征、展宽光栅的色散系数、增益光纤的增益系数和长度。
[0013]优选的，将模型LSTM预测的脉冲输出作为强化学习DDPG的输入，选取不同的激光器参数作为动作，通过强化学习来估计Q值，Q值为评价当前动作的价值以及预估未来动作的奖励值总和，然后计算理想脉冲条件下的Q值与当前状态和动作下的Q值的均方误差，搜
索使仿真输出脉冲与目标脉冲之间均方误差最小的动作，作为最优激光器参数。
[0014]优选的，在仿真中，设置光脉冲在光纤中传输的距离为h，首先只让脉冲经历非线性效应的作用，色散和损耗为零；然后设定非线性效应为零，仅考虑色散和损耗的作用。
[0015]优选的，经过传输的脉冲振幅表达式为：
[0016][0017]其中，A(z，T)代表z方向上在周期T内的脉冲振幅；D代表色散；N代表非线性；线性算符在频域当中的计算式为：
[0018][0019]其中，F
‑1表示傅里叶逆变换，ω为角频率，为复振幅。
[0020]根据本专利技术提供的基于强化学习的超快脉冲激光器反向实现系统，包括：
[0021]模块M1：通过锁模技术获取种子源，通过种子源确定脉冲形态和光斑模式；
[0022]模块M2：采用光纤放大技术对脉冲的功率进行放大，确定脉冲的最终能量和输出特性；
[0023]模块M3：将超快激光生成过程进行模块化和一体化，通过分布傅里叶算法对脉冲在光纤中的传播过程进行仿真；
[0024]模块M4：将仿真数据按照预设窗口大小值，输入到长短期记忆网络模型LSTM中，并进行分步训练；
[0025]模块M5：将训练后的结果输入到强化学习DDPG中，得到激光器最优参数，使得激光器快速输出指定目标脉冲状态。
[0026]优选的，通过动作估计网络、动作现实网络、状态现实网络、状态估计网络来寻找获得最大价值的动作，输出激光器中种子源输出脉冲特征、展宽光栅的色散系数、增益光纤的增益系数和长度。
[0027]优选的，将模型LSTM预测的脉冲输出作为强化学习DDPG的输入，选取不同的激光器参数作为动作，通过强化学习来估计Q值，Q值为评价当前动作的价值以及预估未来动作的奖励值总和，然后计算理想脉冲条件下的Q值与当前状态和动作下的Q值的均方误差，搜索使仿真输出脉冲与目标脉冲之间均方误差最小的动作，作为最优激光器参数。
[0028]优选的，在仿真中，设置光脉冲在光纤中传输的距离为h，首先只让脉冲经历非线性效应的作用，色散和损耗为零；然后设定非线性效应为零，仅考虑色散和损耗的作用。
[0029]优选的，经过传输的脉冲振幅表达式为：
[0030][0031]其中，A(z，T)代表z方向上在周期T内的脉冲振幅；D代表色散；N代表非线性；线性算符在频域当中的计算式为：
[0032][0033]其中，F
‑1表示傅里叶逆变换，ω为角频率，为复振幅。
[0034]与现有技术相比，本专利技术具有如下的有益效果：
[0035](1)本专利技术提出了基于强化学习的超快脉冲激光器快速反向设计的方法，该方法首先通过长短期记忆网络模型LSTM替代效率低下的传统分布傅里叶算法，提高仿真效率，然后根据输出需求，结合神经网络快速建模，通过强化学习对超快激光器进行反向设计，推导出满足输出需求的激光器参数，为真实的超快脉冲激光器系统搭建提供一种智能的参考方法；
[0036](2)通过人工智能算法建模替代传统分布傅里叶算法对超快脉冲激光器进行建模，降低运算复杂度，提高仿真效率；通过强化学习对超快脉冲激光器进行反向设计；
[0037](3)本专利技术利用LSTM神经网络建模替代传统算法，缩短仿真耗时，提高仿真效率；采用强化学习对超快脉冲激光器进行智能地反向设计，弥补了以往只能靠经验和大量实验进行设计的缺陷。
附图说明
[0038]通过阅读参照以下附图对非限制性实施例所作的详细描述，本专利技术的其它特征、目的和优点将会变得更明显：
[0039]图1为超快脉冲激光器的工业生产流程图；
[0040]图2为超快脉冲放大的流程图；
[0041]图3为基于强化学习的超快脉冲激光器反向设计示意图；
[0042]图4为DDPG原理图。
具体实施方式
[0043]下面结合具体实施例对本专利技术进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本专利技术，但不以任何形式限制本专利技术。应当指出的是，对本领域的普通技术人员来说，在不脱离本专利技术构思的前提下，还可以做出若干变化和改进。这些都属于本专利技术的保护范围。
[0044]实施例：
[0045]超快脉冲激光器的输出具有超短的时间宽度(可窄至飞秒量级)、超高的峰值功率本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于强化学习的超快脉冲激光器反向实现方法，其特征在于，包括：步骤1：通过锁模技术获取种子源，通过种子源确定脉冲形态和光斑模式；步骤2：采用光纤放大技术对脉冲的功率进行放大，确定脉冲的最终能量和输出特性；步骤3：将超快激光生成过程进行模块化和一体化，通过分布傅里叶算法对脉冲在光纤中的传播过程进行仿真；步骤4：将仿真数据按照预设窗口大小值，输入到长短期记忆网络模型LSTM中，并进行分步训练；步骤5：将训练后的结果输入到强化学习DDPG中，得到激光器最优参数，使得激光器快速输出指定目标脉冲状态。2.根据权利要求1所述的基于强化学习的超快脉冲激光器反向实现方法，其特征在于，通过动作估计网络、动作现实网络、状态现实网络、状态估计网络来寻找获得最大价值的动作，输出激光器中种子源输出脉冲特征、展宽光栅的色散系数、增益光纤的增益系数和长度。3.根据权利要求1所述的基于强化学习的超快脉冲激光器反向实现方法，其特征在于，将模型LSTM预测的脉冲输出作为强化学习DDPG的输入，选取不同的激光器参数作为动作，通过强化学习来估计Q值，Q值为评价当前动作的价值以及预估未来动作的奖励值总和，然后计算理想脉冲条件下的Q值与当前状态和动作下的Q值的均方误差，搜索使仿真输出脉冲与目标脉冲之间均方误差最小的动作，作为最优激光器参数。4.根据权利要求1所述的基于强化学习的超快脉冲激光器反向实现方法，其特征在于，在仿真中，设置光脉冲在光纤中传输的距离为h，首先只让脉冲经历非线性效应的作用，色散和损耗为零；然后设定非线性效应为零，仅考虑色散和损耗的作用。5.根据权利要求4所述的基于强化学习的超快脉冲激光器反向实现方法，其特征在于，经过传输的脉冲振幅表达式为：其中，A(z，T)代表z方向上在周期T内的脉冲振幅；D代表色散；N代表非线性；线性算符在频域当中的计算式为：其中，F
‑1表示傅里叶逆变换，ω为角频率，为复振幅。6.一种基于强化学习...

【专利技术属性】
技术研发人员：褚桐，义理林，蒲国庆，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：