一种基于强化学习的腔体自动老炼系统及方法技术方案

本发明专利技术公开了一种基于强化学习的腔体自动老炼系统及方法，包括，腔体单元、功率源单元、耦合器单元、真空系统单元、打火探测器单元和控制器单元；所述控制器单元，用于接收所述耦合器单元、所述腔体单元、所述真空系统单元和所述打火探测器单元发送的输入参数，并将处理后的输出参数发送至所述功率源单元；所述耦合器单元位于所述功率源单元和所述腔体单元之间，用于耦合所述功率源单元输入给所述腔体单元的信息；所述真空系统单元用于探测所述腔体单元内部的真空度；所述打火探测器用于监控所述腔体单元内部的打火信息。该系统可以极大减少了传统增压器对于气体的损耗，提高了增压效率，缩短了增压时间。缩短了增压时间。缩短了增压时间。

【技术实现步骤摘要】
一种基于强化学习的腔体自动老炼系统及方法


[0001]本专利技术涉及粒子加速器
，尤其涉及基于强化学习的腔体自动老炼系统及方法。

技术介绍

[0002]加速腔体是加速器中的关键部件。次级电子倍增效应是1924年首次被科研人员发现。次级电子倍增效应实际是一种发生在交变电场谐振条件下的电子轰击一个或多个金属表面的情况。在加速器中，腔体发生的次级电子倍增放电是有害的。放电会导致射频系统反射过大，腔体电场异常。次级电子还会导致局部压力升高引起腔体表面气体的进一步释放。
[0003]加速器射频腔体中，腔体表面的不光滑以及较长时间大气暴露所带来的吸附的大气中的物质，腔体加工材料本身的杂质和其他，都会导致次级电子倍增效应的产生。
[0004]为消除腔体的次级电子倍增效应，通常来讲，需要有很长的腔体锻炼(老练)过程。
[0005]对于新制造的腔体，利用发射电子将腔体内表面的金属毛刺消除，从而减少金属毛刺尖端放电对次级电子倍增效应的贡献。对于腔体一段时间没有使用，就会有微量气体存在于腔体缝隙中，真空抽取方式不能完全抽出，这些残余气体会在腔体表面受到强电场作用下发生电离，发生打火放电现象，影响腔体正常使用。为了获得腔体稳定性能，需要每次开机前也需要对腔体进行老炼，除去腔体表面残余气体，减小腔体内部打火放电，提高腔体稳定性。
[0006]腔体功率损耗产生的热效应能够加速器腔体材料出气过程，将吸附在材料表面的气体和杂质气化，这些气体会被真空系统带走。气化的过程会带来腔体真空度的异常变化。
[0007]传统的老炼方法需要手工完成。工作人员调整输入的射频功率大小，脉冲占空比，脉冲宽度等参数。测量真空、检测打火现象，再调节腔压、脉冲占空比、脉冲宽度等参数，从低占空比到高占空比直至连续。传统方法耗费人力，对操作人员有较高的技术要求，另外传统方法不能较好的适应腔体状态。

技术实现思路

[0008]本专利技术目的在于提供一种基于强化学习的腔体自动老炼系统及方法，极大减少了传统增压器对于气体的损耗，提高了增压效率，缩短了增压时间。
[0009]为实现上述目的，本专利技术提供一种基于强化学习的腔体自动老炼系统，包括，腔体单元、功率源单元、耦合器单元、真空系统单元、打火探测器单元和控制器单元；
[0010]所述控制器单元，用于接收所述耦合器单元、所述腔体单元、所述真空系统单元和所述打火探测器单元发送的输入参数，并将处理后的输出参数发送至所述功率源单元；所述耦合器单元位于所述功率源单元和所述腔体单元之间，用于耦合所述功率源单元输入给所述腔体单元的信息；所述真空系统单元用于探测所述腔体单元内部的真空度；所述打火探测器用于监控所述腔体单元内部的打火信息。
[0011]可选的，所述真空系统单元，包括：气体抽取设备模块和真空计模块。
[0012]可选的，所述气体抽取设备模块，包括：真空泵。
[0013]可选的，所述真空计模块用于探测所述腔体单元内部的真空度。
[0014]可选的，所述耦合器单元发送的输入参数，包括：腔体入射信号和腔体反射信号。
[0015]可选的，所述腔体单元发送的输入参数，包括：腔体取样信号。
[0016]可选的，所述真空系统单元发送的输入参数，包括：真空系统的真空度。
[0017]可选的，所述打火探测器单元发送的输入参数，包括:打火探测器的打火次数。
[0018]可选的，所述控制器单元的输出参数，包括：小功率射频信号。
[0019]可选的，所述控制器单元对所述输入参数进行预处理和离散化处理，获得腔体状态空间。
[0020]可选的，所述预处理，包括：取样处理和数据滤波处理。
[0021]可选的，所述控制器单元对所述输出参数继续预处理，获得所述控制器单元可执行的动作空间。
[0022]本专利技术还提供一种基于强化学习的腔体自动老炼方法，包括；
[0023]获得初始价值估计和第一腔体状态，所述初始价值估计包括腔体状态集合与动作空间集合，所述第一腔体状态为当前的腔体状态；
[0024]根据所述第一腔体状态，遍历所述动作空间集合中与所述第一腔体状态对应的所有动作，确定与所述第一腔体状态对应的目标动作，并根据所述第一腔体和所述目标动作更新所述初始价值估计；
[0025]遍历所述腔体状态集合中的其他腔体状态，确定与所述其他腔体状态对应的目标动作，并根据所述其他腔体状态和所述与所述其他腔体状态对应的目标动作更新所述初始价值估计；
[0026]其中，所述腔体状态与控制器单元接收的耦合器单元、腔体单元、真空系统单元和打火探测器单元发送的输入参数有关，所述动作空间与所述控制器单元向功率源单元发送输出数据有关。
[0027]可选的，根据所述第一腔体状态，遍历与所述第一腔体状态对应的动作空间集合中的所有动作，确定与所述第一腔体状态对应的目标动作，包括：
[0028]根据所述第一腔体状态，从与所述第一腔体状态对应的动作空间集合中选择第一动作；
[0029]根据所述第一腔体状态和所述第一动作，计算第一收益；
[0030]根据所述第一腔体状态，遍历与所述第一腔体状态对应的动作空间集合中的其他动作并计算与所述其他动作对应的收益；
[0031]根据所述第一收益和与所述其他动作对应的收益，确定与所述第一腔体状态对应的目标动作。
[0032]本专利技术的技术效果和优点：
[0033]本专利技术提供一种基于强化学习的腔体自动老炼系统及方法，包括，腔体单元、功率源单元、耦合器单元、真空系统单元、打火探测器单元和控制器单元；所述控制器单元，用于接收所述耦合器单元、所述腔体单元、所述真空系统单元和所述打火探测器单元发送的输入参数，并将处理后的输出参数发送至所述功率源单元；所述耦合器单元位于所述功率源单元和所述腔体单元之间，用于耦合所述功率源单元输入给所述腔体单元的信息；所述真
空系统单元用于探测所述腔体单元内部的真空度；所述打火探测器用于监控所述腔体单元内部的打火信息。
[0034]通过监测加速器腔体的打火放电现象等现象、测量腔体的采样信号、功率源输入信号、功率源反射信号、真空度等参数，及时获取腔体状态，采用强化学习的方法自动调整老化过程中的功率大小、脉冲占空比、脉冲周期参数，减少老炼时间，以快速实现加速腔体锻炼过程，满足最终稳定谐振和建立高压微波电场，以实现对粒子束流进行加速的工作条件。
[0035]本专利技术的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本专利技术而了解。本专利技术的目的和其他优点可通过在说明书以及附图中所指出的结构来实现和获得。
附图说明
[0036]图1为基于强化学习的腔体自动老炼系统结构图；
[0037]图2为基于强化学习的腔体自动老炼方法的流程图；
[0038]图3为强化学习算法流程图。
具体实施方式
[0039]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于强化学习的腔体自动老炼系统，其特征在于，包括，腔体单元、功率源单元、耦合器单元、真空系统单元、打火探测器单元和控制器单元；所述控制器单元，用于接收所述耦合器单元、所述腔体单元、所述真空系统单元和所述打火探测器单元发送的输入参数，并将处理后的输出参数发送至所述功率源单元；所述耦合器单元位于所述功率源单元和所述腔体单元之间，用于耦合所述功率源单元输入给所述腔体单元的信息；所述真空系统单元用于探测所述腔体单元内部的真空度；所述打火探测器用于监控所述腔体单元内部的打火信息。2.根据权利要求1所述的系统，其特征在于，所述真空系统单元，包括：气体抽取设备模块和真空计模块。3.根据权利要求2所述的系统，其特征在于，所述气体抽取设备模块，包括：真空泵。4.根据权利要求2所述的系统，其特征在于，所述真空计模块用于探测所述腔体单元内部的真空度。5.根据权利要求1所述的系统，其特征在于，所述耦合器单元发送的输入参数，包括：腔体入射信号和腔体反射信号。6.根据权利要求1所述的系统，其特征在于，所述腔体单元发送的输入参数，包括：腔体取样信号。7.根据权利要求1所述的系统，其特征在于，所述真空系统单元发送的输入参数，包括：真空系统的真空度。8.根据权利要求1所述的系统，其特征在于，所述打火探测器单元发送的输入参数，包括:打火探测器的打火次数。9.根据权利要求1所述的系统，其特征在于，所述控制器单元的输出参数，包括：小功率射频信号。10.根据权利要求1所述的系统，其特征在于，所述控制器单元对所述输入参数进行预处理和离散化处理，获得腔体状态空间。11.根据权利要...

【专利技术属性】
技术研发人员：王志宇，刘巍，付浩然，李海鹏，慕振成，雷钰，赵振鲁，卢晓通，赵夏青，李明，王盛，秦伟涛，
申请(专利权)人：北京核力同创科技有限公司，
类型：发明
国别省市：