【技术实现步骤摘要】
本专利技术涉及主动流动控制领域，尤其涉及一种基于强化学习和fpga神经网络的高速闭环流动控制方法。
技术介绍
1、主动流动控制(afc,active flow control)有望大幅改善飞行器的气动性能。根据是否有流场信息的反馈，afc可以分为开环流动控制和闭环流动控制。开环流动控制需要通过预先的系统动力学特性分析进行输入信号的设定，对于高维、强非线性的复杂流动控制效果往往并不理想、也难以适应多变的飞行环境。相比于开环控制，闭环控制通过实时测量和反馈机制可以更好地适应流场环境的不确定性和动态变化，与智能算法结合在一起能够实现控制策略的实时优化，极大提升了流动控制系统的鲁棒性和控制收益。现有的闭环智能流动控制技术研究总体可以分为两类。一类是仿真计算，即在理想流场条件下实现闭环控制。此类研究往往在二维、低雷诺数条件下开展，忽略实际传感器和控制器的信号延迟，因此，难以应用到工程实际。另一类是风洞实验((1)shimomura s,sekimoto s,oyamaa.et al.closed-loop flow separation control using the deep q network overairfoil[j].aiaa journal,2020,58(1):1-11.(2)姚张奕，史志伟，董益章.深度强化学习在翼型分离流动控制中的应用[j].实验流体力学,2022,36(03):55-64.)，通过挂载在数采卡上的传感器感知流场环境，并由cpu上运行的人工智能算法给激励器输出控制命令。该方法得到的控制律相对较为可靠，
2、综上，如何在实际应用中实现us量级的高速闭环智能流动控制是一种技术挑战。
技术实现思路
1、针对现有技术存在的问题，本专利技术提出一种基于强化学习和fpga神经网络的高速闭环流动控制系统，该控制系统包含等离子体激励器、传感器、现场可编程门阵列fpga控制器和上位机；
2、等离子体激励器在μs时间内产生高能量输出、实时接收激励信号对流场施加可控扰动；
3、传感器是频率达到100khz级的高频响传感器，其实时监测待控流场当前状态st，传感器信号通过模数转换后将st传给fpga控制器；
4、fpga控制器通过数/模和模/数模块实现高速的数据采集和控制指令输出，同时输出动作价值函数q(st,at)；
5、上位机接收fpga控制器输出的奖励信息并向fpga控制器传输神经网络参数。
6、在本专利技术的一个实施例中，
7、等离子体激励器是介质阻挡放电等离子体激励器或等离子体合成射流激励器；
8、传感器选自热线探针、动态压力传感器或脉动热流传感器；
9、fpga控制器选择时钟频率不低于40mhz、包含乘法器运算单元多的高性能fpga芯片；
10、上位机和fpga控制器之间通过千兆以上以太网建立通信连接。
11、还提出一种基于强化学习和fpga神经网络的高速闭环流动控制方法，其基于上述基于强化学习和fpga神经网络的高速闭环流动控制系统，控制循环流程如下：
12、传感器实时监测待控流场当前状态st，传感器信号通过模数转换后将st传给fpga控制芯片作为深度神经网络的输入；
13、深度神经网络将st向量信号通过若干个隐含层激活，拟合动作价值函数q(st,at)作为神经网络的输出，q(st,at)即当前状态st下不同动作at的价值；
14、fpga选取当前状态下价值最高的动作，并向等离子体激励器发出控制指令；
15、等离子体激励器依据该控制指令被特定的电压、频率和占空比驱动，并对流场施加扰动；
16、等离子体驱动结束后，通过传感器再次监测新的流场状态st+1，fpga接收st+1做为下一次神经网络的输入；
17、对比控制前后的st和st+1评估神经网络的控制收益，即奖励信息；
18、fpga控制芯片将获得的奖励信息传输给上位机，用于更新dqn网络参数。
19、此外，还提出一种基于强化学习和fpga神经网络的高速闭环流动控制方法，其基于上述基于强化学习和fpga神经网络的高速闭环流动控制系统，该方法具体如下：
20、该控制方法通过python、labview和fpga并行运行实现，其中python和labview在上位机中运行，fpga程序在fpga芯片中运行；
21、(1)python程序运行流程：
22、第一步，建立tcp通信客户端设置ip地址和端口，等待labview连接；
23、第二步，定义神经网络结构并训练网络超参数；
24、第三步，生成服从正态分布的随机数作为神经网络的初始参数θ，θ包括权重系数w和偏置系数b；
25、第四步，将fpga从流场中收集到的流场数据、激励数据和奖励信息生成马尔可夫序列存入记忆库内；
26、第五步，待记忆库满时，从记忆库中随机回放取出马尔可夫序列计算loss，loss的计算公式由式(1)表示：
27、
28、其中，rt+1代表t+1时刻的总奖励，γ代表奖励折扣率，代表新状态st+1下的最优动作a的价值，q(st,at)代表当前状态st下动作at的价值；使用误差反向传播算法更新神经网络参数；
29、第六步，每隔nt次训练，python通过tcp将新的神经网络参数传输给labview，labview再通过fifo将新的神经网络参数传入fpga控制器内；
30、第七步，若未达到训练最大轮次，则执行第四步；若达到训练最大轮次，python程序结束；
31、(2)labview程序运行流程：
32、第一步，启动fpga控制器运行；
33、第二步，labview与python建立tcp通信；
34、第三步，labview在相同的ip地址及端口下与python连接；
35、第四步，通过tcp接收初始神经网络参数和python训练所得神经网络参数，利用fifo队列将其发送给fpga控制器；
36、第五步，labview通过fifo队列接收fpga控制器所采集数据，包含传感器信号和等离子体激励器驱动信号，labview利用tcp通信将所上述数据发送给python进行神经网络训练；
37、第六步，若tcp未断开连接，则重复第四步和第五步；若tcp断开连接，labview程序结束；
38、(3)fpg本文档来自技高网...
【技术保护点】
1.基于强化学习和FPGA神经网络的高速闭环流动控制系统，其特征在于，该控制系统包含等离子体激励器、传感器、现场可编程门阵列FPGA控制器和上位机；
2.如权利要求1所述的基于强化学习和FPGA神经网络的高速闭环流动控制系统，其特征在于，
3.基于强化学习和FPGA神经网络的高速闭环流动控制方法，其基于如权利要求1或2所述的基于强化学习和FPGA神经网络的高速闭环流动控制系统，其特征在于，控制循环流程如下：
4.基于强化学习和FPGA神经网络的高速闭环流动控制方法，其基于如权利要求1或2所述的基于强化学习和FPGA神经网络的高速闭环流动控制系统，其特征在于，具体如下：
5.如权利要求4所述的基于强化学习和FPGA神经网络的高速闭环流动控制方法，在步骤(3)第三步中，基于FPGA实现单层全连接神经网络运算的子流程，具体如下；
【技术特征摘要】
1.基于强化学习和fpga神经网络的高速闭环流动控制系统，其特征在于，该控制系统包含等离子体激励器、传感器、现场可编程门阵列fpga控制器和上位机；
2.如权利要求1所述的基于强化学习和fpga神经网络的高速闭环流动控制系统，其特征在于，
3.基于强化学习和fpga神经网络的高速闭环流动控制方法，其基于如权利要求1或2所述的基于强化学习和fpga神经网络的高速闭环...
【专利技术属性】
技术研发人员：宗豪华，相嘉伟，吴云，梁华，苏志，李金平，
申请(专利权)人：中国人民解放军空军工程大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。