【技术实现步骤摘要】
本专利技术涉及主动流动控制领域，具体地说，是一种基于深度强化学习的圆柱主动流动控制方法。
技术介绍
1、主动流动控制技术针对流体动力学领域，专注于通过引入外部激励或控制手段来优化圆柱体周围的流体流动。其主要目标是降低阻力、推迟气流分离、减少湍流生成以及改善流体结构相互作用的调控。通过主动介入流体环境，这一技术旨在改善圆柱体周围的流动特性，进而提升工程和自然系统的性能和效率。这个领域的发展对于实现能源节省、环境保护和工程优化都具有重要的意义。由于圆柱周围流动条件的复杂性，开发出稳健而高效的主动流量控制策略仍然是一个巨大的挑战。
2、深度强化学习作为机器学习的一个分支，专注于研发能够在经验学习基础上，在动态环境中做出决策的算法。该方法采用试错策略，通过接收奖励或惩罚形式的反馈进行学习，通过大量反复试验来最大化未来奖励。大量研究已经证实深度强化学习在解决流体力学领域中非线性和高维问题方面具有显著的优势和潜力。
3、稀疏降阶建模是一个备受关注的研究领域，其目标是选择适当的动态特征提取方法，以使用较少的传感器数据更准确地估算不同流体动力系统的行为。处理这些特征并将其用作强化学习的状态是一种前景广阔的方法。
技术实现思路
1、本专利技术的目的在于克服现有的主动流动控制技术不足，适应现实需求，提供一种基于深度强化学习的圆柱主动流动控制方法。
2、本专利技术是通过以下技术方案实现的：
3、一种基于深度强化学习的圆柱主动流动控制方法，首先需创建数值模拟
4、本专利技术各算法功能及基本原理：
5、计算流体动力学(cfd)是流体力学的一个分支，它通过计算机模拟获得某种流体在特定条件下的有关信息，实现了用计算机代替试验装置完成“计算试验”，为工程技术人员提供了实际工况模拟仿真的操作平台，用于研究流体流动、传热和质量传递等现象。
6、openfoam是对连续介质力学问题进行数值计算的c++自由软件工具包，其代码遵守gnu通用公共许可证。它可进行数据预处理、后处理和自定义求解器，常用于计算流体力学领域。
7、深度强化学习(drl)算法是机器学习的一个子领域，结合了强化学习和深度学习。强化学习探讨如何在尝试错误的过程中让代理学习做更好的决策。深度强化学习采用了深度学习的方法，让代理可以直接基于非结构化资料来做决策，而不需要过多的人为设计的状态空间。深度强化学习已经有了广泛的应用，包括机器人学、电动游戏、自然语言处理、电脑视觉、教育、交通运输、金融、医疗卫生等。
8、在过去的研究中，一种常见的做法是使用流场的单个快照作为状态数据，例如在一个时间步中使用四个传感器的压力数据，为策略网络提供输入。相比之下，动态特征提升方法使用从30个先前动作时间步中提取的传感器测量结果组装的压力数据，从而产生增强的代理状态。这是预期的表明使用这种动态特征提升输入数据可以改进策略。特别是，表面上的传感器观察到的流速和压力变化幅度比尾流中的传感器要低。他们无法观察尾流趋势的变化和圆柱涡流的脱落。因此，使用动态特征提升方法最适合涉及传感器较少的表面传感器afc训练过程。此外，对每个传感时间序列单独使用输入标准化方法也很重要。特别的是，有必要对表面压力传感器观测值进行标准化，以便可以很好地感知这些波动，即使这些波动与尾流区域中的传感器相比具有非常不同的动态范围。
9、具体地说，包括以下步骤：
10、步骤一、首先完成对二维圆柱的几何建模，明确定义形状和尺寸等具体参数，接着进行相应的网格划分，随后配置openfoam求解器，包括设定圆柱的边界条件、物理模型以及数值算法等参数，最后，通过对已有文献进行比较验证，以确保数值模型的准确性，在不可压缩粘性流的假设下，控制纳维-斯托克斯方程可以无量纲方式表示,如公式(1)和(2)所示：
11、
12、
13、式中，u是无量纲速度，t是无量纲时间，p是无量纲压力，v是流体的运动粘度；
14、步骤二、使用drlinfluids平台搭建深度强化学习模型，定义深度强化学习框架中的动作、奖励函数构成、状态、算法与环境的交互方式等，最后选定深度强化学习算法、超参数等变量，以优化策略控制性能，奖励函数如公式(3)所示：
15、rt＝(cd)baseline-(cd)t-0.2*|(cl)t| (3)
16、式中，(cd)baseline是在一个周期内无控制的圆柱平均阻力系数，(cd)t代表在一个控制期t内受到深度强化学习控制的圆柱的平均阻力系数；
17、步骤三、基于drlinfluids平台，调用深度强化学习算法，开始模型的训练，使用动态特征提升方法从30个先前动作时间步中提取的传感器测量结果组装的压力数据，从而产生增强的代理状态，使用t时刻的有效增强函数来提升传感器信号，从而形成高维动态特征空间，如表示公式(4)所示：
18、
19、式中a是t时刻的智能体动作，m是回溯时间步数t，设置为30，对应于无控制下圆柱涡旋脱落的两倍周期，i和j分别是传感器和执行器，α和β是相应的比例因子；
20、之后，训练过程涵盖数值模拟中流场的初始化，以最初的代理提供初始数据，深度强化学习代理根据初始状态生成动作，并且这些动作导致流场发生变化，形成新的初始状态，通过反复进行大量回合的训练，一直到奖励函数收敛，完成对模型的训练。
21、本专利技术的有益效果：本专利技术弥补了传统主动流动控制方法中单一和不稳定控制策略的不足之处，通过训练深度强化学习代理，本专利技术能够实现具有动态特征传感方法的阻力明显低于仅依赖直接传感器反馈的普通方法，突出表明了这种方法在改善空气动力性能方面的功效；动态特征控制方法是大幅减少所需传感器数量的有效方法，同时实现了最优的升阻力降低性能，为控制复杂的流体动力学系统提供了一条前景广阔的途径。
本文档来自技高网...【技术保护点】
1.一种基于深度强化学习的圆柱主动流动控制方法，其特征在于，包括下列步骤：
2.根据权利要求1所述的基于深度强化学习的圆柱主动流动控制方法，其特征在于，所述步骤一的具体流程为：首先完成对二维圆柱的几何建模，明确定义具体参数，接着进行相应的网格划分，随后配置OpenFOAM求解器，包括设定参数，最后，通过对已有文献进行比较验证，以确保数值模型的准确性，在不可压缩粘性流的假设下，控制纳维-斯托克斯方程以无量纲方式表示如公式(1)和(2)所示：
3.根据权利要求2所述的基于深度强化学习的圆柱主动流动控制方法，其特征在于，所述步骤二的具体流程为：使用DRLinFluids平台搭建深度强化学习模型，定义深度强化学习框架中交互方式，最后选定深度强化学习算法、超参数等变量，以优化策略控制性能，奖励函数如公式(3)所示：
4.根据权利要求3所述的基于深度强化学习的圆柱主动流动控制方法，其特征在于，所述步骤三中，采用闭环圆柱尾流控制的自学习算法，以降低阻力和升力波动为目标，并以深度强化学习为起点，应对稀疏传感器信息的额外挑战，通过将传感器信号提升到预测未来流动状
5.根据权利要求4所述的基于深度强化学习的圆柱主动流动控制方法，其特征在于，所述步骤三的具体流程为：基于DRLinFluids平台，调用深度强化学习算法，开始模型的训练，使用动态特征提升方法从30个先前动作时间步中提取的传感器测量结果组装的压力数据，从而产生增强的代理状态，使用t时刻的有效增强函数来提升传感器信号，从而形成高维动态特征空间，如表示公式(4)所示：
...【技术特征摘要】
1.一种基于深度强化学习的圆柱主动流动控制方法，其特征在于，包括下列步骤：
2.根据权利要求1所述的基于深度强化学习的圆柱主动流动控制方法，其特征在于，所述步骤一的具体流程为：首先完成对二维圆柱的几何建模，明确定义具体参数，接着进行相应的网格划分，随后配置openfoam求解器，包括设定参数，最后，通过对已有文献进行比较验证，以确保数值模型的准确性，在不可压缩粘性流的假设下，控制纳维-斯托克斯方程以无量纲方式表示如公式(1)和(2)所示：
3.根据权利要求2所述的基于深度强化学习的圆柱主动流动控制方法，其特征在于，所述步骤二的具体流程为：使用drlinfluids平台搭建深度强化学习模型，定义深度强化学习框架中交互方式，最后选定深度强化学习算法、超参数等变量，以优化策略控制性能，奖励函数如公式(3)所示：
【专利技术属性】
技术研发人员：胡钢，严雷，
申请(专利权)人：哈尔滨工业大学深圳哈尔滨工业大学深圳科技创新研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。