【技术实现步骤摘要】
本申请涉及深度强化学习领域，特别是涉及基于深度强化学习的定向能量沉积工艺参数控制方法、装置、介质及终端。
技术介绍
1、增材制造(additive manufacturing,am)在当前工业革命中发挥着至关重要的作用，它提供了生产复杂形状高质量零件的独特能力。在众多金属的增材制造技术中，激光定向能量沉积(laser directed energy deposition,lded)因其能够进行特定位置的沉积和无限的三维打印能力而脱颖而出。激光定向能量沉积工艺是高端制造领域的重要技术，在第四次工业革命中推动着进步。其独特的能力，可以制造复杂的金属零件，已经导致其在具有严格性能要求的各个行业中应用更加广泛。特别值得注意的是，激光定向能量沉积工艺广泛用于工业维修和医疗、汽车和航空航天等领域的原型制作。
2、人工智能技术的最新进展正在引发增材制造领域的革命。激光定向能量沉积在金属增材制造领域的市场份额不断增加，突显了其巨大潜力。因此，已经有研究表明，优化工艺参数对于确定零件质量至关重要。而且，系统地优化工艺参数不仅是必要的，而且对于工业生产也具有极大的优势。然而由于真实生产环境较为复杂，人工难以进行控制，导致无法得到最优化工艺参数。
3、现有技术中，已使用人工智能技术用于进行增材制造中的工艺参数优化，例如，使用长短时记忆(long short-term memory,lstm)模型来增强材料挤出(materialextrusion,mex)过程中打印零件的抗拉强度性能。或者使用循环神经网络和深度神经网络组合模型的
技术实现思路
1、鉴于以上所述现有技术的缺点，本申请的目的在于提供基于深度强化学习的定向能量沉积工艺参数控制方法、装置、介质及终端，用于解决由于定向能量沉积工艺中环境复杂导致的控制策略难以确定，人工成本较高，以及现有的采用强化学习的控制策略生成方案中不具备匹配的仿真器，从而导致设备与材料损耗较高的问题，最终生成适用于定向能量沉积技术中工艺参数的过程控制策略。
2、为实现上述目的及其他相关目的，本申请的第一方面提供一种基于深度强化学习的定向能量沉积工艺参数控制方法，包括：获取待打印模型的规格参数和真实能量沉积系统的环境变量参数组，据以构建仿真能量沉积系统；获取所述仿真能量沉积系统的状态信息并将其输入至经初始化的深度强化学习模型中；基于所述待打印模型的规格参数，通过优化算法在深度强化学习模型中对打印策略进行优化操作，以生成最优打印策略；基于所述最优打印策略，生成待打印模型的调控参数并根据所述调控参数对所述真实能量沉积系统进行部署。
3、于本申请的第一方面的一些实施例中，基于所述待打印模型的规格参数，通过优化算法在深度强化学习模型中对打印策略进行优化操作，以生成最优打印策略的过程包括：从所述仿真能量沉积系统中获取奖励值和所述的状态信息集，并对所述仿真能量沉积系统的状态信息集进行特征提取，以生成得到状态特征集；将所述奖励值和所述状态特征集输入至经验回放池中，以对当前的所述奖励值和所述状态特征集进行存储；对所述经验回放池中的状态特征集进行价值评价操作，并在所述状态特征集中提取出包含高于阈值的动作参数；基于所述动作参数更新动作网络，并根据所述动作网络在所述仿真能量沉积系统中执行相对应的操作，以生成更新后的所述奖励值和所述状态特征集。
4、于本申请的第一方面的一些实施例中，基于所述待打印模型的规格参数，通过优化算法在深度强化学习模型中对打印策略进行优化操作，以生成最优打印策略的过程还包括：通过所述待打印模型的调控性能目标与更新后的所述状态特征集计算损失函数；基于所述损失函数，对所述深度强化学习模型中的超参数进行调整，以更新深度强化学习模型。
5、于本申请的第一方面的一些实施例中，将深度强化学习模型进行初始化的过程包括：对所述深度强化学习模型中的动作网络、评价网络、以及奖励函数进行初始化。
6、于本申请的第一方面的一些实施例中，获取待打印模型的规格参数和真实能量沉积系统的环境变量参数组的过程包括：根据所述真实能量沉积系统的物理特性，选择用于对所述深度强化学习模型进行优化的偏微分方程组和所述环境变量参数组；基于所述打印模型参数和所述真实能量沉积系统，设置用于求解所述偏微分方程组的第三类边界条件。
7、于本申请的第一方面的一些实施例中，根据所述真实能量沉积系统的物理特性，选择用于对所述深度强化学习模型进行优化的偏微分方程组，其中所述偏微分方程组包括：罗森塔尔方程和三维传热方程。
8、于本申请的第一方面的一些实施例中，基于所述待打印模型的规格参数，通过优化算法在深度强化学习模型中对打印策略进行优化操作中，所述优化算法包括：近端优化算法。
9、为实现上述目的及其他相关目的，本申请的第二方面提供一种基于深度强化学习的定向能量沉积工艺参数控制装置，包括：仿真系统构建模块：用于获取待打印模型的规格参数和真实能量沉积系统的环境变量参数组，据以构建仿真能量沉积系统；初始化模块：用于将深度强化学习模型进行初始化，获取将所述仿真能量沉积系统的状态信息集并输入至所述深度强化学习模型中；获取所述仿真能量沉积系统的状态信息并将其输入至经初始化的深度强化学习模型中；策略优化模块：用于基于所述待打印模型的规格参数，通过优化算法在深度强化学习模型中对打印策略进行优化操作，以生成最优打印策略；策略部署模块：用于基于所述最优打印策略，生成待打印模型的调控参数并根据所述调控参数对所述真实能量沉积系统进行部署。
10、为实现上述目的及其他相关目的，本申请的第三方面提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述基于深度强化学习的定向能量沉积工艺参数控制方法。
11、为实现上述目的及其他相关目的，本申请的第四方面提供一种电子终端，包括：处理器及存储器；所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行所述基于深度强化学习的定向能量沉积工艺参数控制方法。
12、如上所述，本申请的基于深度强化学习的定向能量沉积工艺参数控制方法、装置、介质及终端，具有以下有益效果：本专利技术通过构建出基于激光定向能量沉积的仿真系统，并利用深度强化学习近端优化算法探索最优策略，从而产生包含有激光器功率、速度和运动轨迹参数的控制策略，从而能量沉积工艺过程中最优的工艺参数策略选择的智能化、高效化。相比于传统的人工经验控制得到的打印策略，本专利技术可以缩短人工试错时间与制样成本，同时深度强化学习策略降本文档来自技高网...
【技术保护点】
1.一种基于深度强化学习的定向能量沉积工艺参数控制方法，其特征在于，包括：
2.根据权利要求1所述的基于深度强化学习的定向能量沉积工艺参数控制方法，其特征在于，基于所述待打印模型的规格参数，通过优化算法在深度强化学习模型中对打印策略进行优化操作，以生成最优打印策略的过程包括：
3.根据权利要求2所述的基于深度强化学习的定向能量沉积工艺参数控制方法，其特征在于，基于所述待打印模型的规格参数，通过优化算法在深度强化学习模型中对打印策略进行优化操作，以生成最优打印策略的过程还包括：
4.根据权利要求1所述的基于深度强化学习的定向能量沉积工艺参数控制方法，其特征在于，将深度强化学习模型进行初始化的过程包括：对所述深度强化学习模型中的动作网络、评价网络、以及奖励函数进行初始化。
5.根据权利要求1所述的基于深度强化学习的定向能量沉积工艺参数控制方法，其特征在于，获取待打印模型的规格参数和真实能量沉积系统的环境变量参数组的过程包括：
6.根据权利要求5所述的基于深度强化学习的定向能量沉积工艺参数控制方法，其特征在于，根据所述真实能量
7.根据权利要求1所述的基于深度强化学习的定向能量沉积工艺参数控制方法，其特征在于，基于所述待打印模型的规格参数，通过优化算法在深度强化学习模型中对打印策略进行优化操作中，所述优化算法包括：近端优化算法。
8.一种基于深度强化学习的定向能量沉积工艺参数控制装置，其特征在于，包括：
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述基于深度强化学习的定向能量沉积工艺参数控制方法。
10.一种电子终端，其特征在于，包括：处理器及存储器；
...【技术特征摘要】
1.一种基于深度强化学习的定向能量沉积工艺参数控制方法，其特征在于，包括：
2.根据权利要求1所述的基于深度强化学习的定向能量沉积工艺参数控制方法，其特征在于，基于所述待打印模型的规格参数，通过优化算法在深度强化学习模型中对打印策略进行优化操作，以生成最优打印策略的过程包括：
3.根据权利要求2所述的基于深度强化学习的定向能量沉积工艺参数控制方法，其特征在于，基于所述待打印模型的规格参数，通过优化算法在深度强化学习模型中对打印策略进行优化操作，以生成最优打印策略的过程还包括：
4.根据权利要求1所述的基于深度强化学习的定向能量沉积工艺参数控制方法，其特征在于，将深度强化学习模型进行初始化的过程包括：对所述深度强化学习模型中的动作网络、评价网络、以及奖励函数进行初始化。
5.根据权利要求1所述的基于深度强化学习的定向能量沉积工艺参数控制方法，其特征在于，获取待打印模型的规格参数和真实...
【专利技术属性】
技术研发人员：翟梓融，石帅，武颖娜，昌海，王韦昊，
申请(专利权)人：上海科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。