基于强化学习的焊接参数确定方法、焊接方法和设备技术

本申请涉及一种基于强化学习的焊接参数确定方法、焊接方法和设备，其中的焊接参数确定方法包括：检测焊接过程中的当前状态信息；根据预先训练得到的第一神经网络模型和所述当前状态信息得到当前焊接参数，所述第一神经网络模型用于表示状态信息到焊接参数的映射；其中，所述第一神经网络模型是根据第一训练数据训练得到的，所述第一训练数据包括：状态信息和焊接参数；所述第一训练数据是根据预先训练得到的第二神经网络模型选择的反馈值大于预设值的状态信息和焊接参数，所述第二神经网络模型用于表示状态信息和焊接参数到反馈值的映射。本申请能够在得到最优策略的基础上，根据检测得到的状态信息，自动得到最优焊接参数，提升焊接质量。

【技术实现步骤摘要】
基于强化学习的焊接参数确定方法、焊接方法和设备
本申请涉及焊接
，尤其涉及一种基于强化学习的焊接参数确定方法、焊接方法和设备。
技术介绍
随着科技的发展，在钢铁材料的焊接领域，机器人焊接逐渐取代了以往的人工焊接。在焊接机器人实施焊接过程中，控制焊接的参数会直接影响焊接的质量。焊接的参数有焊枪移动速度，电流，电压，焊枪角度，摆幅，摆频等，这些焊接参数与焊接板材在激光图中的几何特征有密切关联，这些几何特征包括焊缝间距、焊接点坐标位置等。相关技术中，焊接参数由专业人员设置，即将焊接参数输入到焊接机器人的焊枪中，焊枪根据输入的参数执行焊接。这种参数设置方法依赖于人工，一旦参数设定，无论焊接板材在激光图中的几何特征有什么不同，焊接机器人均采用预先设定的参数进行焊接，这种方法很容易降低焊接质量，造成材料浪费。
技术实现思路
为至少在一定程度上克服相关技术中存在的问题，本申请提供一种基于强化学习的焊接参数确定方法、焊接方法和设备。根据本申请实施例的第一方面，提供一种基于强化学习的焊接参数确定方法，包括：检测焊接过程中的当前状态信息；根据预先训练得到的第一神经网络模型和所述当前状态信息得到当前焊接参数，所述第一神经网络模型用于表示状态信息到焊接参数的映射；其中，所述第一神经网络模型是根据第一训练数据训练得到的，所述第一训练数据包括：状态信息和焊接参数；所述第一训练数据是根据预先训练得到的第二神经网络模型选择的反馈值大于预设值的状态信息和焊接参数，所述第二神经网络模型用于表示状态信息和焊接参数到反馈值的映射。可选的，所述方法还包括：在采用所述当前焊接参数完成所述焊接过程后，获取监控量；根据所述监控量计算当前反馈值，并根据所述当前状态信息和所述当前焊接参数以及所述当前反馈值作为第二训练数据，采用第二训练数据重新训练所述第二神经网络模型，得到更新后的第二神经网络模型；根据更新后的第二神经网络模型重新选择第一训练数据，并采用重新选择的第一训练数据重新训练所述第一神经网络模型，得到更新后的第一神经网络模型；在开始新的焊接过程后，采用更新后的第一神经网络模型更新焊接参数。可选的，所述状态信息是焊缝信息，所述检测焊接过程中的状态信息，包括：获取焊板图像；对所述焊板图像进行图像识别，提取出焊缝信息，所述焊缝信息包括：焊缝宽度。可选的，所述焊接参数包括：焊枪的移动速度。可选的，所述监控量包括：焊接材料的宽度和高度。可选的，所述第一神经网络模型或者所述第二神经网络模型包括：输入层，用于输入输入值，当所述模型为第一神经网络模型时，所述输入值为状态信息，当所述模型为第二神经网络模型时，所述输入值包括：状态信息和焊接参数；数据层，用于对所述状态信息表示的数据进行拼接，得到向量形式的数据；数据重组层，用于对所述数据层输出的数据的维度重新设计；全连接层，用于把所述数据层输出的数据线性变换到高维度；激活层，用于对所述全连接层输出的数据进行非线性映射；拼接层，用于对所述激活层和所述数据重组层输出的数据进行拼接；归一化层，用于对所述拼接层输出的数据进行归一化；重新缩放层，用于对归一化后的数据进行重新缩放；输出层，用于根据重新缩放后的数据输出输出值，当所述模型为第一神经网络模型时，所述输出值为焊接参数，当所述模型为第二神经网络模型时，所述输出值包括：反馈值。可选的，所述全连接层为并联的多个全连接层。可选的，在训练所述第一神经网络模型或第二神经网络模型时，所述第一神经网络模型或第二神经网络模型还包括：损失层，用于根据所述输出值确定损失函数，并通过最小化损失函数确定第一神经网络模型或第二神经网络模型的模型参数，以训练得到第一神经网络模型或第二神经网络模型。根据本申请实施例的第二方面，提供一种基于强化学习的焊接方法，包括：采用如下方法确定焊接参数；所述方法包括：检测焊接过程中的当前状态信息；根据预先训练得到的第一神经网络模型和所述当前状态信息得到当前焊接参数，所述第一神经网络模型用于表示状态信息到焊接参数的映射；其中，所述第一神经网络模型是根据第一训练数据训练得到的，所述第一训练数据包括：状态信息和焊接参数；所述第一训练数据是根据预先训练得到的第二神经网络模型选择的反馈值大于预设值的状态信息和焊接参数，所述第二神经网络模型用于表示状态信息和焊接参数到反馈值的映射。可选的，所述方法还包括：在采用所述当前焊接参数完成所述焊接过程后，获取监控量；根据所述监控量计算当前反馈值，并根据所述当前状态信息和所述当前焊接参数以及所述当前反馈值作为第二训练数据，采用第二训练数据重新训练所述第二神经网络模型，得到更新后的第二神经网络模型；根据更新后的第二神经网络模型重新选择第一训练数据，并采用重新选择的第一训练数据重新训练所述第一神经网络模型，得到更新后的第一神经网络模型；在开始新的焊接过程后，采用更新后的第一神经网络模型更新焊接参数。可选的，所述状态信息是焊缝信息，所述检测焊接过程中的状态信息，包括：获取焊板图像；对所述焊板图像进行图像识别，提取出焊缝信息，所述焊缝信息包括：焊缝宽度。可选的，所述焊接参数包括：焊枪的移动速度。可选的，所述监控量包括：焊接材料的宽度和高度。可选的，所述第一神经网络模型或者所述第二神经网络模型包括：输入层，用于输入输入值，当所述模型为第一神经网络模型时，所述输入值为状态信息，当所述模型为第二神经网络模型时，所述输入值包括：状态信息和焊接参数；数据层，用于对所述状态信息表示的数据进行拼接，得到向量形式的数据；数据重组层，用于对所述数据层输出的数据的维度重新设计；全连接层，用于把所述数据层输出的数据线性变换到高维度；激活层，用于对所述全连接层输出的数据进行非线性映射；拼接层，用于对所述激活层和所述数据重组层输出的数据进行拼接；归一化层，用于对所述拼接层输出的数据进行归一化；重新缩放层，用于对归一化后的数据进行重新缩放；输出层，用于根据重新缩放后的数据输出输出值，当所述模型为第一神经网络模型时，所述输出值为焊接参数，当所述模型为第二神经网络模型时，所述输出值包括：反馈值。可选的，所述全连接层为并联的多个全连接层。可选的，在训练所述第一神经网络模型或第二神经网络模型时，所述第一神经网络模型或第二神经网络模型还包括：损失层，用于根据所述输出值确定损失函数，并通过最小化损失函数确定第一神经网络模型或第二神经网络模型的模型参数，以训练得到第一神经网络模型或第二神经网络模型。采用所述焊接参数进行焊接。根据本申请实施例的第三方面，提供一种电子设备，包括：处理器，用于存储处理器可执行指令的存储器；其中，所述处理器被配置为：检测焊接过程中的当前状态信息；根据预先训练得到的第一神经网络模型和所述当前状态信息得到当前焊接参数，所述第一神经网络模型用于表示状态信息到焊接参数的映射；其中，所述第一神经网络模型是根据第一训练数据训练得到的，所述第一训练数据包括：状态信息和焊接参数；所述第一训练数据是根据预先训练得到的第二神经网络模型选择的反馈值大于预设值的状态信息和焊接参数，所述第二神经网络模型用于表示状态信息和焊接参数到反馈值的映射；或者，被配置为：采用如下方法确定焊接参数；所述方法包括：检测焊接过程中的当前状态信息；根据预先训练得到的第一神经网络模型和所述当前本文档来自技高网...

【技术保护点】
1.一种基于强化学习的焊接参数确定方法，其特征在于，包括：检测焊接过程中的当前状态信息；根据预先训练得到的第一神经网络模型和所述当前状态信息得到当前焊接参数，所述第一神经网络模型用于表示状态信息到焊接参数的映射；其中，所述第一神经网络模型是根据第一训练数据训练得到的，所述第一训练数据包括：状态信息和焊接参数；所述第一训练数据是根据预先训练得到的第二神经网络模型选择的反馈值大于预设值的状态信息和焊接参数，所述第二神经网络模型用于表示状态信息和焊接参数到反馈值的映射。

【技术特征摘要】
1.一种基于强化学习的焊接参数确定方法，其特征在于，包括：检测焊接过程中的当前状态信息；根据预先训练得到的第一神经网络模型和所述当前状态信息得到当前焊接参数，所述第一神经网络模型用于表示状态信息到焊接参数的映射；其中，所述第一神经网络模型是根据第一训练数据训练得到的，所述第一训练数据包括：状态信息和焊接参数；所述第一训练数据是根据预先训练得到的第二神经网络模型选择的反馈值大于预设值的状态信息和焊接参数，所述第二神经网络模型用于表示状态信息和焊接参数到反馈值的映射。2.根据权利要求1所述的方法，其特征在于，还包括：在采用所述当前焊接参数完成所述焊接过程后，获取监控量；根据所述监控量计算当前反馈值，并根据所述当前状态信息和所述当前焊接参数以及所述当前反馈值作为第二训练数据，采用第二训练数据重新训练所述第二神经网络模型，得到更新后的第二神经网络模型；根据更新后的第二神经网络模型重新选择第一训练数据，并采用重新选择的第一训练数据重新训练所述第一神经网络模型，得到更新后的第一神经网络模型；在开始新的焊接过程后，采用更新后的第一神经网络模型更新焊接参数。3.根据权利要求1所述的方法，其特征在于，所述状态信息是焊缝信息，所述检测焊接过程中的当前状态信息，包括：获取焊板图像；对所述焊板图像进行图像识别，提取出焊缝信息，所述焊缝信息包括：焊缝宽度。4.根据权利要求1所述的方法，其特征在于，所述焊接参数包括：焊枪的移动速度。5.根据权利要求2所述的方法，其特征在于，所述监控量包括：焊接材料的宽度和高度。6.根据权利要求1-5任一项所述的方法，其特征在于，所述第一神经网络模型或者所述第二神经网络模型包括：输入层，用于输入输入值，当所述模型为第一神经网络模型时，所述输入值为状态信息，当所述模型为第二神经网络模型时，所述输入值包括：状态信息和焊接参数；数据层，用于对所述状态信息表示的数据进行拼...

【专利技术属性】
技术研发人员：刘旭，刘建都，戚晓亚，
申请(专利权)人：北京深度奇点科技有限公司，
类型：发明
国别省市：北京,11