基于强化学习的电批锁附螺丝方法及系统技术方案

本发明专利技术公开了基于强化学习的电批锁附螺丝方法及系统，随机生成电批的扭矩控制方案集，以使电批根据扭矩控制方案集内的扭矩控制方案锁附螺丝；通过强化学习神经网络对扭矩控制方案进行打分，得到分数值；通过分数值改进扭矩控制方案；将扭矩控制方案与标准控制模型进行比对，直至形成与标准控制模型最为接近的扭矩控制方案。基于此，本发明专利技术能够有效减少电批锁附螺丝时发生的浮锁、滑牙、爆钉等情况，提高每颗螺丝的锁附精度，提高产品合格率；减少了锁附螺丝对操作工人的经验需求，在没有相关经验的情况下工人也能较快、较好地完成螺丝锁附工作；为企业提高生产线的智能化，有助于产业链升级，从总体上降低企业成本。从总体上降低企业成本。从总体上降低企业成本。

Method and system of locking screws of electric screwdriver based on Reinforcement Learning

【技术实现步骤摘要】
基于强化学习的电批锁附螺丝方法及系统


[0001]本专利技术实施例涉及但不限于强化学习
，特别是涉及一种基于强化学习的电批锁附螺丝方法及系统。

技术介绍

[0002]在种类繁多的机械产品中,零件之间应用最广泛的联接方式是螺纹连接,尤其在电视机、手机、相机等电子产品中大量应用公称直径小于5mm的螺丝,常常遇到滑牙滑丝等问题,造成零件联接孔不可逆的破坏,因此在螺丝拧紧过程中应考虑防止滑牙滑丝等锁付质量控制的问题。在螺丝锁付过程中,实际上是要保证连接件有足够的预紧力,然而直接控制预紧力并不现实。自动锁付机构一般采用一个固定拧紧力矩来间接控制预紧力,此固定力矩即为监控力矩。为了保证螺丝拧紧,企业在实际操作中往往选择比理论值稍大一点的监控力矩。
[0003]目前技术存在的问题是当电动螺丝刀处于高转速状态时，其具有相当高的动能，当螺丝紧固后，其在极短的时间停止，会产生瞬时大于设定值的扭矩，若拧紧扭矩过大，则会造成螺纹脱扣或螺杆断裂，影响产品质量和维修性。
[0004]现如今市场上的伺服电动螺丝刀仅带有固定扭矩与转速的设置选项，未针对上述问题进行优化，若在生产前不对锁付的最佳扭矩与速度进行大量测试，则会导致大量不良品的产生。

技术实现思路

[0005]以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。
[0006]本专利技术实施例提供了一种基于强化学习的电批锁附螺丝方法及系统，能够通过自动训练来找到锁附螺丝的最佳扭矩控制方案，从而提高产品质量。
[0007]第一方面，本专利技术实施例提供了一种基于强化学习的电批锁附螺丝方法，包括：
[0008]随机生成电批的扭矩控制方案集，以使所述电批根据所述扭矩控制方案集内的扭矩控制方案锁附螺丝；
[0009]通过强化学习神经网络对所述扭矩控制方案进行打分，得到分数值；
[0010]通过所述分数值改进所述扭矩控制方案；
[0011]将所述扭矩控制方案与标准控制模型进行比对，直至形成与所述标准控制模型最为接近的所述扭矩控制方案。
[0012]在一些实施例，所述扭矩控制方案集为包括不同扭矩范围的多个扭矩控制方案的集合。
[0013]在一些实施例，所述标准控制模型为电批锁附螺丝时最佳扭矩与速度关系的模型。
[0014]在一些实施例，在所述随机生成电批的扭矩控制方案集，以使所述电批根据所述
扭矩控制方案集内的扭矩控制方案锁附螺丝之前，还包括：
[0015]获取电批的标准扭矩变化曲线，所述标准扭矩变化曲线用于表征电批锁附合格螺丝过程中扭矩与速度的对应关系；
[0016]根据所述标准扭矩变化曲线导出扭矩变化数据；
[0017]根据所述扭矩变化数据输出所述标准控制模型。
[0018]在一些实施例，所述随机生成电批的扭矩控制方案集，包括：
[0019]在预设范围内随机生成电批的扭矩控制方案集。
[0020]在一些实施例，所述强化学习神经网络采用深度确定性策略梯度算法DDPG。
[0021]在一些实施例，所述通过所述分数值改进所述扭矩控制方案，包括：
[0022]将所述分数值通过深度确定性策略梯度算法DDPG加权反馈给下一次的所述扭矩控制方案，以不断改进所述扭矩控制方案。
[0023]第二方面，本专利技术实施例提供了一种基于强化学习的电批锁附螺丝系统，包括：
[0024]生成模块，用于随机生成电批的扭矩控制方案集，以使所述电批根据所述扭矩控制方案集内的扭矩控制方案锁附螺丝；
[0025]打分模块，用于通过强化学习神经网络对所述扭矩控制方案进行打分，得到分数值；
[0026]改进模块，用于通过所述分数值改进所述扭矩控制方案；
[0027]比对模块，用于将所述扭矩控制方案与标准控制模型进行比对，直至形成与所述标准控制模型最为接近的所述扭矩控制方案。
[0028]第三方面，本专利技术实施例提供了一种基于强化学习的电批锁附螺丝系统，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上第一方面所述的基于强化学习的电批锁附螺丝方法。
[0029]第四方面，本专利技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行程序，所述计算机可执行程序用于使计算机执行如上第一方面所述的基于强化学习的电批锁附螺丝方法。
[0030]本专利技术实施例包括：随机生成电批的扭矩控制方案集，以使电批根据扭矩控制方案集内的扭矩控制方案锁附螺丝；通过强化学习神经网络对扭矩控制方案进行打分，得到分数值；通过分数值改进扭矩控制方案；将扭矩控制方案与标准控制模型进行比对，直至形成与标准控制模型最为接近的扭矩控制方案。基于此，本专利技术能够有效减少电批锁附螺丝时发生的浮锁、滑牙、爆钉等情况，提高每颗螺丝的锁附精度，提高产品合格率；可以减少工作人员对电批的调试时间，该电批能够自动自主训练出锁附每种螺丝时的最佳控制方案；可以节省后续对螺丝锁附的质量检查工作，减少了生产工序；减少了锁附螺丝对操作工人的经验需求，在没有相关经验的情况下工人也能较快、较好地完成螺丝锁附工作；为企业提高生产线的智能化，有助于产业链升级，从总体上降低企业成本。
[0031]本专利技术的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本专利技术而了解。本专利技术的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
[0032]附图用来提供对本专利技术技术方案的进一步理解，并且构成说明书的一部分，与本专利技术的实施例一起用于解释本专利技术的技术方案，并不构成对本专利技术技术方案的限制。
[0033]图1是本专利技术一个实施例提供的一种基于强化学习的电批锁附螺丝方法的主流程图；
[0034]图2是本专利技术一个实施例提供的一种基于强化学习的电批锁附螺丝方法的子流程图；
[0035]图3是本专利技术一个实施例提供的基于强化学习的电批锁附螺丝系统结构示意图；
[0036]图4是本专利技术另一个实施例提供的基于强化学习的电批锁附螺丝系统结构示意图。
具体实施方式
[0037]为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本专利技术，并不用于限定本专利技术。
[0038]应了解，在本专利技术实施例的描述中，多个(或多项)的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到“第一”、“第二”等只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
[0039]在种类繁多的机械产品中,零件之间应用最广泛的联接方式是螺纹连接,尤其在电视机、手机、相机等电子产品中大量应用公称直径小于5mm的螺丝,常常遇到本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于强化学习的电批锁附螺丝方法，其特征在于，包括：随机生成电批的扭矩控制方案集，以使所述电批根据所述扭矩控制方案集内的扭矩控制方案锁附螺丝；通过强化学习神经网络对所述扭矩控制方案进行打分，得到分数值；通过所述分数值改进所述扭矩控制方案；将所述扭矩控制方案与标准控制模型进行比对，直至形成与所述标准控制模型最为接近的所述扭矩控制方案。2.根据权利要求1所述的方法，其特征在于，所述扭矩控制方案集为包括不同扭矩范围的多个扭矩控制方案的集合。3.根据权利要求1所述的方法，其特征在于，所述标准控制模型为电批锁附螺丝时最佳扭矩与速度关系的模型。4.根据权利要求1所述的方法，其特征在于，在所述随机生成电批的扭矩控制方案集，以使所述电批根据所述扭矩控制方案集内的扭矩控制方案锁附螺丝之前，还包括：获取电批的标准扭矩变化曲线，所述标准扭矩变化曲线用于表征电批锁附合格螺丝过程中扭矩与速度的对应关系；根据所述标准扭矩变化曲线导出扭矩变化数据；根据所述扭矩变化数据输出所述标准控制模型。5.根据权利要求1所述的方法，其特征在于，所述随机生成电批的扭矩控制方案集，包括：在预设范围内随机生成电批的扭矩控制方案集。6.根据权利要求1所述的方法，其特征在于，所述强化学习...

【专利技术属性】
技术研发人员：梁淑芬，侯子坤，凌梓耀，江宏宇，徐杰，李其其，黄宝欣，
申请(专利权)人：五邑大学，
类型：发明
国别省市：