基于连续学习的输电线路销钉级缺陷识别模型调优方法技术

本发明专利技术公开了一种基于连续学习的输电线路销钉级缺陷识别模型调优方法，所述方法包括：确定输电线路销钉级缺陷识别模型中的超参数；设定一个含有多个使用不同超参数训练模型的工作体的群体；设定一个管理体，管理体根据群体中每个工作体的当前训练状态剥离/探索当前工作体的训练任务；根据群体的训练结果得到最优工作体的最优超参数组合，并应用于连续学习模型进行训练。本发明专利技术通过群体训练的超参数组联合训练自动调优方法克服了传统方法在面对大量超参数和大取值范围超参数时所需训练次数过多、计算量极大以及陷入某一超参数的边缘最优解的问题，提高了计算效率。提高了计算效率。提高了计算效率。

【技术实现步骤摘要】
基于连续学习的输电线路销钉级缺陷识别模型调优方法


[0001]本专利技术涉及输电线路销钉级缺陷识别
，具体涉及一种基于连续学习的输电线路销钉级缺陷识别模型调优方法。

技术介绍

[0002]输电线路是电力系统的重要组成部分，保证输电线路的稳定运行是保障供电安全的关键环节之一。但是，输电线路中的螺栓和销钉等细小部件的松动、缺失引起的输电线路故障会对各类生产生活活动造成极大的不便和损失。因此，输电线路的定期检查维护工作是十分必要的。
[0003]近年来，随着无人机技术的发展，输电线路的巡检工作中出现了大量利用无人机采集的输电线路部件图像。利用人工来对图像中的大量销钉进行缺陷进行识别往往费时费力。机器学习方法，尤其是连续学习方法的出现使得销钉级缺陷识别实现了自动化，是目前的研究热点之一。基于连续学习的输电线路销钉级缺陷识别模型中存在大量的参数和超参数，为了实现缺陷识别模型的最优化，需要对这些参数和超参数进行调整。其中，参数的调整往往通过定义损失函数，通过最小化损失函数来实现。超参数直接影响着连续学习模型的精度、运算效率、泛化能力等，不合理的超参数选择将使得连续学习模型陷入局部最优解，不能达到理想的销钉级缺陷识别。传统的机器学习任务中，超参数的选择和调整往往依靠的是直觉和经验，而基于连续学习的输电线路销钉级缺陷识别模型中存在大量的超参数，超参数域空间大，依靠人工调整参数费时费力，且不易得到最优效果。
[0004]自动调优技术是近年来机器学习领域的一种新兴技术，可以实现机器学习问题中超参数的自动调节，有效缓解上述问题。目前存在的自动调优技术主要包括以下几类：
[0005]第一、网格搜索：对于每个超参数，选择一个较小的有限值集去探索，通过这些超参数集合的笛卡尔积得到多组超参数，然后利用每一组超参数去训练模型，最后通过验证测试集上的误差，选择误差最小的一组作为最优超参数。
[0006]第二、随机搜索：对于每个超参数，首先定义一个边缘分布；然后利用该边缘分布，对每一个超参数进行采样，从而形成多组超参数。与网格搜索类似，利用每一组超参数去训练模型，并找到测试误差最小的一组作为最优超参数。
[0007]第三、贝叶斯优化：贝叶斯优化通过给定一组观察值，利用贝叶斯规则获得后验，并通过最大化采集函数来确定下一个采样点纳入观察值。反复执行直到收敛或达到预算上限，最终确定最优超参数。
[0008]上述的三种方法虽然可以有效的实现连续学习的自动调优，但也有其局限性。网格搜索的计算代价会随着超参数数量呈指数级增长，面对连续学习模型中众多的超参数和较大的超参数域空间，网格搜索所需的计算资源巨大，计算效率低下。随机搜索面临着容易陷入某一个或几个超参数的边缘最优解，从而不能选取出最优超参数的困境。而基于贝叶斯优化的方法因为是一个序列运算，不具备并行的能力，使得计算效率低下，并且贝叶斯优化方法已被证实在一些问题上会发生灾难性失误，导致整个模型调优失败。

技术实现思路

[0009]本专利技术的目的在于提供一种基于连续学习的输电线路销钉级缺陷识别模型调优方法，可以解决现有技术中对输电线路销钉级缺陷识别的识别模型的方法计算效率低的问题。
[0010]本专利技术的目的是通过以下技术方案实现的：
[0011]本专利技术提供一种基于连续学习的输电线路销钉级缺陷识别模型调优方法，包括以下步骤：
[0012]步骤S1、确定输电线路销钉级缺陷识别模型中的超参数；
[0013]步骤S2、设定一个含有多个使用不同超参数训练模型的工作体的群体；
[0014]步骤S3、设定一个管理体，管理体根据群体中每个工作体的当前训练状态剥离/探索当前工作体的训练任务；
[0015]步骤S4、根据群体的训练结果得到最优工作体的最优超参数组合，并应用于连续学习模型进行训练。
[0016]进一步的，所述确定输电线路销钉级缺陷识别模型中的超参数具体包括：
[0017]确定具体连续学习模型；
[0018]确定调整连续学习模型的超参数类型；
[0019]确定调整连续学习模型的超参数的取值范围和尺度；
[0020]根据超参数的取值范围和尺度定义出超参数的一个边缘分布；
[0021]依据边缘分布对超参数进行采样，得到若干组超参数。
[0022]进一步的，所述设定一个包括多个使用不同超参数训练模型的工作体的群体的原理为：
[0023]设定一个群体，群体中包括n个工作体，其中；
[0024]每一个工作体不重复地获得若干组超参数中的一组超参数；
[0025]每个工作体根据所获得的超参数开始训练模型。
[0026]进一步的，所述管理体根据群体中每个工作体的当前训练状态剥离/探索当前工作体的训练任务具体包括：
[0027]建立一个存有每个工作体当前训练损失、准备状态以及剥离次数的工作列表；
[0028]定义出管理体的剥离操作和探索操作；
[0029]管理体依据群体中工作体的当前状态，不断更新工作列表中的当前损失和准备状态；
[0030]管理体依据工作列表中各工作体当前损失的值、当前损失的变化率以及工作体的准备状态对工作体执行剥离操作/探索操作。
[0031]进一步的，所述管理体根据群体的训练结果得到最优工作体的超参数组合具体包括：
[0032]管理体依据工作列表中各工作体的当前损失，标记出当前损失最小的一个工作体为最优工作体，在工作列表中清零最优工作组的剥离次数；
[0033]管理体在群体中所有工作体都进入准备状态且至少有一个工作体的剥离次数不为零时，停止所有工作体的训练；
[0034]管理体读取最优工作体的超参数作为最优超参数输出，其余作为备用超参数输
出；
[0035]将最优超参数应用于连续学习模型进行训练。
[0036]进一步的，所述管理体的剥离操作的原理为：对于一个已经进入准备状态的工作体，观察其它工作体的当前状态，如果有其它工作体处于更优的状态，将当前工作体的训练任务剥离，并复制当前最优的工作体的超参数，重新投入训练，并将工作体的准备状态调整为未准备。
[0037]进一步的，所述管理体的探索操作的原理为：对于剥离操作中复制的当前最优工作体的超参数，依据超参数的分布，生成一个随机扰动，得到一组不同于当前超参数的新超参数组。
[0038]本专利技术的有益效果：
[0039]1.本专利技术通过群体训练的自动调优方法克服了传统的基于网格搜索的连续学习缺陷识别模型自动调优方法在面对大量超参数和大取值范围超参数时所需训练次数过多、计算量极大的问题，提高了计算效率。
[0040]2.本专利技术利用了超参数组联合训练，克服了传统的基于随机搜索的连续学习缺陷识别模型自动调优方法容易陷入某一超参数的边缘最优解，得到的是各个超参数的联合最优解。
[0041]3.本专利技术利用了群体训练，克服了传统的基于贝叶斯优化的连续学习缺陷识别模型自动调优方法的序列性问题，通过管理体本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于连续学习的输电线路销钉级缺陷识别模型调优方法，其特征在于，包括以下步骤：步骤S1、确定输电线路销钉级缺陷识别模型中的超参数；步骤S2、设定一个含有多个使用不同超参数训练模型的工作体的群体；步骤S3、设定一个管理体，管理体根据群体中每个工作体的当前训练状态剥离/探索当前工作体的训练任务；步骤S4、根据群体的训练结果得到最优工作体的最优超参数组合，并应用于连续学习模型进行训练。2.根据权利要求1所述的基于连续学习的输电线路销钉级缺陷识别模型调优方法，其特征在于，所述确定输电线路销钉级缺陷识别模型中的超参数具体包括：确定具体连续学习模型；确定调整连续学习模型的超参数类型；确定调整连续学习模型的超参数的取值范围和尺度；根据超参数的取值范围和尺度定义出超参数的一个边缘分布；依据边缘分布对超参数进行采样，得到若干组超参数。3.根据权利要求2所述的基于连续学习的输电线路销钉级缺陷识别模型调优方法，其特征在于，所述设定一个包括多个使用不同超参数训练模型的工作体的群体的原理为：设定一个群体，群体中包括n个工作体，其中n>2；每一个工作体不重复地获得若干组超参数中的一组超参数；每个工作体根据所获得的超参数开始训练模型。4.根据权利要求1所述的基于连续学习的输电线路销钉级缺陷识别模型调优方法，其特征在于，所述管理体根据群体中每个工作体的当前训练状态剥离/探索当前工作体的训练任务具体包括：建立一个存有每个工作体当前训练损失、准备状态以及剥离次数的工作列表；...

【专利技术属性】
技术研发人员：王江，王海霖，覃明生，唐锦鹏，韦基毅，韦屹健，邓春明，韦维，石忠诚，兰建蒙，崖望洲，谭堃，黄东，谭文海，蒋英俊，
申请(专利权)人：广西电网有限责任公司河池供电局，
类型：发明
国别省市：