数据处理方法及废钢检测模型构建方法技术

本说明书实施例提供数据处理方法及废钢检测模型构建方法，其中，数据处理方法包括根据初始神经网络模型中、可微分的初始数据增强方式和初始网络结构，获得对象训练样本的预测结果；根据预测结果以及标注结果构成的损失函数，调整初始神经网络模型的网络参数；根据对象验证样本以及网络参数，同步调整初始神经网络模型的初始数据增强方式以及初始网络结构；在调整后的初始数据增强方式以及初始网络结构满足预设结束条件的情况下，确定目标数据增强方式以及目标网络结构。该方法可以一次性得到在对应的数据集上互补的数据增强方式和网络结构，将通过该方法同步确定的数据增强方式以及网络结构应用于废钢检测模型，可以极大提高废钢检测的准确性。高废钢检测的准确性。高废钢检测的准确性。

【技术实现步骤摘要】
数据处理方法及废钢检测模型构建方法


[0001]本说明书实施例涉及计算机
，特别涉及一种数据处理方法。

技术介绍

[0002]在工业视觉领域，由于能够收集到的数据量少，想要得到好的瑕疵检测效果，需要对训练数据做合适的数据增强。在工业视觉领域的应用场景里面，通常使用的计算机算力不会很高，检测模型的大小和需要的算力在很大程度上会影响产品的竞争力。所以搜索好的数据增强方式和效率高的检测模型的网络结构是一个普遍追求的目标。
[0003]现有的方法是采用分段搜索，首先固定网络结构去搜索数据增强方式；然后固定数据增强方式去搜索检测模型的backbone结构；然后固定数据增强方式和检测模型的backbone结构去搜索检测模型的neck结构；然后固定数据增强方式、检测模型的backbone结构、检测模型的neck结构去搜索检测模型的head结构；最后将四个部分的搜索结果合并到一起形成完整的数据增强方式和网络结构。
[0004]但是，由于是采用分段的搜索，所以较难得到很好的搜索结果，同时分段搜索有大量冗余的训练导致整体的搜索时间更长。

技术实现思路

[0005]有鉴于此，本说明书实施例提供了一种数据处理方法。本说明书一个或者多个实施例同时涉及一种数据处理装置，一种废钢检测模型构建方法，一种计算设备，一种计算机可读存储介质以及一种计算机程序，以解决现有技术中存在的技术缺陷。
[0006]根据本说明书实施例的第一方面，提供了一种数据处理方法，包括：
[0007]确定对象训练样本、对象验证样本、以及初始神经网络模型；
[0008]根据所述初始神经网络模型中、可微分的初始数据增强方式和初始网络结构，获得所述对象训练样本的预测结果；
[0009]根据所述预测结果以及标注结果构成的损失函数，调整所述初始神经网络模型的网络参数；
[0010]根据所述对象验证样本以及所述网络参数，同步调整所述初始神经网络模型的初始数据增强方式以及初始网络结构；
[0011]在调整后的初始数据增强方式以及初始网络结构满足预设结束条件的情况下，确定目标数据增强方式以及目标网络结构。
[0012]根据本说明书实施例的第二方面，提供了一种数据处理装置，包括：
[0013]第一确定模块，被配置为确定对象训练样本、对象验证样本、以及初始神经网络模型；
[0014]结果获得模块，被配置为根据所述初始神经网络模型中、可微分的初始数据增强方式和初始网络结构，获得所述对象训练样本的预测结果；
[0015]第一调整模块，被配置为根据所述预测结果以及标注结果构成的损失函数，调整
所述初始神经网络模型的网络参数；
[0016]第二调整模块，被配置为根据所述对象验证样本以及所述网络参数，同步调整所述初始神经网络模型的初始数据增强方式以及初始网络结构；
[0017]第二确定模块，被配置为在调整后的初始数据增强方式以及初始网络结构满足预设结束条件的情况下，确定目标数据增强方式以及目标网络结构。
[0018]根据本说明书实施例的第三方面，提供了一种废钢检测模型构建方法，包括：
[0019]确定废钢图像训练样本、废钢图像验证样本、以及初始废钢检测模型；
[0020]根据所述初始废钢检测模型中、可微分的初始数据增强方式和初始网络结构，获得所述废钢图像训练样本的预测结果；
[0021]根据所述预测结果以及标注结果构成的损失函数，调整所述初始废钢检测模型的网络参数；
[0022]根据所述废钢图像验证样本以及所述网络参数，同步调整所述初始废钢检测模型的初始数据增强方式以及初始网络结构；
[0023]在调整后的初始数据增强方式以及初始网络结构满足预设结束条件的情况下，确定目标数据增强方式以及目标网络结构；
[0024]根据所述目标数据增强方式以及目标网络结构，构建废钢检测模型。
[0025]根据本说明书实施例的第四方面，提供了一种计算设备，包括：
[0026]存储器和处理器；
[0027]所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令，该计算机可执行指令被处理器执行时实现上述数据处理方法、或者废钢检测模型构建方法的步骤。
[0028]根据本说明书实施例的第五方面，提供了一种计算机可读存储介质，其存储有计算机可执行指令，该指令被处理器执行时实现上述数据处理方法、或者废钢检测模型构建方法的步骤。
[0029]根据本说明书实施例的第六方面，提供了一种计算机程序，其中，当所述计算机程序在计算机中执行时，令计算机执行上述数据处理方法、或者废钢检测模型构建方法的步骤。
[0030]本说明书一个实施例实现了一种数据处理方法及装置，其中，该方法包括确定对象训练样本、对象验证样本、以及初始神经网络模型；根据所述初始神经网络模型中、可微分的初始数据增强方式和初始网络结构，获得所述对象训练样本的预测结果；根据所述预测结果以及标注结果构成的损失函数，调整所述初始神经网络模型的网络参数；根据所述对象验证样本以及所述网络参数，同步调整所述初始神经网络模型的初始数据增强方式以及初始网络结构；在调整后的初始数据增强方式以及初始网络结构满足预设结束条件的情况下，确定目标数据增强方式以及目标网络结构。
[0031]具体的，该数据处理方法，通过同时搜索神经网络模型(如检测模型、分类模型、分割模型等)的数据增强方式和网络结构的方法，从而一次性得到在对应的数据集上的互补的数据增强方式和网络结构，能够得到更好的搜索结果，同时避免了多次重复训练网络参数，能够大幅度减少搜索时间。
附图说明
[0032]图1是本说明书一个实施例提供的一种数据处理方法应用于目标检测模型的具体处理示意图；
[0033]图2是本说明书一个实施例提供的一种数据处理方法的流程图；
[0034]图3是本说明书一个实施例提供的一种数据处理方法中数据增强方式的搜索示意图；
[0035]图4是本说明书一个实施例提供的一种数据处理方法的中网络backbone的搜索示意图；
[0036]图5是本说明书一个实施例提供的一种数据处理方法的中网络neck的整体搜索空间示意图；
[0037]图6是本说明书一个实施例提供的一个实施例提供的一种数据处理方法的中网络neck根据不同OP进行具体处理的示意图；
[0038]图7是本说明书一个实施例提供的一种数据处理方法的中网络neck中使用TopDown进行特征融合的处理示意图；
[0039]图8是本说明书一个实施例提供的一种数据处理方法的中网络head的整体搜索示意图；
[0040]图9是本说明书一个实施例提供的一种数据处理方法的中网络head根据不同OP进行具体处理的示意图。
[0041]图10是本说明书一个实施例提供的一种数据处理装置的结构示意图；
[0042]图11是本说明书一个实施例提供的一种计算设备的结构框图。<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，包括：确定对象训练样本、对象验证样本、以及初始神经网络模型；根据所述初始神经网络模型中、可微分的初始数据增强方式和初始网络结构，获得所述对象训练样本的预测结果；根据所述预测结果以及标注结果构成的损失函数，调整所述初始神经网络模型的网络参数；根据所述对象验证样本以及所述网络参数，同步调整所述初始神经网络模型的初始数据增强方式以及初始网络结构；在调整后的初始数据增强方式以及初始网络结构满足预设结束条件的情况下，确定目标数据增强方式以及目标网络结构。2.根据权利要求1所述的数据处理方法，所述根据所述初始神经网络模型中、可微分的初始数据增强方式和初始网络结构，获得所述对象训练样本的预测结果，包括：确定所述初始神经网络模型中、可微分的初始数据增强方式和初始网络结构、以及所述初始数据增强方式对应的初始数据增强原子集、所述初始网络结构对应的初始网络操作原子集；根据所述对象训练样本、以及所述初始数据增强原子集，获得增强对象训练样本；将所述增强对象训练样本输入所述初始网络结构，结合所述初始网络操作原子集，获得所述增强对象训练样本的预测结果。3.根据权利要求2所述的数据处理方法，所述根据所述对象训练样本、以及所述初始数据增强原子集，获得增强对象训练样本，包括：确定所述初始数据增强原子集中的初始数据增强原子；根据所述初始数据增强原子，建模可微分的伯努利分布以及分类分布；根据所述伯努利分布以及所述分类分布，从所述初始数据增强原子中确定目标数据增强原子；根据所述目标数据增强原子对所述对象训练样本进行数据增强，获得增强对象训练样本。4.根据权利要求3所述的数据处理方法，所述根据所述初始数据增强原子，建模可微分的伯努利分布以及分类分布，包括：根据所述初始数据增强原子相对于所述对象训练样本的初始执行概率和初始增强幅度，建模可微分的伯努利分布；在所述初始数据增强原子集中，任意选取预设数量的初始数据增强原子进行组合，获得预设数量的、相对于所述对象训练样本的原子组合方式，并根据所述原子组合方式的初始置信度建模可微分的分类分布。5.根据权利要求2所述的数据处理方法，所述初始网络结构为目标检测模型的初始网络结构，所述初始网络结构包括第一初始网络组件、第二初始网络组件以及第三初始网络组件；相应地，所述将所述增强对象训练样本输入所述初始网络结构，结合所述初始网络操作原子集，获得所述增强对象训练样本的预测结果,包括：将所述增强对象训练样本输入所述第一初始网络组件，结合所述第一初始网络组件对
应的第一初始网络操作原子集，获得所述第一初始网络组件的输出结果；将所述第一初始网络组件的输出结果输入所述第二初始网络组件，结合所述第二初始网络组件对应的第二初始网络操作原子集，获得所述第二初始网络组件的输出结果；将所述第二初始网络组件的输出结果输入所述第三初始网络组件，结合所述第三初始网络组件对应的第三初始网络操作原子集，获得所述第三初始网络组件的输出结果；根据所述第三初始网络组件的输出结果，确定所述增强对象训练样本的预测结果。6.根据权利要求5所述的数据处理方法，所述第一初始网络组件包括多个网络块，且每个网络块包括多个处理层；相应地，所述将所述增强对象训练样本输入所述第一初始网络组件，结合所述第一初始网络组件对应的第一初始网络操作原子集，获得所述第一初始网络组件的输出结果，包括：确定所述第一初始网络组件对应的、第一初始网络操作原子集中的第一初始网络操作原子；在确定所述网络块不存在前一网络块，且所述网络块的当前处理层不存在前一处理层的情况下，将所述增强对象训练样本输入所述网络块的当前处理层，并根据所述第一初始网络操作原子对所述增强对象训练样本进行操作，获得所述当前处理层的操作结果；根据所述第一初始网络操作原子的权重，对所述当前处理层的操作结果进行加权求和，获得所述当前处理层输出的样本特征图；根据所述第一初始网络操作原子以及、所述当前处理层输出的样本特征图，确定所述当前处理层的下一处理层输出的样本特征图；直至所有网络块的所有处理层...

【专利技术属性】
技术研发人员：王建国，李鹏宇，
申请(专利权)人：阿里巴巴中国有限公司，
类型：发明
国别省市：