本公开提供了一种数据处理方法、装置、电子设备及存储介质，其中，该方法包括：获取预先生成的配置文件，其中，配置文件中包括训练数据的第一文件路径以及模型框架结构的第二文件路径；在执行配置文件的情况下，通过第一文件路径获取训练数据以及通过第二文件路径获取模型框架结构，并利用训练数据以及模型框架结构进行模型训练，得到目标模型；在确定目标模型符合预设部署条件的情况下，将目标模型部署至目标应用平台。本公开实施例通过执行配置文件可以自动获取有关模型训练所需训练数据和模型框架结构，还可利用训练数据对模型框架结构进行自主训练，整个模型训练及其后续的部署过程具备良好的自动化水平，节约了大量人力成本。成本。成本。
【技术实现步骤摘要】
一种数据处理方法、装置、电子设备及存储介质
[0001]本公开涉及计算机
，具体而言，涉及一种数据处理方法、装置、电子设备及存储介质。
技术介绍
[0002]目前，人工智能技术可应用于许多场景，例如，在智慧零售场景下，可利用训练好的商品分类网络模型对商品进行分类，然而针对商品分类网络模型的训练和发布，往往需要人工进行干预，耗费大量人力物力，同时，模型的准确度也受到人工干预的影响。
技术实现思路
[0003]本公开实施例至少提供一种数据处理方法、装置、电子设备及存储介质。
[0004]第一方面，本公开实施例提供了一种数据处理方法，包括：
[0005]获取预先生成的配置文件，其中，所述配置文件中包括训练数据的第一文件路径以及模型框架结构的第二文件路径；
[0006]在执行所述配置文件的情况下，通过所述第一文件路径获取训练数据以及通过所述第二文件路径获取模型框架结构，并利用所述训练数据以及所述模型框架结构进行模型训练，得到目标模型；
[0007]在确定所述目标模型符合预设部署条件的情况下，将所述目标模型部署至目标应用平台。
[0008]采用上述数据处理方法，通过执行配置文件，获取第一文件路径中的训练数据以及第二文件路径中的模型框架结构，这样，在利用训练数据以及模型框架结构进行模型训练的情况下，便可得到目标模型，该目标模型可被部署至目标应用平台，相比相关技术需要在人工干预的情况下才可以进行模型训练而言，本公开通过配置文件的执行，可以自动获取有关模型训练所需训练数据和模型框架结构，还可以利用训练数据对模型框架结构进行自主训练，也即，在整个模型训练过程中，仅仅依赖于配置文件的自动执行，使得整个模型训练及其后续的部署过程具备良好的自动化水平，节约了大量人力成本。
[0009]一种可选的实施方式中，利用所述训练数据以及所述模型框架结构进行模型训练，得到目标模型，包括：
[0010]利用所述训练数据以及所述模型框架结构对待训练模型进行至少两个阶段训练，得到每个阶段训练完成的候选模型，其中，每个阶段对应至少一轮模型训练，且训练轮次与阶段级数呈正相关；
[0011]从各个阶段训练完成的候选模型中，选取目标模型。
[0012]该实施方式中，通过多阶段训练可以得到各阶段训练完成的候选模型。由于不同训练阶段所得到的模型的性能并非一定是随着训练轮次的增加而提升的，为了得到训练性能更为符合实际需求的目标模型，这里可以是从各个阶段训练完成的候选模型中进行目标模型的选取，从而确保选取出的目标模型可以更好的进行后续的部署。
[0013]一种可选的实施方式中，所述配置文件中还包括测试数据的第三文件路径；所述从各个阶段训练完成的候选模型中，选取目标模型，包括：
[0014]通过所述第三文件路径获取测试数据；
[0015]针对所述各个阶段训练完成的每个候选模型，基于所述测试数据对所述候选模型进行测试，确定所述候选模型的准确率；
[0016]基于各个所述候选模型的准确率，从各个所述候选模型中选取目标模型。
[0017]该实施方式中，可以通过准确率这一检验指标进行有关模型的筛选，使得所选取出的目标模型在准确率这一指标上得到保证。
[0018]一种可选的实施方式中，所述基于各个所述候选模型的准确率，从各个所述候选模型中选取目标模型，包括：
[0019]按照各个所述候选模型的准确率由大到小的顺序对各个所述候选模型进行排序，确定排序后的各个候选模型；
[0020]从排序后的各个候选模型中选取最佳名次的候选模型；
[0021]在确定选取出的候选模型符合预设精度要求的情况下，将所述选取出的候选模型确定为目标模型。
[0022]该实施方式中，通过各准确率下的候选模型的排序结果，可以确定出准确率最高的模型，除此之外，还结合精度要求进行目标模型的选取，这使得所确定出的目标模型在具备较高的准确率的前提下，还具有更为合适的检测精度。
[0023]一种可选的实施方式中，在得到每个阶段训练完成的候选模型之后，所述方法还包括：
[0024]获取模型评测参数；
[0025]针对每个训练阶段完成的候选模型，利用所述模型评测参数对所述候选模型进行评测，得到评测结果；
[0026]将各个训练阶段完成的候选模型得到的评测结果存储至预设的累积文件中。
[0027]该实施方式中，将评测结果存储至预设的累积文件，这样，相关技术人员可以方便地对各阶段的评测结果进行查看，从而帮助技术人员更好地进行模型优化。
[0028]一种可选的实施方式中，所述方法还包括：
[0029]响应于评测结果查询请求，从存储的累积文件中获取目标查询结果。
[0030]一种可选的实施方式中，按照如下步骤确定所述目标模型符合预设部署条件：
[0031]对所述目标模型进行文件打包，得到模型文件；
[0032]在确定所述模型文件符合预设部署平台精度的情况下，确定所述目标模型符合预设部署条件。
[0033]这里，在实际进行模型部署的情况下，可以通过文件打包的方式得到模型文件，且在进行文件打包的过程中，可以参考部署平台的相关属性，对模型文件的精度进行评估，从而使目标模型更好地与目标应用平台适配。
[0034]一种可选的实施方式中，按照如下步骤生成配置文件：
[0035]从数据标注平台获取当前标注好的各个图片数据；
[0036]按照各个图片数据的属性标识信息，将各个图片数据拆分为训练数据和测试数据；
[0037]基于所述训练数据指示的有关训练集文件的第一文件路径、以及所述测试数据指示的有关测试集文件的第三文件路径，生成所述配置文件。
[0038]该实施方式中，在生成配置文件的过程中，可以基于图片数据的属性标识信息将图片数据拆分为训练数据和测试数据，并为训练数据和测试数据确定不同的文件路径，这样，一旦需要执行模型训练，便可以依照对应的路径获取对应的训练数据，从而便于进行模型训练，同理，一旦需要执行模型测试，也可以很好的利用预设好的文件路径进行测试数据的获取，快速地进行模型测试。
[0039]一种可选的实施方式中，在确定所述目标模型不符合预设部署条件的情况下，所述方法还包括：
[0040]利用所述训练数据以及所述模型框架结构再次进行模型训练，直至得到的目标模型符合预设部署条件。
[0041]该实施方式中，可以通过模型的再训练实现目标模型在目标应用平台的部署，提升了目标模型和目标应用平台之间的适配性。
[0042]第二方面，本公开实施例还提供一种数据处理装置，包括：
[0043]获取模块，用于获取预先生成的配置文件，其中，所述配置文件中包括训练数据的第一文件路径以及模型框架结构的第二文件路径；
[0044]训练模块，用于在执行所述配置文件的情况下，通过所述第一文件路径获取训练数据以及通过所述第二文件路径获取模型框架结构，并利用所述训练数据以本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：获取预先生成的配置文件，其中，所述配置文件中包括训练数据的第一文件路径以及模型框架结构的第二文件路径；在执行所述配置文件的情况下，通过所述第一文件路径获取训练数据以及通过所述第二文件路径获取模型框架结构，并利用所述训练数据以及所述模型框架结构进行模型训练，得到目标模型；在确定所述目标模型符合预设部署条件的情况下，将所述目标模型部署至目标应用平台。2.根据权利要求1所述的方法，其特征在于，所述利用所述训练数据以及所述模型框架结构进行模型训练，得到目标模型，包括：利用所述训练数据以及所述模型框架结构对待训练模型进行至少两个阶段训练，得到每个阶段训练完成的候选模型，其中，每个阶段对应至少一轮模型训练，且训练轮次与阶段级数呈正相关；从各个阶段训练完成的候选模型中，选取目标模型。3.根据权利要求2所述的方法，其特征在于，所述配置文件中还包括测试数据的第三文件路径；所述从各个阶段训练完成的候选模型中，选取目标模型，包括：通过所述第三文件路径获取测试数据；针对所述各个阶段训练完成的每个候选模型，基于所述测试数据对所述候选模型进行测试，确定所述候选模型的准确率；基于各个所述候选模型的准确率，从各个所述候选模型中选取目标模型。4.根据权利要求3所述的方法，其特征在于，所述基于各个所述候选模型的准确率，从各个所述候选模型中选取目标模型，包括：按照各个所述候选模型的准确率由大到小的顺序对各个所述候选模型进行排序，确定排序后的各个候选模型；从排序后的各个候选模型中选取最佳名次的候选模型；在确定选取出的候选模型符合预设精度要求的情况下，将所述选取出的候选模型确定为目标模型。5.根据权利要求2至4任一所述的方法，其特征在于，在得到每个阶段训练完成的候选模型之后，所述方法还包括：获取模型评测参数；针对每个训练阶段完成的候选模型，利用所述模型评测参数对所述候选模型进行评测，得到评测结果；将各个训练阶段完成的候选模型得到的评测结果存储至预设的累积文件中。6.根据权利要求5...
【专利技术属性】
技术研发人员：徐小凤，田茂清，
申请(专利权)人：成都商汤科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。