数据处理方法、数据处理系统、计算机设备和存储介质技术方案

本发明专利技术提出了数据处理方法、数据处理系统、计算机设备和存储介质。其中，数据处理方法包括：接收用户输入的数据处理指令；基于数据处理指令用于调用服务，响应于数据处理指令，调用数据处理指令对应的第一服务，并读取第一服务对应的第一数据识别结果；基于数据处理指令用于自定义识别，获取待处理数据和数据训练目标，根据数据训练目标确定目标训练模型，并将待处理数据输入目标训练模型，以确定第二数据识别结果。据识别结果。据识别结果。

【技术实现步骤摘要】
数据处理方法、数据处理系统、计算机设备和存储介质


[0001]本专利技术涉及计算机
，具体而言，涉及数据处理方法、数据处理系统、计算机设备和存储介质。

技术介绍

[0002]目前命名实体识别(Named Entity Recognition,NER)任务主要集中于新闻媒体、文件解析和生物医疗等领域，但这些领域的技术人员大多缺少算法以及计算机相关知识，现有的命名实体识别系统操作复杂，使得用户无法迅速、快捷地利用命名实体识别系统获取到识别结果，以及无法便捷地获取自定义数据的命名实体识别结果。

技术实现思路

[0003]本专利技术旨在至少解决现有技术或相关技术中存在的技术问题之一。
[0004]为此，本专利技术的一个方面在于提出了一种数据处理方法。
[0005]本专利技术的另一个方面在于提出了一种数据处理系统。
[0006]本专利技术的再一个方面在于提出了一种计算机设备。
[0007]本专利技术的又一个方面在于提出了一种存储介质。
[0008]有鉴于此，根据本专利技术的一个方面，提出了一种数据处理方法，包括：接收用户输入的数据处理指令；基于数据处理指令用于调用服务，响应于数据处理指令，调用数据处理指令对应的第一服务，并读取第一服务对应的第一数据识别结果；基于数据处理指令用于自定义识别，获取待处理数据和数据训练目标，根据数据训练目标确定目标训练模型，并将待处理数据输入目标训练模型，以确定第二数据识别结果。
[0009]本专利技术实施例提供的数据处理方法，为用户同时提供了调用服务与自定义识别功能，系统接收用户输入的数据处理指令后，当该数据处理指令用于调用服务时，根据数据处理指令，调用对应的第一服务，之后对该第一服务对应的第一数据识别结果进行读取并显示；当该数据处理指令用于自定义识别时，获取用户输入的待处理数据，并能够根据用户自身的数据训练目标，将上述待处理数据输入到相应的目标训练模型中，从而对该自定义识别功能下的第二数据识别结果进行确定。如此，能够为用户提供集调用服务与自定义识别功能于一体的数据处理方法，使用户能够根据自身需求，选择合适的数据处理方法。
[0010]根据本专利技术的上述数据处理方法，还可以具有以下技术特征：
[0011]在上述技术方案中，调用数据处理指令对应的第一服务，并读取第一服务对应的第一数据识别结果，具体包括：获取数据处理指令中的关键词；根据关键词，调用关键词对应的第一服务；在数据库中查找第一服务对应的第一数据识别结果。
[0012]在该技术方案中，当用户输入的数据处理指令用于调用服务时，首先对用户输入的数据处理指令中的关键词进行获取，根据该关键词对应的信息，调用相应的第一服务，并在预存的数据库中找到经过第一服务得出的第一数据识别结果，从而能够直接根据用户输入的关键词，调用相应的第一服务，并输出对应的数据识别结果。
[0013]在上述任一技术方案中，获取待处理数据和数据训练目标，根据数据训练目标确定目标训练模型，具体包括：基于数据训练目标为第一精度时，将第一训练模型确定为目标训练模型；基于数据训练目标为第二精度时，从至少两个预训练模型中确定一个第二训练模型，将第二训练模型确定为目标训练模型；其中，第一训练模型对待处理数据的训练精度大于第二训练模型对待处理数据的训练精度，第一训练模型对待处理数据的响应时长大于第二训练模型对待处理数据的响应时长。
[0014]在该技术方案中，在用户输入的数据处理指令用于自定义识别后，用户能够根据自身的数据训练目标选择对应的目标训练模型，当用户的数据训练目标为第一精度时，用户可以选择第一训练模型作为目标训练模型，当用户的数据训练目标为第二精度时，用户可以选择第二训练模型作为目标训练模型，从而能够在用户进行自定义识别服务时，根据用户自身的数据训练目标，选择合适的目标训练模型，提高了数据处理的效果。
[0015]在上述任一技术方案中，从至少两个预训练模型中确定一个第二训练模型，具体包括：将待处理数据输入至少两个预训练模型；根据至少两个预训练模型的输出结果，从至少两个预训练模型中确定第二训练模型。
[0016]在该技术方案中，在用户输入的数据处理指令用于自定义识别服务后，当用户需要的训练目标为第二精度，即训练精度较低，但训练时长短时，用户能够将待处理数据同时输入到多个预训练模型，并根据多个预训练模型输出的数据训练结果中的最优训练结果，在多个预训练模型中确定第二训练模型，并将该第二训练模型作为目标训练模型，从而使用户能够根据实际数据训练的结果，在多个轻量级的预训练模型中选择最优的预训练模型作为用于自定义识别服务的目标训练模型，提高了数据处理的效果。
[0017]在上述任一技术方案中，至少两个预训练模型的输出结果，包括以下至少一种或其组合：准确率、精确率、召回率以及f1分值。
[0018]在该技术方案中，至少两个预训练模型的输出结果，包括但不限于以下任一项或其组合：准确率、精确率、召回率以及f1分值。其中，f1、pre、rec，以及两种轻量级训练模型的精度实验结果在上文实施例三中已经给出，在此不再赘述。通过本专利技术的实施例，用户能够根据上述输出结果，对多个训练模型的输出结果进行直观地比较，从而能够根据多个输出结果选出最优的预训练模型。
[0019]在上述任一技术方案中，从至少两个预训练模型中确定一个第二训练模型，具体还包括：获取待处理数据的数据类型；根据待处理数据的数据类型，从至少两个预训练模型中确定第二训练模型。
[0020]在该技术方案中，在用户输入的数据处理指令用于自定义识别服务后，当用户需要的训练目标为第二精度，即训练精度较低，但训练时长短时，用户能够根据输入的待处理数据的类型，在多个预训练模型中，选择适合于该数据类型的模型作为第二训练模型，并将该第二训练模型确定为目标训练模型，从而使用户能够根据实际待训练数据的数据类型，在多个轻量级的预训练模型中选择最优的预训练模型作为用于自定义识别服务的目标训练模型，提高了数据处理的效果。
[0021]在上述任一技术方案中，在将待处理数据输入目标训练模型，以确定第二数据识别结果，具体包括：对待处理数据进行分割，生成多个子训练数据集以及多个子训练数据集中任一子训练数据对应的指示标识，指示标识用于指示多个子训练数据集的训练顺序；根
据多个子训练数据集以及指示标识，将多个子训练数据集分别输入目标训练模型，以对目标训练模型进行训练；将待处理数据输入训练后的目标训练模型，以使目标训练模型输出第二识别结果。
[0022]在该技术方案中，在对待处理数据进行训练之前，首先将待处理数据分隔成多个子训练数据集，以及与其对应的多个指示标识，该指示标识能够指示多个子训练数据集的训练顺序，通过指示标识以及多个子训练数据集依次对目标训练模型进行训练，在目标训练模型完成训练后，用户再将待处理数据输入训练后的目标训练模型，进而得到第二识别结果，从而能够在训练数据量较大时，对训练数据进行分解，使得系统能够对待处理数据进行分批次加载与训练，能够避免因一次性加载全部数据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述数据处理方法包括：接收用户输入的数据处理指令；基于所述数据处理指令用于调用服务，响应于所述数据处理指令，调用所述数据处理指令对应的第一服务，并读取所述第一服务对应的第一数据识别结果；基于所述数据处理指令用于自定义识别，获取待处理数据和数据训练目标，根据所述数据训练目标确定目标训练模型，并将所述待处理数据输入所述目标训练模型，以确定第二数据识别结果。2.根据权利要求1所述的数据处理方法，其特征在于，所述调用所述数据处理指令对应的第一服务，并读取所述第一服务对应的第一数据识别结果，具体包括：获取所述数据处理指令中的关键词；根据所述关键词，调用所述关键词对应的第一服务；在数据库中查找所述第一服务对应的所述第一数据识别结果。3.根据权利要求1所述的数据处理方法，其特征在于，所述获取待处理数据和数据训练目标，根据所述数据训练目标确定目标训练模型，具体包括：基于所述数据训练目标为第一精度时，将第一训练模型确定为所述目标训练模型；基于所述数据训练目标为第二精度时，从至少两个预训练模型中确定一个第二训练模型，将所述第二训练模型确定为所述目标训练模型；其中，所述第一训练模型对所述待处理数据的训练精度大于所述第二训练模型对所述待处理数据的训练精度，所述第一训练模型对所述待处理数据的响应时长大于所述第二训练模型对所述待处理数据的响应时长。4.根据权利要求3所述的数据处理方法，其特征在于，所述从至少两个预训练模型中确定一个第二训练模型，具体包括：将所述待处理数据输入所述至少两个预训练模型；根据所述至少两个预训练模型的输出结果，从所述至少两个预训练模型中确定所述第二训练模型。5.根据权利要求4所述的数据处理方法，其特征在于，所述至少两个预训练模型的输出结果，...

【专利技术属性】
技术研发人员：任欣源，詹宇斌，陈超，吴士中，方高林，
申请(专利权)人：用友网络科技股份有限公司，
类型：发明
国别省市：