本公开的实施例公开了用于生成预标注样本的方法、装置、服务器和介质。该方法的一具体实施方式包括：获取预设标注数据库，其中，该预设标注数据库中记录有问题文本与场景之间的对应关系；获取待进行预标注的多轮场景定位数据，其中，该多轮场景定位数据中包括至少一个问句与对应的场景；将该多轮场景定位数据中的至少一个问句与该预设标注数据库中的问题文本进行匹配，将匹配的问题文本对应的场景确定为匹配场景；根据所确定的匹配场景与进行匹配的至少一个问句对应的场景，基于该多轮场景定位数据生成正、负样本均衡的预标注样本。该实施方式实现了正、负样本均衡的预标注样本的大规模自动生成。规模自动生成。规模自动生成。
【技术实现步骤摘要】
用于生成预标注样本的方法、装置、服务器和介质
[0001]本公开的实施例涉及计算机
，具体涉及用于生成预标注样本和预训练模型的方法、装置、服务器和介质。
技术介绍
[0002]随着机器学习技术的发展，预训练模型已经被学术界和工业界成功应用在文本分类、文本匹配、文本生成、机器翻译等多个自然语言处理相关领域的各类任务中。
[0003]现有技术中，预训练模型的参数调整通常需要大量的人工标注数据参与训练才能实现很好的效果。但完全依赖人工去标注大量的样本，既容易导致过高的成本，且难以保证正、负样本数量的均衡。
技术实现思路
[0004]本公开的实施例提出了用于生成预标注样本和用于预训练模型的方法、装置、服务器和介质。
[0005]第一方面，本公开的实施例提供了一种用于生成预标注样本的方法，该方法包括：获取预设标注数据库，其中，预设标注数据库中记录有问题文本与场景之间的对应关系；获取待进行预标注的多轮场景定位数据，其中，多轮场景定位数据中包括至少一个问句与对应的场景；将多轮场景定位数据中的至少一个问句与预设标注数据库中的问题文本进行匹配，将匹配的问题文本对应的场景确定为匹配场景；根据所确定的匹配场景与进行匹配的至少一个问句对应的场景，基于多轮场景定位数据生成正、负样本均衡的预标注样本。
[0006]在一些实施例中，上述获取预设标注数据库，包括：获取预设的数据库，其中，预设的数据库中记录有属于同一场景的语义一致的问题文本；获取单轮匹配数据库，其中，单轮匹配数据库中包括至少两个问题文本与用于表征至少两个问题文本语义是否一致的标注信息；根据单轮匹配数据库对预设的数据库进行扩充，生成预设标注数据库。
[0007]在一些实施例中，上述将多轮场景定位数据中的至少一个问句与预设标注数据库中的问题文本进行匹配，将匹配的问题文本对应的场景确定为匹配场景，包括：将多轮场景定位数据中的至少一个问句确定为多条件检索的至少一个查询词；将预设标注数据库中与所确定的至少一个查询词匹配的问题文本对应的场景确定为匹配场景。
[0008]在一些实施例中，上述将预设标注数据库中与所确定的至少一个查询词匹配的问题文本对应的场景确定为匹配场景，包括：利用与线上应用相一致的搜索引擎构建的索引对预设标注数据库中的预设标注数据进行召回，其中，预设标注数据包括问题文本与场景之间的对应关系；利用预先训练的匹配模型从召回结果中确定与至少一个查询词匹配的场景作为匹配场景。
[0009]在一些实施例中，上述根据所确定的匹配场景与进行匹配的至少一个问句对应的场景，基于多轮场景定位数据生成正、负样本均衡的预标注样本，包括：根据所确定的匹配场景与进行匹配的至少一个问句对应的场景是否匹配，对应生成正样本或负样本；从所生
成的正样本和负样本中选取数目一致的正、负样本作为正、负样本均衡的预标注样本。
[0010]第二方面，本公开的实施例提供了一种用于预训练模型的方法，该方法包括：利用正、负样本均衡的预标注样本对初始预训练模型进行训练，得到中间预训练模型，其中，初始预训练模型用于表征问题文本与场景之间的对应关系；利用基于预标注样本进行人工校验的标注样本对中间预训练模型进行继续训练，生成预训练模型，其中，标注样本的数量小于预标注样本的数量。
[0011]第三方面，本公开的实施例提供了一种用于生成预标注样本的装置，该装置包括：第一获取单元，被配置成获取预设标注数据库，其中，预设标注数据库中记录有问题文本与场景之间的对应关系；第二获取单元，被配置成获取待进行预标注的多轮场景定位数据，其中，多轮场景定位数据中包括至少一个问句与对应的场景；匹配单元，被配置成将多轮场景定位数据中的至少一个问句与预设标注数据库中的问题文本进行匹配，将匹配的问题文本对应的场景确定为匹配场景；生成单元，被配置成根据所确定的匹配场景与进行匹配的至少一个问句对应的场景，基于多轮场景定位数据生成正、负样本均衡的预标注样本。
[0012]在一些实施例中，第一获取单元被进一步配置成：获取预设的数据库，其中，预设的数据库中记录有属于同一场景的语义一致的问题文本；获取单轮匹配数据库，其中，单轮匹配数据库中包括至少两个问题文本与用于表征至少两个问题文本语义是否一致的标注信息；根据单轮匹配数据库对预设的数据库进行扩充，生成预设标注数据库。
[0013]在一些实施例中，上述匹配单元包括：第一确定模块，被配置成将多轮场景定位数据中的至少一个问句确定为多条件检索的至少一个查询词；第二确定模块，被配置成将预设标注数据库中与所确定的至少一个查询词匹配的问题文本对应的场景确定为匹配场景。
[0014]在一些实施例中，上述第二确定模块被进一步配置成：利用与线上应用相一致的搜索引擎构建的索引对预设标注数据库中的预设标注数据进行召回，其中，预设标注数据包括问题文本与场景之间的对应关系；利用预先训练的匹配模型从召回结果中确定与至少一个查询词匹配的场景作为匹配场景。
[0015]在一些实施例中，上述生成单元被进一步配置成：根据所确定的匹配场景与进行匹配的至少一个问句对应的场景是否匹配，对应生成正样本或负样本；从所生成的正样本和负样本中选取数目一致的正、负样本作为正、负样本均衡的预标注样本。
[0016]第四方面，本公开的实施例提供了一种用于预训练模型的装置，该装置包括：初始训练单元，被配置成利用正、负样本均衡的预标注样本对初始预训练模型进行训练，得到中间预训练模型，其中，初始预训练模型用于表征问题文本与场景之间的对应关系；再训练单元，被配置成利用基于预标注样本进行人工校验的标注样本对中间预训练模型进行继续训练，生成预训练模型，其中，标注样本的数量小于预标注样本的数量。
[0017]第五方面，本公开的实施例提供了一种服务器，该服务器包括：一个或多个处理器；存储装置，其上存储有一个或多个程序；当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如第一方面中任一实现方式描述的方法。
[0018]第六方面，本公开的实施例提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面中任一实现方式描述的方法。
[0019]本公开的实施例提供的用于生成预标注样本和用于预训练模型的方法、装置、服务器和介质，通过获取预设标注数据库与待进行预标注的多轮场景定位数据中的至少一个
问句之间匹配，根据匹配结果所指示的场景来确定样本作为正样本还是负样本，进而生成正、负样本均衡的预标注样本。从而基于对现有常用数据库的加工实现了正、负样本均衡的预标注样本的大规模自动生成，提高了预标注样本的生成效率和质量，进而有助于提高模型的训练效果。
附图说明
[0020]通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本公开的其它特征、目的和优点将会变得更明显：
[0021]图1是本公开的一个实施例可以应用于其中的示例性系统架构图；
[0022]图2是根据本公开的用于生成预标注样本的方法的一个实施例的流程图；<本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种用于生成预标注样本的方法，包括：获取预设标注数据库，其中，所述预设标注数据库中记录有问题文本与场景之间的对应关系；获取待进行预标注的多轮场景定位数据，其中，所述多轮场景定位数据中包括至少一个问句与对应的场景；将所述多轮场景定位数据中的至少一个问句与所述预设标注数据库中的问题文本进行匹配，将匹配的问题文本对应的场景确定为匹配场景；根据所确定的匹配场景与进行匹配的至少一个问句对应的场景，基于所述多轮场景定位数据生成正、负样本均衡的预标注样本。2.根据权利要求1所述的方法，其中，所述获取预设标注数据库，包括：获取预设的数据库，其中，所述预设的数据库中记录有属于同一场景的语义一致的问题文本；获取单轮匹配数据库，其中，所述单轮匹配数据库中包括至少两个问题文本与用于表征所述至少两个问题文本语义是否一致的标注信息；根据所述单轮匹配数据库对所述预设的数据库进行扩充，生成所述预设标注数据库。3.根据权利要求1所述的方法，其中，所述将所述多轮场景定位数据中的至少一个问句与所述预设标注数据库中的问题文本进行匹配，将匹配的问题文本对应的场景确定为匹配场景，包括：将所述多轮场景定位数据中的至少一个问句确定为多条件检索的至少一个查询词；将所述预设标注数据库中与所确定的至少一个查询词匹配的问题文本对应的场景确定为匹配场景。4.根据权利要求3所述的方法，其中，所述将所述预设标注数据库中与所确定的至少一个查询词匹配的问题文本对应的场景确定为匹配场景，包括：利用与线上应用相一致的搜索引擎构建的索引对所述预设标注数据库中的预设标注数据进行召回，其中，所述预设标注数据包括问题文本与场景之间的对应关系；利用预先训练的匹配模型从召回结果中确定与所述至少一个查询词匹配的场景作为匹配场景。5.根据权利要求1
‑
4之一所述的方法，其中，所述根据所确定的匹配场景与进行匹配的至少一个问句对应的场景，基于所述多轮场景定位数据生成正、负样本均衡的预标注样本，包括：根据所确定的匹配场景与进行匹配的至少一个问句对...
【专利技术属性】
技术研发人员：宋双永，吴良庆，何晓冬，
申请(专利权)人：京东科技信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。