一种评估标签标注效果的方法及装置制造方法及图纸

本发明专利技术是关于评估标签标注效果的方法及装置

【技术实现步骤摘要】
一种评估标签标注效果的方法及装置


[0001]本专利技术涉及计算机
，尤其涉及评估标签标注效果的方法及装置
。

技术介绍

[0002]标签是一种信息分类和标记机制，通过标签使得数据更加便于被搜索
、
定位
、
管理，因此，需要对标注的标签进行评估，以提高打标的准确性
。
传统的评估标签标注效果的方法如下，通过人工提取内容数据，构造提示词
Prompt
，逐一向生成式语言模型
(
例如
GPT
，
Generative Pre
‑
Training Transformer)
获取打标结果，然后人工对比
GPT
打标结果与线上标签观察得到标注效果，以便调整
GPT
各项参数
。
[0003]上述传统的评估标签标注效果的方法效率低，无法快速评估标签标注效果
。

技术实现思路

[0004]为克服相关技术中存在的问题，本专利技术的实施例提供一种本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种评估标签标注效果的方法，其特征在于，包括：获取用户在预设界面中输入的输入参数，所述输入参数至少包括：多个测试内容的标识及测试内容
、
生成式语言模型的参数；生成式语言模型的参数至少包括能够使生成式语言模型对测试内容进行标签标注的提示词；根据所述输入参数触发生成式语言模型，以使生成式语言模型根据所述提示词对测试内容进行标签标注；获取生成式语言模型输出的测试内容的标签标注结果；将生成式语言模型输出的测试内容的标签标注结果中的标签与测试内容的线上标签进行对比，获取输入参数对应的标签标注效果，标签标注效果包括以下至少一种：召回率和准确率
。2.
根据权利要求1所述的方法，其特征在于，所述方法还包括：将输入参数和对应的标签标注结果存储入数据库；从数据库中读取并展示输入参数和对应的标签标注结果
。3.
根据权利要求1所述的方法，其特征在于，所述生成式语言模型的参数还包括以下至少一项：生成式语言模型的类型
、
生成式语言模型的温度
。4.
根据权利要求1所述的方法，其特征在于，所述根据所述输入参数触发生成式语言模型，包括：将输入参数转换为生成式语言模型接口所需要的请求参数；启动多个执行单元分别使用各请求参数同时请求生成式语言模型接口
。5.
一种评估标签标注效果的装置，其特征在于，包括：第一获取模块，用于获取用户在预设界面中输入的输入参数，所述输入参数至少包括：多个测试内容的标识及测试内容
、
生成式语言模型的参数；生成式语言模型的参数至少包括能够使生成式语言模型对测试内容进行标签标注的提示词；触发模块，用于根据所述输入参数触发生成式语言模型，以使生成式语言模型根据所述提示词对测试内容进行标签标注；第二获取模块，用于获取生成式语言模型输出的测试内容的标签标注结...

【专利技术属性】
技术研发人员：王斌斌，
申请(专利权)人：无线生活北京信息技术有限公司，
类型：发明
国别省市：