一种评估标签标注效果的方法及装置制造方法及图纸

本发明专利技术是关于评估标签标注效果的方法及装置

【技术实现步骤摘要】
一种评估标签标注效果的方法及装置


[0001]本专利技术涉及计算机
，尤其涉及评估标签标注效果的方法及装置
。

技术介绍

[0002]标签是一种信息分类和标记机制，通过标签使得数据更加便于被搜索
、
定位
、
管理，因此，需要对标注的标签进行评估，以提高打标的准确性
。
传统的评估标签标注效果的方法如下，通过人工提取内容数据，构造提示词
Prompt
，逐一向生成式语言模型
(
例如
GPT
，
Generative Pre
‑
Training Transformer)
获取打标结果，然后人工对比
GPT
打标结果与线上标签观察得到标注效果，以便调整
GPT
各项参数
。
[0003]上述传统的评估标签标注效果的方法效率低，无法快速评估标签标注效果
。

技术实现思路

[0004]为克服相关技术中存在的问题，本专利技术的实施例提供一种评估标签标注效果的方法及装置
。
技术方案如下：
[0005]根据本专利技术的实施例的第一方面，提供一种评估标签标注效果的方法，包括：
[0006]获取用户在预设界面中输入的输入参数，所述输入参数至少包括：多个测试内容的标识及测试内容
、
生成式语言模型的参数；生成式语言模型的参数至少包括能够使生成式语言模型对测试内容进行标签标注的提示词；
[0007]根据所述输入参数触发生成式语言模型，以使生成式语言模型根据所述提示词对测试内容进行标签标注；
[0008]获取生成式语言模型输出的测试内容的标签标注结果；
[0009]将生成式语言模型输出的测试内容的标签标注结果中的标签与测试内容的线上标签进行对比，获取输入参数对应的标签标注效果，标签标注效果包括以下至少一种：召回率和准确率
。
[0010]在本申请一实施例中，所述方法还包括：
[0011]将输入参数和对应的标签标注结果存储入数据库；
[0012]从数据库中读取并展示输入参数和对应的标签标注结果
。
[0013]在本申请一实施例中，所述生成式语言模型的参数还包括以下至少一项：生成式语言模型的类型
、
生成式语言模型的温度
。
[0014]在本申请一实施例中，所述根据所述输入参数触发生成式语言模型，包括：
[0015]将输入参数转换为生成式语言模型接口所需要的请求参数；
[0016]启动多个执行单元分别使用各请求参数同时请求生成式语言模型接口
。
[0017]根据本专利技术的实施例的第二方面，提供一种评估标签标注效果的装置，包括：
[0018]第一获取模块，用于获取用户在预设界面中输入的输入参数，所述输入参数至少包括：多个测试内容的标识及测试内容
、
生成式语言模型的参数；生成式语言模型的参数至少包括能够使生成式语言模型对测试内容进行标签标注的提示词；
[0019]触发模块，用于根据所述输入参数触发生成式语言模型，以使生成式语言模型根据所述提示词对测试内容进行标签标注；
[0020]第二获取模块，用于获取生成式语言模型输出的测试内容的标签标注结果；
[0021]第三获取模块，用于将生成式语言模型输出的测试内容的标签标注结果中的标签与测试内容的线上标签进行对比，获取输入参数对应的标签标注效果，标签标注效果包括以下至少一种：召回率和准确率
。
[0022]在本申请一实施例中，所述装置还包括：
[0023]存储模块，用于将输入参数和对应的标签标注结果存储入数据库；
[0024]展示模块，用于从数据库中读取并展示输入参数和对应的标签标注结果
。
[0025]在本申请一实施例中，所述生成式语言模型的参数还包括以下至少一项：生成式语言模型的类型
、
生成式语言模型的温度
。
[0026]在本申请一实施例中，所述触发模块包括：
[0027]转换单元，用于将输入参数转换为生成式语言模型接口所需要的请求参数；
[0028]请求单元，启动多个执行单元分别使用各请求参数同时请求生成式语言模型接口
。
[0029]根据本专利技术的实施例的第三方面，提供一种评估标签标注效果的装置，包括：
[0030]处理器；
[0031]用于存储处理器可执行指令的存储器；
[0032]其中，所述处理器被配置为：
[0033]获取用户在预设界面中输入的输入参数，所述输入参数至少包括：多个测试内容的标识及测试内容
、
生成式语言模型的参数；生成式语言模型的参数至少包括能够使生成式语言模型对测试内容进行标签标注的提示词；
[0034]根据所述输入参数触发生成式语言模型，以使生成式语言模型根据所述提示词对测试内容进行标签标注；
[0035]获取生成式语言模型输出的测试内容的标签标注结果；
[0036]将生成式语言模型输出的测试内容的标签标注结果中的标签与测试内容的线上标签进行对比，获取输入参数对应的标签标注效果，标签标注效果包括以下至少一种：召回率和准确率
。
[0037]根据本专利技术的实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现本专利技术的实施例的第一方面中任一项方法的步骤
。
[0038]本专利技术的实施例提供的技术方案，提出了一种工具化评估打标效果的方法，输入参数可以灵活修改，操作灵活简单，自动生成标签标注效果，提升了评估标签标注效果的效率
。
[0039]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本专利技术
。
附图说明
[0040]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本专利技术的实施例，并与说明书一起用于解释本专利技术的原理
。
[0041]图1是根据一示例性实施例示出的评估标签标注效果的方法的流程图
。
[0042]图2是根据一示例性实施例示出的评估标签标注效果的方法的流程图
。
[0043]图3是根据一示例性实施例示出的示例性的预设页面的示意图
。
[0044]图4是根据一示例性实施例示出的示例性的预设页面的示意图
。
[0045]图5是根据一示例性实施例示出的评估标签标注效果的装置的框图
。
[0046]图6是根据一示例性实施例示出的评估标签标注效果的装置的框图
。
[0047]图7是根据一示例性实施例示出的评估标签标注效果的装置的框图
。
[0048]图8是根据一示例性实施例示出的评估标签标注效果的装置的框图
。
...

【技术保护点】

【技术特征摘要】
1.
一种评估标签标注效果的方法，其特征在于，包括：获取用户在预设界面中输入的输入参数，所述输入参数至少包括：多个测试内容的标识及测试内容
、
生成式语言模型的参数；生成式语言模型的参数至少包括能够使生成式语言模型对测试内容进行标签标注的提示词；根据所述输入参数触发生成式语言模型，以使生成式语言模型根据所述提示词对测试内容进行标签标注；获取生成式语言模型输出的测试内容的标签标注结果；将生成式语言模型输出的测试内容的标签标注结果中的标签与测试内容的线上标签进行对比，获取输入参数对应的标签标注效果，标签标注效果包括以下至少一种：召回率和准确率
。2.
根据权利要求1所述的方法，其特征在于，所述方法还包括：将输入参数和对应的标签标注结果存储入数据库；从数据库中读取并展示输入参数和对应的标签标注结果
。3.
根据权利要求1所述的方法，其特征在于，所述生成式语言模型的参数还包括以下至少一项：生成式语言模型的类型
、
生成式语言模型的温度
。4.
根据权利要求1所述的方法，其特征在于，所述根据所述输入参数触发生成式语言模型，包括：将输入参数转换为生成式语言模型接口所需要的请求参数；启动多个执行单元分别使用各请求参数同时请求生成式语言模型接口
。5.
一种评估标签标注效果的装置，其特征在于，包括：第一获取模块，用于获取用户在预设界面中输入的输入参数，所述输入参数至少包括：多个测试内容的标识及测试内容
、
生成式语言模型的参数；生成式语言模型的参数至少包括能够使生成式语言模型对测试内容进行标签标注的提示词；触发模块，用于根据所述输入参数触发生成式语言模型，以使生成式语言模型根据所述提示词对测试内容进行标签标注；第二获取模块，用于获取生成式语言模型输出的测试内容的标签标注结...

【专利技术属性】
技术研发人员：王斌斌，
申请(专利权)人：无线生活北京信息技术有限公司，
类型：发明
国别省市：