本发明专利技术公开了一种通信专业细分场景下的智能模型的建立方法及装置，包括：根据通信专业细分场景的需求对多个待评估模型进行评估，从中选取出能够满足需求的至少两个备选模型；分别对备选模型分别进行至少一次训练，得到至少两个细分场景模型；针对模型所需要具备的基础能力建立开放数据集，针对模型所需要具备的专业能力建立专业数据集；采用开放数据集和专业数据集分别对细分场景模型进行评估，得到各个细分场景模型所对应的评分；将评分最高的细分场景模型作为通信专业细分场景下的智能模型。在本发明专利技术中，能够快速地从海量模型中筛选出满足需求的模型，对模型进行微调和评估，可以得到最契合通信专业细分场景的智能模型，提高了模型建立的效率。
【技术实现步骤摘要】
本专利技术属于大数据模型领域，更具体地，涉及一种通信专业细分场景下的智能模型的建立方法及装置。
技术介绍
1、随着chatgpt(全称为：chat generative pre-trained transformer))发布，人工智能(artificial intelligence，简称为ai)技术进入2.0时代。各种基础模型向雨后春笋一般发展出现，并且各行各业也都开始研究自己领域的细分领域的大模型。因为各种基础模型能力参差不齐，各种大模型排行榜也很多。各种细分领域大模型的研究，如果从零开始是耗费巨大的人力物力的。通常细分领域大模型的研究一般要站在选定的基础模型上进行微调训练，从而产生细分领域的大模型。如何准确、快速地从众多模型中选取合适的模型，作为通信专业细分场景下的智能模型，是目前亟待解决的问题。
技术实现思路
1、针对现有技术的以上缺陷或改进需求，本专利技术提供了一种通信专业细分场景下的智能模型的建立方法及装置，其目的在于能够快速地从海量模型中筛选出满足需求的模型，然后在对模型进行微调和评估，可以得到最契合通信专业细分场景的智能模型，提高了模型建立的效率，由此解决如何准确、快速地从众多模型中选取合适的模型，作为通信专业细分场景下的智能模型的技术问题。
2、为实现上述目的，按照本专利技术的一个方面，提供了一种通信专业细分场景下的智能模型的建立方法，包括：
3、根据通信专业细分场景的需求对多个待评估模型进行评估，从中选取出能够满足需求的至少两个备选模型；</p>4、分别对所述备选模型分别进行至少一次训练，得到至少两个细分场景模型；
5、针对模型所需要具备的基础能力建立开放数据集，针对模型所需要具备的专业能力建立专业数据集；采用所述开放数据集和所述专业数据集分别对所述细分场景模型进行评估，得到各个细分场景模型所对应的评分；
6、将评分最高的细分场景模型作为通信专业细分场景下的智能模型。
7、进一步地，所述根据通信专业细分场景的需求对多个待评估模型进行评估，从中选取出能够满足需求的至少两个备选模型包括：
8、根据通信专业细分场景的需求确定基本评估维度和发展评估维度；
9、从多个待评估模型选取出满足所述基本评估维度的至少三个基础模型；
10、根据所述发展评估维度分别对所述基础模型进行评估，得到每个基础模型所对应的评分；
11、按照评分的高低顺序，从所述基础模型中选取出至少两个备选模型。
12、进一步地，所述发展评估维度包括多个发展评估指标；
13、所述根据所述发展评估维度分别对所述基础模型进行评估，得到每个基础模型所对应的评分包括：
14、分别为每个发展评估指标设置评分系数；
15、针对每个基础模型，分别对多个发展评估指标进行评估，得到每个发展评估指标的指标评分；
16、将指标评分与相应的评分系数相乘，得到每个发展评估指标的加权评分；将全部发展评估指标的加权评分求和，得到每个基础模型所对应的评分。
17、进一步地，所述基本评估维度包括推理算力、参数规模区间、中文特性、是否开源、商用风险和应用分类中的至少一种；
18、所述发展评估维度包括语言能力、参数规模、排行榜名次和可持续性中的至少一种。
19、进一步地，所述分别对所述备选模型分别进行至少一次训练，得到至少两个细分场景模型包括：
20、根据通信专业细分场景的一级场景确定一级数据集，根据通信专业细分场景的二级场景确定二级数据集；其中，所述二级场景为所述一级场景的细分场景；
21、针对每个备选模型，采用所述一级数据集对所述备选模型进行第一次训练，得到训练后的备选模型；
22、采用所述二级数据集对训练后的备选模型进行微调训练，直至备选模型的损失小于设定门限值，得到细分场景模型。
23、进一步地，所述采用所述开放数据集和所述专业数据集分别对所述细分场景模型进行评估，得到各个细分场景模型所对应的评分包括：
24、对于每个细分场景模型，采用所述开放数据集对细分场景模型进行评估，得到基础能力得分；
25、采用所述专业数据集对细分场景模型进行评估，得到专业能力得分；
26、按照设定的权重，对基础能力得分和专业能力得分进行加权求和，得到细分场景模型所对应的评分。
27、进一步地，所述开放数据集包括n条开放测试数据，所述采用所述开放数据集对细分场景模型进行评估，得到基础能力得分包括：
28、通过所述开放测试数据对细分场景模型进行问答测试，得到回答结果；
29、对所述回答结果和所述开放测试数据的标准答案进行文字和语义匹配，根据匹配情况为所述回答结果设置相应的评分；
30、将n条开放测试数据所对应的评分进行求和，再将求和结果除以n得到基础能力得分。
31、进一步地，所述专业数据集包括m条专业测试数据，所述采用所述专业数据集对细分场景模型进行评估，得到专业能力得分包括：
32、通过所述专业测试数据对细分场景模型进行问答测试，得到回答结果；
33、对所述回答结果和所述专业测试数据的标准答案进行文字和语义匹配，根据匹配情况为所述回答结果设置相应的评分；
34、将m条专业测试数据所对应的评分进行求和，再将求和结果除以m得到专业能力得分。
35、进一步地，所述开放数据集包括n条开放测试数据，所述专业数据集包括m条专业测试数据；所述采用所述开放数据集和所述专业数据集分别对所述细分场景模型进行评估，得到各个细分场景模型所对应的评分包括：
36、采用所述开放数据集和所述专业数据集分别对至少两个细分场景模型进行评估，获取回答结果达不到预期的开放测试数据和/或专业测试数据；
37、采用回答结果达不到预期的开放测试数据和/或专业测试数据，以及各测试数据所对应的标准答案，构建调整数据集；
38、根据所述调整数据集对所述细分场景模型进行微调训练，得到调整后的细分场景模型；
39、采用迭代方式，继续采用所述开放数据集和所述专业数据集分别对至少两个调整后的细分场景模型进行评估，直至回答结果达不到预期的开放测试数据和/或专业测试数据的数量少于设定阈值；
40、获取每轮评估的评分，将评分进行求和，再除以评估次数，得到各个细分场景模型所对应的评分。
41、按照本专利技术的另一方面，提供了一种通信专业细分场景下的智能模型的建立装置，包括至少一个处理器和存储器，所述至少一个处理器和存储器之间通过数据总线连接，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令在被所述处理器执行后，用于完成前述所述的通信专业细分场景下的智能模型的建立方法。
42、总体而言，通过本专利技术所构思的以上技术方案与现有技术相比，具有如下有益效果：在本专利技术中，根据通信领域细分场景需求，对本文档来自技高网
...
【技术保护点】
1.一种通信专业细分场景下的智能模型的建立方法，其特征在于，包括：
2.根据权利要求1所述的通信专业细分场景下的智能模型的建立方法，其特征在于，所述根据通信专业细分场景的需求对多个待评估模型进行评估，从中选取出能够满足需求的至少两个备选模型包括：
3.根据权利要求2所述的通信专业细分场景下的智能模型的建立方法，其特征在于，所述发展评估维度包括多个发展评估指标；
4.根据权利要求1所述的通信专业细分场景下的智能模型的建立方法，其特征在于，所述基本评估维度包括推理算力、参数规模区间、中文特性、是否开源、商用风险和应用分类中的至少一种；
5.根据权利要求1所述的通信专业细分场景下的智能模型的建立方法，其特征在于，所述分别对所述备选模型分别进行至少一次训练，得到至少两个细分场景模型包括：
6.根据权利要求1-5任一项所述的通信专业细分场景下的智能模型的建立方法，其特征在于，所述采用所述开放数据集和所述专业数据集分别对所述细分场景模型进行评估，得到各个细分场景模型所对应的评分包括：
7.根据权利要求6所述的通信专业细分场景下的智能模型的建立方法，其特征在于，所述开放数据集包括N条开放测试数据，所述采用所述开放数据集对细分场景模型进行评估，得到基础能力得分包括：
8.根据权利要求6所述的通信专业细分场景下的智能模型的建立方法，其特征在于，所述专业数据集包括M条专业测试数据，所述采用所述专业数据集对细分场景模型进行评估，得到专业能力得分包括：
9.根据权利要求6所述的通信专业细分场景下的智能模型的建立方法，其特征在于，所述开放数据集包括N条开放测试数据，所述专业数据集包括M条专业测试数据；所述采用所述开放数据集和所述专业数据集分别对所述细分场景模型进行评估，得到各个细分场景模型所对应的评分包括：
10.一种通信专业细分场景下的智能模型的建立装置，其特征在于，包括至少一个处理器和存储器，所述至少一个处理器和存储器之间通过数据总线连接，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令在被所述处理器执行后，用于完成权利要求1-9任一所述的通信专业细分场景下的智能模型的建立方法。
...
【技术特征摘要】
1.一种通信专业细分场景下的智能模型的建立方法，其特征在于，包括：
2.根据权利要求1所述的通信专业细分场景下的智能模型的建立方法，其特征在于，所述根据通信专业细分场景的需求对多个待评估模型进行评估，从中选取出能够满足需求的至少两个备选模型包括：
3.根据权利要求2所述的通信专业细分场景下的智能模型的建立方法，其特征在于，所述发展评估维度包括多个发展评估指标；
4.根据权利要求1所述的通信专业细分场景下的智能模型的建立方法，其特征在于，所述基本评估维度包括推理算力、参数规模区间、中文特性、是否开源、商用风险和应用分类中的至少一种；
5.根据权利要求1所述的通信专业细分场景下的智能模型的建立方法，其特征在于，所述分别对所述备选模型分别进行至少一次训练，得到至少两个细分场景模型包括：
6.根据权利要求1-5任一项所述的通信专业细分场景下的智能模型的建立方法，其特征在于，所述采用所述开放数据集和所述专业数据集分别对所述细分场景模型进行评估，得到各个细分场景模型所对应的评分包括：
<...
【专利技术属性】
技术研发人员：白泽刚，
申请(专利权)人：武汉光网信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。