【技术实现步骤摘要】
本申请涉及通信，尤其涉及一种通信大模型构建方法、装置、设备及存储介质。
技术介绍
1、大模型本质上是用统一模型来解决多场景多任务问题，其将海量知识融入到一个统一的模型中，而不针对每个特定任务分别训练模型，使用ai解决多类型问题的能力大大加强。
2、网络运营是保障电信网络正常运行的重要举措，电信运营商每年需要投入大量的人力、物力、资源，去处理网络运营过程中出现的覆盖、移动性、传输质量、负荷、干扰、配置、性能、设备隐患等多种问题。在目前的电信网络运营过程中，通常采用决策树、随机森林等经典机器学习算法，按单场景构建小模型，此种方式耗时耗力，且无法适应跨场景的智能化应用。
技术实现思路
1、本申请提供一种通信大模型构建方法、装置、设备及存储介质，用以构建通信大模型等智能化手段来快速识别与处理网络运营中出现的问题，增加解决问题效率。
2、第一方面，本申请提供一种通信大模型构建方法，包括：
3、获取基于电信运营商系统的训练数据，所述训练数据中的每个样本包括四元组数据，所述四元组数据包括问题、状态数据、原因和解决方案；
4、通过所述训练数据对初始通信大模型进行训练，得到预训练模型；
5、根据知识库中存储的问答对，对所述预训练模型的输出进行评分，得到评分结果，并根据所述问答对和评分结果训练奖励模型，所述奖励模型用于对所述预训练模型的输出进行评分；
6、基于所述奖励模型，通过强化学习训练来优化所述预训练模型，得到训练完成的通信大
7、在一种可能的设计中，获取基于电信运营商系统的训练数据，包括：
8、获取文本类数据和数值类数据；
9、对所述文本类数据和所述数值类数据进行分类，得到分类数据，其中，所述分类数据包括场景类、告警类、优化类、根因类和方案类；
10、根据所述分类数据，获取格式化数据，所述格式化数据为所述四元组数据。
11、在一种可能的设计中，根据所述分类数据，获取格式化数据之前，所述方法还包括：
12、对所述文本类数据进行分词处理，并根据预设映射规则映射到词向量空间，得到词特征向量；
13、对所述数值类数据进行标签化处理，得到标签对；
14、所述根据所述分类数据，获取格式化数据，包括：
15、根据所述词特征向量和所述标签对分别获取各自对应的格式化数据。
16、在一种可能的设计中，通过所述训练数据对初始通信大模型进行训练，得到预训练模型，包括：
17、通过所述文本类数据对所述初始大模型进行自监督训练；
18、通过数值类数据对所述初始大模型进行监督训练，得到预训练模型；
19、其中，所述初始通信大模型是基于transformer训练的大模型。
20、在一种可能的设计中，初始通信大模型在训练过程中，按时序随机冻结预设数量的模型参数。
21、在一种可能的设计中，根据知识库中存储的问答对，对所述预训练模型的输出进行评分，得到评分结果，包括：
22、从知识库中获取预设数量的问答对；
23、针对每个问答对，获取所述问答对中的标准问题和标准答案，并将所述标准问题输入至所述预训练模型，得到预训练模型输出的实际答案；
24、根据所述标准答案与所述实际答案，通过向量点积的方式获取相似度计算结果，并根据所述相似度计算结果，获取所述问答对对应的单条记录评分；
25、根据预设数量条的记录评分，得到评分结果。
26、在一种可能的设计中，基于所述奖励模型，通过强化学习训练来优化所述预训练模型，得到训练完成的通信大模型，包括：
27、获取所述奖励模型对所述预训练模型输出的评分；
28、若预设数量个输出中，评分高于预设评分的数量小于目标数量，则通过强化学习训练来优化所述预训练模型，直至所述数量大于目标数量，停止强化学习，得到训练完成的通信大模型。
29、第二方面，本申请提供一种通信大模型构建装置，包括：
30、数据处理模块，用于获取基于电信运营商系统的训练数据，所述训练数据中的每个样本包括四元组数据，所述四元组数据包括问题、状态数据、原因和解决方案；
31、模型训练模块，用于通过所述训练数据对初始通信大模型进行训练，得到预训练模型；
32、模型训练模块，还用于根据知识库中存储的问答对，对所述预训练模型的输出进行评分，得到评分结果，并根据所述问答对和评分结果训练奖励模型，所述奖励模型用于对所述预训练模型的输出进行评分；
33、模型训练模块，还用于基于所述奖励模型，通过强化学习训练来优化所述预训练模型，得到训练完成的通信大模型，其中，所述通信大模型为通信领域的问答模型。
34、在一种可能的设计中，所述数据处理模块还用于：
35、获取文本类数据和数值类数据；
36、对所述文本类数据和所述数值类数据进行分类，得到分类数据，其中，所述分类数据包括场景类、告警类、优化类、根因类和方案类；
37、根据所述分类数据，获取格式化数据，所述格式化数据为所述四元组数据。
38、在一种可能的设计中，所述数据处理模块还用于：
39、对所述文本类数据进行分词处理，并根据预设映射规则映射到词向量空间，得到词特征向量；
40、对所述数值类数据进行标签化处理，得到标签对；
41、所述根据所述分类数据，获取格式化数据，包括：
42、根据所述词特征向量和所述标签对分别获取各自对应的格式化数据。
43、在一种可能的设计中，所述模型训练模块还用于：
44、通过所述文本类数据对所述初始大模型进行自监督训练；
45、通过数值类数据对所述初始大模型进行监督训练，得到预训练模型；
46、其中，所述初始通信大模型是基于transformer训练的大模型。
47、在一种可能的设计中，所述模型训练模块还用于：
48、初始通信大模型在训练过程中，按时序随机冻结预设数量的模型参数。
49、在一种可能的设计中，所述模型训练模块还用于：
50、从知识库中获取预设数量的问答对；
51、针对每个问答对，获取所述问答对中的标准问题和标准答案，并将所述标准问题输入至所述预训练模型，得到预训练模型输出的实际答案；
52、根据所述标准答案与所述实际答案，通过向量点积的方式获取相似度计算结果，并根据所述相似度计算结果，获取所述问答对对应的单条记录评分；
53、根据预设数量条的记录评分，得到评分结果。
54、在一种可能的设计中，所述模型训练模块还用于：
55、获取所述奖励模型对所述预训练模型输出的评分；
56、若预设数量个输出中本文档来自技高网...
【技术保护点】
1.一种通信大模型的构建方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述获取基于电信运营商系统的训练数据，包括：
3.根据权利要求2所述的方法，其特征在于，所述根据所述分类数据，获取格式化数据之前，所述方法还包括：
4.根据权利要求3所述的方法，其特征在于，所述通过所述训练数据对初始通信大模型进行训练，得到预训练模型，包括：
5.根据权利要求4所述的方法，其特征在于，所述初始通信大模型在训练过程中，按时序随机冻结预设数量的模型参数。
6.根据权利要求1所述的方法，其特征在于，所述根据知识库中存储的问答对，对所述预训练模型的输出进行评分，得到评分结果，包括：
7.根据权利要求1所述的方法，其特征在于，所述基于所述奖励模型，通过强化学习训练来优化所述预训练模型，得到训练完成的通信大模型，包括：
8.一种通信大模型构建装置，其特征在于，包括：
9.一种电子设备，其特征在于，包括：处理器，以及与所述处理器通信连接的存储器；
10.一种计算机可读存储介质，其特
...【技术特征摘要】
1.一种通信大模型的构建方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述获取基于电信运营商系统的训练数据，包括：
3.根据权利要求2所述的方法，其特征在于，所述根据所述分类数据，获取格式化数据之前，所述方法还包括：
4.根据权利要求3所述的方法，其特征在于，所述通过所述训练数据对初始通信大模型进行训练，得到预训练模型，包括：
5.根据权利要求4所述的方法，其特征在于，所述初始通信大模型在训练过程中，按时序随机冻结预设数量的模型参数。
6.根据权利要求1所述的方法，其特征在于...
【专利技术属性】
技术研发人员：李涛，杨剑键，李姗姗，杜宇，兰天骄，潘思宇，柳雨晨，王志佳，王东升，
申请(专利权)人：中国联合网络通信集团有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。