一种基于大模型的设备运维知识更新方法技术

技术编号：40919474 阅读：2 留言：0更新日期：2024-04-18 14:45

本发明专利技术公开了一种基于大模型的设备运维知识更新方法，包括以下步骤：S1、数据收集；S2、数据预处理；S3、选择LLaMa2开源预训练模型作为基座大模型；S4、对预训练的基座大模型进行增量训练；S5、设计微调目标和微调用训练数据，对增量训练好的模型，进行微调；S6、对微调后的模型进行评估；S7、根据评估结果，对模型进行调整和改进；S8、模型部署与应用。本发明专利技术提出的设备运维私域大模型可以通过自主学习和迭代，不断从海量数据在提取、捕捉和理解最新的知识和模式，能够快速学习和更新知识，且构建和维护成本相对较低，优势明显，具有更广泛的应用前景。

全部详细技术资料下载

【技术实现步骤摘要】

本专利技术涉及一种设备运维知识更新方法，尤其涉及一种基于大模型的设备运维知识更新方法。

技术介绍

1、设备运维私域大模型的知识更新是为了使其保持与设备运维领域的最先发展同步，并能够提供准确、实用的解决方案和建议。因此，设备运维知识更新在设备运维私域大模型中具有重要的意义和价值。

2、传统的设备运维知识管理平台通常是基于知识图谱、语义网络等技术，通过人工或半自动的方式收集、整理和管理知识。优势在于知识的准确性和可控性较高，可以针对特定领域进行深度定制。缺点是构建和维护成本较高，对专业知识和人力资源的依赖性强，在知识更新方面，对大规模、动态变化的知识更是难以快速处理。

技术实现思路

1、为了解决上述技术所存在的不足之处，本专利技术提供了一种基于大模型的设备运维知识更新方法。

2、为了解决以上技术问题，本专利技术采用的技术方案是：一种基于大模型的设备运维知识更新方法，包括以下步骤：

3、s1、数据收集：收集的数据包括设备运维领域的文本类数据；

4、s2、数据预处理：对s1收集到的文本数据进行预处理；

5、s3、模型选择：选择llama2开源预训练模型作为基座大模型；

6、s4、模型预训练：使用收集和预处理后的数据来对基座大模型进行增量预训练；

7、s5、模型微调：对增量预训练好的模型，设计微调目标和微调用训练数据，并实施微调，进一步优化模型参数；

8、s6、模型评估：对微调后的模型进行评估；</p>

9、s7、模型优化和迭代：根据评估结果，对模型进行调整和改进，得到设备运维私域大模型；

10、s8、模型部署与应用：将最终训练好的设备运维私域大模型部署到服务器上，用于设备运维知识的不断更新反馈。

11、作为优选地，s1中，收集的数据来源包括公开数据和内部数据；公开数据通过购买、下载或爬虫技术从网络上爬取；内部数据通过文件整理方式，或以api调用的方式从企业内部业务系统中获取。

12、作为优选地，获得文本数据后，进行数据整合，形成统一的文本结构数据，并不断更新数据。

13、作为优选地，s2中，数据预处理方式包括数据清洗、数据标准化、数据划分处理；

14、数据清洗包括去除无用的标签、空格、标点符号，以及处理错误的拼写和语法，以及去除敏感信息；

15、数据标准化包括将所有文本转化为小写，或将所有数字转换为特定标记；

16、数据划分处理包括将数据划分为训练集、验证集和测试集。

17、作为优选地，s4中，基座大模型的增量预训练过程为：

18、s41、设置训练参数：包括学习率、批次大小、训练轮数；

19、s42、选择优化器：包括sgd、adam、adagrad；

20、s43、对数据进行词嵌入处理，使用基座大模型的嵌入层将文本数据中的每个分词转换成一个大模型可识别的数值形式；

21、s44、模型预训练：在每个训练轮次中，基座大模型使用训练集进行训练，然后使用优化更新权重；重复多次，制造模型的性能达到满意水平；

22、s45、模型验证：训练结束后，使用验证集检查模型性能；

23、s46、模型保存：保存训练好的模型，保存格式包括模型结构和权重。

24、作为优选地，s43中，词嵌入过程包括：

25、①分词：将文本划分为离散单元的表示形式，拆分后每个基本的离散单元称为一个token；

26、②处理长文本：将上下文切分为短文本块chunk，使用滑窗使得切分出的文本块之间有重叠；

27、③扩充词汇表：分析待训练文本，识别其中独特词汇，将这些词汇添加到现有词汇表中；

28、④为扩充的词汇添加新的向量行到嵌入矩阵中，并为其提供初始嵌入向量；

29、⑤加载嵌入层：加载预训练基座大模型的嵌入层；

30、⑥词嵌入：使用嵌入层将token序列转换为数值向量，需要使用词汇表，将序列中的不同token映射为唯一的数值向量。

31、作为优选地，s5中，模型微调目标是构建一个能够提供设备运维领域知识问答的自然语言解析模型，属于生成型问答任务，要求任务有标准的文本结构：

32、{

33、"input":设备问题描述内容；

34、"output":运维知识解答内容；

35、}。

36、作为优选地，s5中，根据任务的标准文本结构，对设备运维知识数据进行梳理，组成设备问题描述和运维知识解答相呼应的文本结构，即微调数据集。

37、作为优选地，模型微调过程为，先将微调数据做预处理，数据预处理方式包括数据清洗、数据标准化、数据划分为训练集和验证集；

38、在微调数据上，对经过增量预训练后的基座大模型进行多轮迭代训练，每一轮训练中，使用梯度下降算法优化模型参数。

39、本专利技术公开了一种基于大模型的设备运维知识更新方法，与传统的设备运维知识管理平台相比，提出的设备运维私域大模型可以通过自主学习和迭代，不断从海量数据在提取、捕捉和理解最新的知识和模式。不再依赖于人工或半自动的方式进行知识收集和整理，且能够快速学习和更新知识，且构建和维护成本相对较低，优势明显，具有更广泛的应用前景。

本文档来自技高网...

【技术保护点】

1.一种基于大模型的设备运维知识更新方法，其特征在于：包括以下步骤：

2.根据权利要求1所述的基于大模型的设备运维知识更新方法，其特征在于：S1中，收集的数据来源包括公开数据和内部数据；公开数据通过购买、下载或爬虫技术从网络上爬取；内部数据通过文件整理方式，或以API调用的方式从企业内部业务系统中获取。

3.根据权利要求2所述的基于大模型的设备运维知识更新方法，其特征在于：获得文本数据后，进行数据整合，形成统一的文本结构数据，并不断更新数据。

4.根据权利要求3所述的基于大模型的设备运维知识更新方法，其特征在于：S2中，数据预处理方式包括数据清洗、数据标准化、数据划分处理；

5.根据权利要求1所述的基于大模型的设备运维知识更新方法，其特征在于：S4中，基座大模型的增量预训练过程为：

6.根据权利要求5所述的基于大模型的设备运维知识更新方法，其特征在于：S43中，词嵌入过程包括：

7.根据权利要求1所述的基于大模型的设备运维知识更新方法，其特征在于：S5中，模型微调目标是构建一个能够提供设备运维领域知识问答的自

8.根据权利要求7所述的基于大模型的设备运维知识更新方法，其特征在于：S5中，根据任务的标准文本结构，对设备运维知识数据进行梳理，组成设备问题描述和运维知识解答相呼应的文本结构，即微调数据集。

9.根据权利要求8所述的基于大模型的设备运维知识更新方法，其特征在于：模型微调过程为，先将微调数据做预处理，数据预处理方式包括数据清洗、数据标准化、数据划分为训练集和验证集；

...

【技术特征摘要】

1.一种基于大模型的设备运维知识更新方法，其特征在于：包括以下步骤：

2.根据权利要求1所述的基于大模型的设备运维知识更新方法，其特征在于：s1中，收集的数据来源包括公开数据和内部数据；公开数据通过购买、下载或爬虫技术从网络上爬取；内部数据通过文件整理方式，或以api调用的方式从企业内部业务系统中获取。

4.根据权利要求3所述的基于大模型的设备运维知识更新方法，其特征在于：s2中，数据预处理方式包括数据清洗、数据标准化、数据划分处理；

5.根据权利要求1所述的基于大模型的设备运维知识更新方法，其特征在于：s4中，基座大模型的增量预...

【专利技术属性】
技术研发人员：张力翔，李郭敏，曾珍，
申请(专利权)人：未必然数据科技北京有限公司，
类型：发明
国别省市：

全部详细技术资料下载我是这个专利的主人