基于电力运检业务的大模型推理加速方法及系统技术方案

本发明专利技术提供基于电力运检业务的大模型推理加速方法及系统，方法包括：多任务请求的调度，该调度将多个请求拼成一个输入作为整体网络的输入，在生成式对话中，可以做到一次回答多个请求问题；GPT网络，包括：Transformer Attention和Feed Forward Network组成，在预训练电力设备运检业务模型的一次解码Decode后的解码过程中，采用CUDA算子调用所述kv_cache，以调整kv_cache的形状，据以处理得到重构GPT网络模型；利用贪心算法将GPT模型的输出转化为一个token或者一个字。本发明专利技术解决了管理操作工作量大、电力设备运检业务信息总结不便以及维护成本高的技术问题。

【技术实现步骤摘要】

本专利技术涉及电力运检业务数据处理领域，具体涉及基于电力运检业务的大模型推理加速方法及系统。

技术介绍

1、大模型推理技术是利用generative pre-trained transformer（生成式预训练transformer模型，简称gpt）的深度学习模型，完成生成式问答，即可以根据问题内容，生成高质量且富有创意的文本。目前，大模型问答技术正广泛应用于自动写作、机器翻译、对话系统等。

2、对于电力运检业务，需要关注电力设备台账、设备巡视、设备检测、设备试验等相关电力工作。例如公布号为cn115081544a的现有专利技术专利申请文献《基于多源数据融合的电网设备全景模型数据处理方法》，该方法包括：中台分别建立与多个数据单元相对应的台账存储表，根据每个台账存储表中相对应的关键名词对不同的台账存储表之间进行台账存储表的预关联；根据每一个台账存储表中的设备数量对所有数据单元所对应的台账存储表进行升序排序得到台账排序结果，依次遍历台账排序结果中每一个台账存储表的设备作为目标设备；获取所述目标设备在其它台账存储表中相对应的贴源数据，根据台账存储表的本文档来自技高网...

【技术保护点】

1.基于电力运检业务的大模型推理加速方法，其特征在于，所述方法包括：

2.根据权利要求1所述的基于电力运检业务的大模型推理加速方法，其特征在于，所述步骤S11中，利用下述逻辑进行所述补0对齐操作：

3.根据权利要求2所述的基于电力运检业务的大模型推理加速方法，其特征在于，在所述补0对齐操作过程中，在batchN的队列长度满足下述关系时：

4.根据权利要求1所述的基于电力运检业务的大模型推理加速方法，其特征在于，所述步骤S11中，设计掩码矩阵Attention_mask，以在计算注意力Attention时，使用预置掩码mask，掩盖处理所述注意力Atte...

【技术特征摘要】

1.基于电力运检业务的大模型推理加速方法，其特征在于，所述方法包括：

2.根据权利要求1所述的基于电力运检业务的大模型推理加速方法，其特征在于，所述步骤s11中，利用下述逻辑进行所述补0对齐操作：

3.根据权利要求2所述的基于电力运检业务的大模型推理加速方法，其特征在于，在所述补0对齐操作过程中，在batchn的队列长度满足下述关系时：

4.根据权利要求1所述的基于电力运检业务的大模型推理加速方法，其特征在于，所述步骤s11中，设计掩码矩阵attention_mask，以在计算注意力attention时，使用预置掩码mask，掩盖处理所述注意力attention的值。

5.根据权利要求4所述的基于电力运检业务的大模型推理加速方法，其特征在于，利用下述逻辑，掩盖处理所述注意力attention的值：

6.根据权利要求1所述的基于电力运检业务的大模型推理加速方法，其特征在于，所述步骤s2中，所述gpt网络模型的解码层decode layers的单层包括：嵌入模块embedding、层归一化模块layer norm、带mask的多头注意力机制masked...

【专利技术属性】
技术研发人员：赵常威，王署东，柯艳国，李坚林，钱宇骋，施雯，潘超，张强，黄伟民，谢铖，甄超，刘同阳，李森林，
申请(专利权)人：国网安徽省电力有限公司电力科学研究院，
类型：发明
国别省市：