一种基于统计特征的大语言模型推理近似容错方法技术

本发明专利技术提供了一种基于统计特征的大语言模型推理近似容错方法，属于电子设计自动化与计算系统的可靠性设计技术领域。本发明专利技术利用大语言模型错误统计特征，划定模型不同计算单元的错误危险区域，将大语言模型部署在基于统计ABFT电路的脉动阵列加速器上，在模型推理中，利用统计ABFT电路收集错误的统计信息，并计算判定错误的严重程度以决定是否触发纠错重算，从而减少模型重算开销；本发明专利技术统计ABFT电路能实现低成本的错误统计特征收集和错误的严重程度的判定，实现可靠、高效的模型推理，具有广阔的应用前景。

【技术实现步骤摘要】

本专利技术涉及电子设计自动化与计算系统(design automation and computingsystems)中的可靠性设计(design for reliability)，具体涉及一种基于统计特征的大语言模型推理近似容错方法。

技术介绍

1、大语言模型(large language model，llm)在不同的自然语言处理(naturallanguage processing，nlp)任务中表现出了卓越的性能，并越来越多地应用于自动驾驶、航空航天和医疗保健等可靠性关键任务。大语言模型拥有数十亿个参数和数万亿次运算，在推理过程中被广泛部署在各种基于脉动阵列(systolic array，sa)的加速器上，以提高推理效率。然而，由于器件老化、工艺涨落、高能粒子辐射等因素的影响，很难保证这些硬件的计算完全正确而不出现故障。

2、为了提高硬件可靠性，人们已经从电路层面到算法层面探索了一系列纠错技术。基于算法的容错(algorithm-based fault tolerance，abft)[1]是一种适用于矩阵乘法(general matrix本文档来自技高网...

【技术保护点】

1.一种基于统计特征的大语言模型推理近似容错方法，其特征在于，利用大语言模型错误统计特征，在统计ABFT电路中实现大语言模型推理的近似容错方法，具体步骤如下：

2.如权利要求1所述的基于统计特征的大语言模型推理近似容错方法，其特征在于，所述统计ABFT电路，包括脉动阵列、外围电路和统计模块，所述脉动阵列是n×n个乘累加处理单元PE组成的n×n的阵列，每个PE支持8比特的乘累加运算，用于矩阵乘法运算；所述外围电路用于模型推理中计算校验和；所述统计模块包括一个减法器、一个累加器、一个对数线性计算单元和n个有条件计数功能的缓存，用于收集模型推理中错误的统计特征、判断错误的严重程度并...

【技术特征摘要】

1.一种基于统计特征的大语言模型推理近似容错方法，其特征在于，利用大语言模型错误统计特征，在统计abft电路中实现大语言模型推理的近似容错方法，具体步骤如下：

2.如权利要求1所述的基于统计特征的大语言模型推理近似容错方法，其特征在于，所述统计abft电路，包括脉动阵列、外围电路和统计模块，所述脉动阵列是n×n个乘累加处理单元pe组成的n×n的阵列，每个pe支持8比特的乘累加运算，用于矩阵乘法运算；所述外围电路用于模型推理中计算校验和；所述统计模块包括一个减法器、一个累加器、一个对数线性计算单元和n个有...

【专利技术属性】
技术研发人员：李萌，解同，赵家旺，张作栋，王源，王润声，黄如，
申请(专利权)人：北京大学，
类型：发明
国别省市：