一种Transformer网络的算子融合方法、装置及板卡制造方法及图纸

本发明专利技术公开了一种Transformer网络的算子融合方法、装置及板卡，该方法包括：获取包含N个算子节点的Transformer网络，在N个算子节点中确定M1个计算密集节点和M2个IO密集节点；以每个计算密集节点为中心查找与其位置相邻的IO密集节点；将查找到的所有相邻IO密集节点与对应的M1个计算密集节点相融合，生成包含M1个层级结构的Transformer网络；将包含M1个层级结构的Transformer网络替换N个算子节点的Transformer网络，并利用替换后的Transformer网络处理特征数据。本方案减少了Transformer网络中算子的个数，进而减少IO数据量，提升了网络性能。

【技术实现步骤摘要】

本专利技术涉及人工智能，尤其是涉及一种transformer网络的算子融合方法、装置及板卡。

技术介绍

1、transformer(硬件加速器)是一种用于序列到序列任务的神经网络架构，由google于2017年提出。它完全基于自注意力机制(self-attention mechanism)，而不使用传统的递归或卷积结构。bert(bidirectional encoder representations fromtransformers，双向编码器转换器中的编码器)是transformer的一个具体应用，由google于2018年提出。它是一个预训练的语言模型，通过在大规模的无标签数据上进行无监督的训练，得到了丰富的句子表示。

2、transformer和bert网络都采用了自注意力机制，这使得网络能够充分考虑序列中不同位置之间的依赖关系，从而能够更好地捕捉序列中的语义信息。通过预训练和微调的方式，transformer和bert网络可以适应不同的下游任务，提供更强大和泛化能力的自然语言处理模型。

3、在transformer和be本文档来自技高网...

【技术保护点】

1.一种Transformer网络的算子融合方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述生成包含M1个层级结构的Transformer网络之后，还包括：

3.根据权利要求2所述的方法，其特征在于，所述结构相对固定的一个或多个层级是指：在以注意力机制为算法核心的多个网络中，每个网络都包含所述P个层级组成的网络片段，且所述网络片段的拓扑结构不变。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述N个算子节点中每个所述算子节点包括计算装置和存储装置，其中所述计算装置和所述存储装置之间发生IO数据传输；

...

【技术特征摘要】

1.一种transformer网络的算子融合方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述生成包含m1个层级结构的transformer网络之后，还包括：

3.根据权利要求2所述的方法，其特征在于，所述结构相对固定的一个或多个层级是指：在以注意力机制为算法核心的多个网络中，每个网络都包含所述p个层级组成的网络片段，且所述网络片段的拓扑结构不变。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述n个算子节点中每个所述算子节点包括计算装置和存储装置，其中所述计算装置和所述存储装置之间发生io数据传输；

5.根据权利要求1-3任一项所述...

【专利技术属性】
技术研发人员：请求不公布姓名，请求不公布姓名，
申请(专利权)人：中科寒武纪科技股份有限公司，
类型：发明
国别省市：