基于GPU的编解码模型静态部署方法、电子设备和介质技术

本发明专利技术涉及计算机技术领域，尤其涉及一种基于GPU的编解码模型静态部署方法、电子设备和介质，方法包括步骤S1、获取原始特征矩阵，补齐原始特征矩阵的列生成补齐特征矩阵；步骤S2、获取补齐特征矩阵对应的相对位置编码矩阵；步骤S3、将相对位置编码矩阵输入编解码模型的编码器中生成相对位置编码信息；步骤S4、将历史预测信息补齐为R位的输入信息，将补齐的R位的输入信息和R位的输入信息中当前有效的信息位数X输入编解码模型的解码器，读取相对位置编码信息，生成第X+1个预测信息，X的取值范围为0到R

【技术实现步骤摘要】
基于GPU的编解码模型静态部署方法、电子设备和介质


[0001]本专利技术涉及计算机
，尤其涉及一种基于GPU的编解码模型静态部署方法、电子设备和介质。

技术介绍

[0002]一些编码
‑
解码(Encoder
‑
Decoder)模型(以下简称编解码模型)的输入长度是动态变化的，从而导致输出长度和中间特征长度也是动态变化的，例如语音识别(Automatic Speech Recognition，简称ASR)模型。ASR是AI领域的一项重要应用，是一种将人的语音转换为文本的技术。编解码模型对于推理速度有很高的要求，出于对推理速度的要求，一般需要将训练好的编解码模型部署在图形处理器(Graphics Processing Unit，简称GPU)上使用，一些GPU是支持编解码模型动态部署的，但一些GPU是不支持编解码模型动态部署的，因此，如何实现在GPU上静态部署编解码模型，满足编解码模型对推理速度的要求成为亟待解决的技术问题。

技术实现思路

[0003]本专利技术目的在于，提供一种基于GPU的编解码模型静态部署方法、电子设备和介质,实现了在GPU上静态部署编解码模型，满足了编解码模型对推理速度的要求。
[0004]根据本专利技术第一方面，提供了一种基于GPU的编解码模型静态部署方法，包括：
[0005]步骤S1、获取原始特征矩阵，补齐所述原始特征矩阵的列生成补齐特征矩阵，所述原始特征矩阵的行数和列数均为M，所述补齐特征矩阵的行数为M，列数为N，N>M；
[0006]步骤S2、获取补齐特征矩阵对应的相对位置编码矩阵，所述相对位置编码矩阵行数为N
‑
1，列数为M；
[0007]步骤S3、将所述相对位置编码矩阵输入编解码模型的编码器中生成相对位置编码信息，将所述相对位置编码信息存储在预设的存储器中；
[0008]步骤S4、将历史预测信息补齐为R位的输入信息，将补齐的R位的输入信息和R位的输入信息中当前有效的信息位数X输入编解码模型的解码器，从所述预设的存储器中读取相对位置编码信息，生成第X+1个预测信息，X的取值范围为0到R
‑
1，基于R
‑
1个预测信息生成目标信息。
[0009]根据本专利技术第二方面，提供一种电子设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被设置为用于执行本专利技术第一方面所述的方法。
[0010]根据本专利技术第三方面，提供一种计算机可读存储介质，存储有计算机可执行指令，所述计算机指令用于执行本专利技术第一方面所述的方法。
[0011]本专利技术与现有技术相比具有明显的优点和有益效果。借由上述技术方案，本专利技术提供的一种基于GPU的编解码模型静态部署方法、电子设备和介质可达到相当的技术进步性及实用性，并具有产业上的广泛利用价值，其至少具有以下有益效果：
[0012]本专利技术实施例将原始特征矩阵补齐生成补齐特征矩阵，并基于补齐特征矩阵获取对应的相对位置编码矩阵，并基于相对位置编码矩阵生成相对位置编码信息，在解码过程中将补齐的R位的输入信息和R位的输入信息中当前有效的信息位数X输入编解码模型的解码器，预测第X+1个预测信息，实现了在GPU上静态部署编解码模型，满足了编解码模型对推理速度的要求。
附图说明
[0013]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0014]图1为本专利技术实施例提供的基于GPU的编解码模型静态部署方法流程图。
具体实施方式
[0015]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0016]本专利技术实施例提供了一种基于GPU的编解码模型静态部署方法，如图1所示，包括：
[0017]步骤S1、获取原始特征矩阵，补齐所述原始特征矩阵的列生成补齐特征矩阵，所述原始特征矩阵的行数和列数均为M，所述补齐特征矩阵的行数为M，列数为N，N>M。
[0018]其中，原始特征矩阵的列数可能是动态变化的，通过补齐的方式，实现编解码模型输入的矩阵列数固定，实现编解码模型编码器的静态部署。所述编解码模型具体可以为ASR模型。
[0019]步骤S2、获取补齐特征矩阵对应的相对位置编码矩阵，所述相对位置编码矩阵行数为N
‑
1，列数为M。
[0020]步骤S3、将所述相对位置编码矩阵输入编解码模型的编码器中生成相对位置编码信息，将所述相对位置编码信息存储在预设的存储器(memory)中。
[0021]步骤S4、将历史预测信息补齐为R位的输入信息，将补齐的R位的输入信息和R位的输入信息中当前有效的信息位数X输入编解码模型的解码器，从所述预设的存储器中读取相对位置编码信息，生成第X+1个预测信息，X的取值范围为0到R
‑
1，基于R
‑
1个预测信息生成目标信息。
[0022]其中，现有技术中，在预测信息时，能够动态实现每次预测最后一位，但本申请中是静态部署，因此，每次输入的均为补齐的R位的输入信息，因此要预测的并非每次均是最后一位，基于此，本专利技术实施例在每次输入时，除了将补齐的R位的输入信息作为输入，还额外将R位的输入信息中当前有效的信息位数X也作为输入，一起输入至编解码模型的解码器中进行解码，来生成第X+1个预测信息，既实现了编解码模型的解码器的静态部署，又能够准确生成预测信息。
[0023]需要说明的是，现有技术中，可以直接对原始特征矩阵通过rel_shift的方式实现
绝对位置编码到相对位置编码的转换，但是本申请中，由于原始特征矩阵可能是动态变化的，且均涉及到补齐，因此，无法直接使用现有的rel_shift的方式实现绝对位置编码到相对位置编码的转换。基于此，本专利技术实施例提出一套适用于本申请的方式，也能准确生成实现绝对位置编码到相对位置编码的转换。作为一种实施例，所述相对位置矩阵中的元素为a
ij
，其中，i为a
ij
的行号，j为a
ij
的列号，i的取值范围为1到M，j的取值范围为1到N
‑
1，将所述相对位置编码矩阵划分为第一区域、第二区域和第三区域；所述第一区域中的元素a
ij
满足：i≤M
‑
1，j<M，且a
ij
位于a
i(i+1)
左侧；所述第二区域中的元素a...

【技术保护点】

【技术特征摘要】
1.一种基于GPU的编解码模型静态部署方法，其特征在于，包括：步骤S1、获取原始特征矩阵，补齐所述原始特征矩阵的列生成补齐特征矩阵，所述原始特征矩阵的行数和列数均为M，所述补齐特征矩阵的行数为M，列数为N，N>M；步骤S2、获取补齐特征矩阵对应的相对位置编码矩阵，所述相对位置编码矩阵行数为N
‑
1，列数为M；步骤S3、将所述相对位置编码矩阵输入编解码模型的编码器中生成相对位置编码信息，将所述相对位置编码信息存储在预设的存储器中；步骤S4、将历史预测信息补齐为R位的输入信息，将补齐的R位的输入信息和R位的输入信息中当前有效的信息位数X输入编解码模型的解码器，从所述预设的存储器中读取相对位置编码信息，生成第X+1个预测信息，X的取值范围为0到R
‑
1，基于R
‑
1个预测信息生成目标信息。2.根据权利要求1所述的方法，其特征在于，所述相对位置矩阵中的元素为a
ij
，其中，i为a
ij
的行号，j为a
ij
的列号，i的取值范围为1到M，j的取值范围为1到N
‑
1，将所述相对位置编码矩阵划分为第一区域、第二区域和第三区域；所述第一区域中的元素a
ij
满足：i≤M
‑
1，j<M，且a
ij
位于a
i(i+1)
左侧；所述第二区域中的元素a
ij
满足：i<M
‑
1，2<j≤M，a
ij
位于a
i(i+1)
右侧；所述第三区域中的元素满足j＝i+1或者i>M
‑
1；所述步骤S2包括：步骤S21、设置第一矩阵和第二矩阵，所述第一矩阵的和第二矩阵的行数和列数均为M，所述第一矩阵的每一行均为(1,2,3,
…
,m,
…
,M)，所述第二矩阵的每一列均为(1,2,3,
…
,m,
…
,M)，m的取值范围为1到M；步骤S22、基于第一矩阵和第二矩阵获取第一中间矩阵和第二中间矩阵，所述第一中间矩阵和第二中间矩阵的行数和列数均为M；步骤S23、基于所述第一中间矩阵确定相对位置编码矩阵中的第一区域中的元素，基于所述第二中间矩阵确定第二区域中的元素，将第三区域的元素基于掩码操作全部设置为0，生成所述相对位置矩阵。3.根据权利要求2所述的方法，其特征在于，所述第一矩阵包括元素b
xy
,所述第二矩阵包括元素c
xy
，所述第一中间矩阵包括元素d
xy
，所述第二中间矩阵包括元素e
xy
，x表示b
xy
、c
xy
、d
xy
、e
xy
对...

【专利技术属性】
技术研发人员：谢佳形，
申请(专利权)人：沐曦集成电路杭州有限公司，
类型：发明
国别省市：