电子装置和用于推断的方法制造方法及图纸

提供了电子装置和用于推断的方法。所述电子装置包括：处理器，被配置为：通过实现包括多个编码器和多个解码器的转换模型来执行推断；以及存储器，被配置为：存储将由处理器执行的指令。编码器和解码器中的每个包括注意力块，注意力块确定注意力值。处理器被配置为：在注意力块中逐区块执行第一子柔性最大操作；基于第一子柔性最大操作的结果值来执行缩减操作以确定调整因子；并且基于缩减操作的结果值来逐区块执行第二子柔性最大操作。逐区块执行第二子柔性最大操作。逐区块执行第二子柔性最大操作。

【技术实现步骤摘要】
电子装置和用于推断的方法
[0001]本申请要求于2021年10月29日在韩国知识产权局提交的第10
‑
2021
‑
0146841号韩国专利申请的权益，该韩国专利申请的全部公开出于所有目的通过引用包含于此。


[0002]以下描述涉及转换模型(transformer model)和实现推断模型的电子装置。

技术介绍

[0003]转换模型(transformer model)可以是在遵循编码器
‑
解码器结构的同时用注意力或自注意力来实现的模型，该编码器
‑
解码器结构可以是现有的序列到序列(seq2seq)结构。尽管转换模型可采用编码器
‑
解码器结构而不实现递归神经网络(RNN)，但是性能通常可优于RNN的性能。转换模型可主要被实现为执行诸如但不限于自然语言处理(NLP)、翻译、问答(Q&A)等的任务。

技术实现思路

[0004]提供本
技术实现思路
来以简化的形式介绍下面在具体实施方式中进一步描述的构思的选择。本
技术实现思路
不意在确认要求保护的主题的关键特征或必要特征，也不意在用作帮助确定要求保护的主题的范围。
[0005]在一个总体方面，一种电子装置包括：处理器，被配置为：实现包括多个编码器和多个解码器的转换模型；其中，所述多个编码器和所述多个解码器中的每个包括注意力块，注意力块被配置为确定注意力值，并且其中，处理器还被配置为：在推断操作中，在注意力块中执行第一子柔性最大逐区块操作，基于第一子柔性最大逐区块操作的结果值来执行缩减操作以确定调整因子，并且基于缩减操作的结果值来执行第二子柔性最大逐区块操作。
[0006]所述电子装置可包括：存储器，存储将由处理器执行的用于将处理器配置为执行推断操作的指令。
[0007]处理器还可被配置为：基于查询和键来执行第一矩阵操作，并且基于第一矩阵操作的结果值来执行第一子柔性最大逐区块操作。
[0008]处理器还可被配置为：对第一矩阵操作的结果值执行缩放和掩码操作，并且基于缩放和掩码操作的结果值来执行第一子柔性最大逐区块操作。
[0009]处理器还可被配置为：通过从输入数据逐区块检测第一最大值、确定通过从输入数据的每个值减去第一最大值而获得的结果值的第一指数化值并且逐区块确定第一指数化值的第一总和值，来执行第一子柔性最大逐区块操作。
[0010]第一矩阵操作和第一子柔性最大操作在数据读取次序和数据读取单元方面可以是相同的。
[0011]处理器还可被配置为：通过以下操作来执行缩减操作：确定通过从第一最大值减去第二最大值而获得的结果值的第二指数化值，第二最大值是数据的所有区块的最大值；通过将与数据的每个区块对应的第二指数化值应用于第一总和值来确定第二总和值；并且
将通过将第二指数化值除以第二总和值而获得的结果值确定为调整因子。
[0012]处理器还可被配置为：通过将调整因子应用于第一指数化值来执行第二子柔性最大操作。
[0013]处理器还可被配置为：基于第二子柔性最大逐区块操作的结果值和给定数据值来执行第二逐区块矩阵操作。
[0014]第二子柔性最大逐区块操作和第二逐区块矩阵操作在数据读取次序和数据读取单元方面可以是相同的。
[0015]在一个总体方面，一种电子装置包括：处理器，被配置为：实现包括多个编码器和多个解码器的转换模型；以及缩减电路系统，其中，所述多个编码器和所述多个解码器中的每个包括注意力块，注意力块被配置为确定注意力值，其中，处理器被配置为：在注意力块中执行第一子柔性最大逐区块操作，其中，缩减电路系统被配置为：基于第一子柔性最大逐区块操作的结果值来执行缩减操作，以确定调整因子，并且其中，处理器被配置为：基于缩减操作的结果值来执行第二子柔性最大逐区块操作。
[0016]处理器还可被配置为：在推断操作中，通过从输入数据逐区块检测第一最大值、确定通过从输入数据的每个值减去第一最大值而获得的结果值的第一指数化值并且逐区块确定第一指数化值的第一总和值，来执行第一子柔性最大逐区块操作。
[0017]缩减电路系统可包括比较器、加法器
‑
减法器、指数处理器、乘法和除法运算器以及存储器。
[0018]缩减电路系统可被配置为：从存储器读取第一最大值和第一总和值；通过比较器检测第二最大值，第二最大值是输入数据的所有区块的最大值；通过加法器
‑
减法器确定通过从第一最大值减去从输入数据逐行检测的第二最大值而获得的结果值；通过指数处理器确定通过从第一最大值减去第二最大值而获得的结果值的第二指数化值；并且通过乘法和除法运算器通过将与输入数据的每个区块对应的第二指数化值应用于第一总和值来确定第二总和值，并且将通过将第二指数化值除以第二总和值而获得的结果值确定为调整因子。
[0019]处理器还可被配置为：通过将调整因子应用于第一指数化值来执行第二子柔性最大操作。
[0020]在一个总体方面，一种处理器实现的方法包括：通过经由实现包括多个编码器和多个解码器的转换模型对输入数据执行推断，来从输入数据确定结果数据，其中，确定结果数据的步骤包括：从所述多个编码器和所述多个解码器中的每个确定注意力值，其中，确定注意力值的步骤包括：执行第一子柔性最大逐区块操作；基于第一子柔性最大逐区块操作的结果值来执行缩减操作，以确定调整因子；以及基于缩减操作的结果值来执行第二子柔性最大逐区块操作。
[0021]执行第一子柔性最大逐区块操作的步骤可包括：从输入数据逐区块检测第一最大值；确定通过从输入数据的每个值减去第一最大值而获得的结果值的第一指数化值；以及逐区块确定第一指数化值的第一总和值。
[0022]执行缩减操作的步骤可包括：确定通过从第一最大值减去第二最大值而获得的结果值的第二指数化值，第二最大值是输入数据的所有区块的最大值；通过将与输入数据的每个区块对应的第二指数化值应用于第一总和值来确定第二总和值；以及将通过将第二指
数化值除以第二总和值而获得的结果值确定为调整因子。
[0023]执行第二子柔性最大操作的步骤可包括：将调整因子应用于第一指数化值。
[0024]缩减操作可通过缩减操作器执行，缩减操作器包括比较器、加法器
‑
减法器、指数处理器、乘法和除法运算器以及存储器。
[0025]在一个总体方面，一种处理器实现的方法包括：通过对输入数据执行基于转换的推断操作，来从输入数据确定目标数据；其中，确定目标数据的步骤包括：通过电子装置的处理器基于查询和键对输入数据执行第一矩阵操作；通过处理器对第一矩阵操作的结果值执行缩放操作和掩码操作；通过处理器执行第一子柔性最大逐区块操作；通过处理器基于第一子柔性最大逐区块操作的结果来执行缩减操作，以确定缩放因子；以及通过处理器基于缩减操作的结果来执行第二子柔性最大逐区块操作，其中，第一矩阵操作和第一子柔性最大操作被配置为具有相同的数据读取单元和相同的数据读取次序。
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种电子装置，包括：处理器，被配置为：实现包括多个编码器和多个解码器的转换模型；其中，所述多个编码器和所述多个解码器中的每个包括注意力块，注意力块被配置为确定注意力值，并且其中，处理器还被配置为：在推断操作中，在注意力块中执行第一子柔性最大逐区块操作，基于第一子柔性最大逐区块操作的结果值来执行缩减操作以确定调整因子，并且基于调整因子来执行第二子柔性最大逐区块操作。2.根据权利要求1所述的电子装置，还包括：存储器，存储将由处理器执行的用于将处理器配置为执行推断操作的指令。3.根据权利要求1所述的电子装置，其中，处理器还被配置为：基于查询和键来执行第一矩阵操作，并且基于第一矩阵操作的结果值来执行第一子柔性最大逐区块操作。4.根据权利要求3所述的电子装置，其中，处理器还被配置为：对第一矩阵操作的结果值执行缩放和掩码操作，并且基于缩放和掩码操作的结果值来执行第一子柔性最大逐区块操作。5.根据权利要求3所述的电子装置，其中，第一矩阵操作和第一子柔性最大逐区块操作在数据读取次序和数据读取单元方面是相同的。6.根据权利要求1所述的电子装置，其中，处理器还被配置为：通过从输入数据逐区块检测第一最大值、确定通过从输入数据的每个值减去第一最大值而获得的结果值的第一指数化值并且逐区块确定第一指数化值的第一总和值，来执行第一子柔性最大逐区块操作。7.根据权利要求6所述的电子装置，其中，处理器还被配置为：通过以下操作来执行缩减操作：通过指数处理器确定通过从第一最大值减去第二最大值而获得的结果值的第二指数化值，第二最大值是输入数据的所有区块的最大值；通过乘法和除法运算器通过将与输入数据的每个区块对应的第二指数化值应用于第一总和值来确定第二总和值；并且通过乘法和除法运算器将通过将第二指数化值除以第二总和值而获得的结果值确定为调整因子。8.根据权利要求7所述的电子装置，其中，处理器还被配置为：通过将调整因子应用于第一指数化值来执行第二子柔性最大逐区块操作。9.根据权利要求1至权利要求8中的任一项所述的电子装置，其中，处理器还被配置为：基于第二子柔性最大逐区块操作的结果值和给定数据值来执行第二逐区块矩阵操作。10.根据权利要求9所述的电子装置，其中，第二子柔性最大逐区块操作和第二逐区块矩阵操作在数据读取次序和数据读取单元方面是相同的。11.一种电子装置，包括：处理器，被配置为：实现包括多个编码器和多个解码器的转换模型；以及缩减电路系统，
其中，所述多个编码器和所述多个解码器中的每个包括注意力块，注意力块被配置为确定注意力值，其中，处理器被配置为：在注意力块中执行第一子柔性最大逐区块操作，其中，缩减电路系统被配置为：基于第一子柔性最大逐区块操作的结果值来执行缩减操作，以确定调整因子，并且其中，处理器被配置为：基于调整因子来执行第二子柔性最大逐区块操作。12.根据权利要求11所述的电子装置，其中，处理器被配置为：在推断操作中，通过从输入数据逐区块检测第一最大值、确定通过从输入数据的每个值减去第一最大值而获得的结果值的第一指数化值并且逐区块确定第一指数化值的第一总和值，来执行第一子柔性最大逐区块操作。13.根据权利要求12所述的电子装置，其中，缩减电路系统包括比较器、加法器
‑
减法器、指数处理器、乘法和除法运算器以及存储器。14.根据权利要求13所述的电子装置，其中，缩减电路系统被配置为：从存储器读取...

【专利技术属性】
技术研发人员：安廷镐，李宣政，李海龙，崔在完，
申请(专利权)人：首尔大学校产学协力团，
类型：发明
国别省市：