一种基于机器学习的数据处理方法及装置制造方法及图纸

本发明专利技术实施例提供了一种基于机器学习的数据处理方法及装置，解决了SoftMax模块实现自注意力机制较为困难的问题。本发明专利技术一实施例提供的一种基于机器学习的数据处理方法包括：接收数字序列，基于所述数字序列中对象的数目得到索引序列；基于所述索引序列在现实查询表进行权重查询以得到概率序列；基于所述概率序列对机器学习系统进行配置。列对机器学习系统进行配置。列对机器学习系统进行配置。

【技术实现步骤摘要】
一种基于机器学习的数据处理方法及装置


[0001]本专利技术涉及机器学习
，具体涉及一种基于机器学习的数据处理方法及装置。

技术介绍

[0002]最近两年，注意力模型(Attention Model)被广泛使用在自然语言处理、图像识别及语音识别等各种不同类型的深度学习任务中，是深度学习技术中最值得关注与深入了解的核心技术之一。
[0003]由于注意力模型的SoftMax模块对某些特征的权重高于其他特征，从而使整个系统聚焦于图像的特定区域，因此SoftMax模块中的归一化是必不可少的，如果删除SoftMax模块的归一化，则SoftMax不能再构成注意力机制，而仅表示对特征进行点乘。在现有的SoftMax模块中需要一个预先计算的除法去实现自注意力机制，这就使得在密集使用时会增加计算难度和时间，从而导致在FPGA中实现transformer模块和自注意力机制是困难的。

技术实现思路

[0004]有鉴于此，本专利技术实施例提供了一种基于机器学习的数据处理方法及装置，解决了SoftMax模块实现自注意力机制较为困难的问题。
[0005]本专利技术一实施例提供的一种基于机器学习的数据处理方法包括：接收数字序列，基于所述数字序列中对象的数目得到索引序列；基于所述索引序列在现实查询表进行权重查询以得到概率序列；基于所述概率序列对机器学习系统进行配置。
[0006]在一种实施方式中，所述数字序列包括预设数量的数字；所述基于所述数字序列中对象的数目得到索引序列的步骤包括：基于所述数字序列得到所述预设数量的整数；将所述预设数量的整数按照第一预设规则进行排列得到所述索引系列。
[0007]在一种实施方式中，所述基于所述索引序列在现实查询表进行权重查询以得到概率序列的步骤包括：基于所述索引序列从所述现实查询表中获得所述索引序列中每个对象的权重；基于所述每个对象的权重按照第二预设规则进行排序以得到所述概率序列。
[0008]在一种实施方式中，所述现实查询表中的数据为浮点格式数值；所述现实查询表中所有数据之和等于1。
[0009]在一种实施方式中，所述现实查询表中的数据为整数格式数值，所述现实查询表中所有数据为2的幂。
[0010]在一种实施方式中，所述现实查询表包括固定值和预定值。
[0011]一种机器学习系统的配置装置，包括：接收模块，用于接收数字序列；处理模块，用于基于所述数字序列中对象的数目得到索引序列；基于所述索引序列在现实查询表进行权重查询以得到概率序列；配置模块，用于基于所述概率序列对机器学习系统进行配置。
[0012]在一种实施方式中，所述数字序列包括预设数量的数字；所述处理模块还用于：基于所述数字序列得到与所述预设数量相等数量的整数；将所述所述预设数量的整数按照第
一预设规则进行排列得到所述索引系列；基于所述索引序列从所述现实查询表中获得所述索引序列中每个对象的权重；基于所述每个对象的权重按照第二预设规则进行排序以得到所述概率序列。
[0013]一种电子设备，包括存储器和处理器，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行时实现上述所述的基于机器学习的数据处理方法。
[0014]一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时用以实现上述所述的基于机器学习的数据处理方法。
[0015]本专利技术实施例提供的一种基于机器学习的数据处理方法及装置，通过接收数字序列，基于所述数字序列中对象的数目得到索引序列；基于所述索引序列在现实查询表进行权重查询以得到概率序列；基于所述概率序列对机器学习系统进行配置。通过本专利技术所述的基于机器学习的数据处理方法，消除了自注意力机制和transformer模块中应用SoftMax模块时归一化所需的除法运算，并允许在没有除法运算的情况下应用自注意机制和transformer模块，从而在图像和视频处理等应用中支持非常高的数据吞吐量。
附图说明
[0016]图1所示为现有技术中的一种卷积神经网络的结构示意图。
[0017]图2所示为现有技术中的一种SoftMax模块输入输出的示意图。
[0018]图3所示为本专利技术一实施例提供的一种基于机器学习的数据处理方法的流程图。
[0019]图4所示为本专利技术一实施例提供的一种得到索引序列方法的流程图。
[0020]图5所示为本专利技术一实施例提供的一种得到概率序列方法的流程图。
[0021]图6所示为本专利技术一实施例提供的一种分级SoftMax模块输入输出示意图。
[0022]图7所示为本专利技术一实施例提供的一种机器学习装置的结构示意图。
具体实施方式
[0023]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0024]卷积神经网络，或简称卷积网络，是一种使用图像作为输入/输出并用滤波器(卷积)代替标量权重的神经网络结构。作为示例，图1显示了一个包含3层的简单结构。该结构在左侧获取4个输入图像，在中间的隐藏层有3个单元(输出图像)，在输出层有2个单元，生成2个输出图像。每个权重为的框对应一个过滤器(例如3x3或5x5内核)，其中k是表示输入层编号的标签，i和j分别是表示输入和输出单位的标签。偏置是加在卷积输出上的标量。添加多个卷积和偏置的结果随后通过激活函数，激活函数常对应于整流线性单元(ReLU)、sigmoid函数或双曲正切等。滤波器和偏置在系统运行期间固定，通过使用一组输入/输出示例图像的训练过程获得，并根据应用程序进行调整以符合某些优化标准。典型配置包括每层十分之一或数百个过滤器。通常具有3层的网络被视为浅层，而大于5或10层的
网络通常被视为深层。
[0025]自注意力机制可以作为“Transformer”模块的一部分；“Transformer”模块的基本思想是使用3个输入，分别为：查询(Q)、键(K)和值(V)，而注意功能可以描述为将查询和一组键值对映射到输出，其中查询、键、值和输出都是向量，输出作为值的加权和计算，其中分配给每个值的权重由查询与相应键的兼容函数计算。
[0026]transformer模块中的自注意力机制的一个基本模块是SoftMax模块，如图2所示，该模块计算每个输入特征的指数函数，并归一化输出，使所有特征之和等于1，其中输入包括N个数字的序列，N个数字分别为x1～x
n
，输出概率系列包括N个对象，分别为p1～pn；其中，注意力模型在计算机视觉中的一些应用，如图像分类等，需要很少的除法运算来解决问题，这是因为该算法在执行除法运算之前将图像的分辨率降低了几倍，其他应用，如图像恢复和增强，需要对大图像中的每个输出像素进行一次除法运算。在此类应用中，S本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于机器学习的数据处理方法，其特征在于，包括：接收数字序列，基于所述数字序列中对象的数目得到索引序列；基于所述索引序列在现实查询表进行权重查询以得到概率序列；基于所述概率序列对机器学习系统进行配置。2.根据权利要求1所述的基于机器学习的数据处理方法，其特征在于，所述数字序列包括预设数量的数字；所述基于所述数字序列中对象的数目得到索引序列的步骤包括：基于所述数字序列得到所述预设数量的整数；将所述预设数量的整数按照第一预设规则进行排列得到所述索引系列。3.根据权利要求1所述的基于机器学习的数据处理方法，其特征在于，所述基于所述索引序列在现实查询表进行权重查询以得到概率序列的步骤包括：基于所述索引序列从所述现实查询表中获得所述索引序列中每个对象的权重；基于所述每个对象的权重按照第二预设规则进行排序以得到所述概率序列。4.根据权利要求1所述的基于机器学习的数据处理方法，其特征在于，所述现实查询表中的数据为浮点格式数值；所述现实查询表中所有数据之和等于1。5.根据权利要求1所述的基于机器学习的数据处理方法，其特征在于，所述现实查询表中的数据为整数格式数值，所述现实查询表中所有数据为2的幂。6.根据权利要求1所述的基于机器学习的数据处理方...

【专利技术属性】
技术研发人员：那彦波，段然，
申请(专利权)人：京东方科技集团股份有限公司，
类型：发明
国别省市：