一种基于机器学习的数据处理方法及装置制造方法及图纸

本发明专利技术实施例提供了一种基于机器学习的数据处理方法及装置，解决了SoftMax模块实现自注意力机制较为困难的问题。本发明专利技术一实施例提供的一种基于机器学习的数据处理方法包括：接收数字序列，基于所述数字序列中对象的数目得到索引序列；基于所述索引序列在现实查询表进行权重查询以得到概率序列；基于所述概率序列对机器学习系统进行配置。列对机器学习系统进行配置。列对机器学习系统进行配置。

【技术实现步骤摘要】
一种基于机器学习的数据处理方法及装置


[0001]本专利技术涉及机器学习
，具体涉及一种基于机器学习的数据处理方法及装置。

技术介绍

[0002]最近两年，注意力模型(Attention Model)被广泛使用在自然语言处理、图像识别及语音识别等各种不同类型的深度学习任务中，是深度学习技术中最值得关注与深入了解的核心技术之一。
[0003]由于注意力模型的SoftMax模块对某些特征的权重高于其他特征，从而使整个系统聚焦于图像的特定区域，因此SoftMax模块中的归一化是必不可少的，如果删除SoftMax模块的归一化，则SoftMax不能再构成注意力机制，而仅表示对特征进行点乘。在现有的SoftMax模块中需要一个预先计算的除法去实现自注意力机制，这就使得在密集使用时会增加计算难度和时间，从而导致在FPGA中实现transformer模块和自注意力机制是困难的。

技术实现思路

[0004]有鉴于此，本专利技术实施例提供了一种基于机器学习的数据处理方法及装置，解决了SoftMax模块实现自注意力机制较为困难的问题。<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于机器学习的数据处理方法，其特征在于，包括：接收数字序列，基于所述数字序列中对象的数目得到索引序列；基于所述索引序列在现实查询表进行权重查询以得到概率序列；基于所述概率序列对机器学习系统进行配置。2.根据权利要求1所述的基于机器学习的数据处理方法，其特征在于，所述数字序列包括预设数量的数字；所述基于所述数字序列中对象的数目得到索引序列的步骤包括：基于所述数字序列得到所述预设数量的整数；将所述预设数量的整数按照第一预设规则进行排列得到所述索引系列。3.根据权利要求1所述的基于机器学习的数据处理方法，其特征在于，所述基于所述索引序列在现实查询表进行权重查询以得到概率序列的步骤包括：基于所述索引序列从所述现实查询表中获得所述索引序列中每个对象的权重；基于所述每个对象的权重按照第二预设规则进行排序以得到所述概率序列。4.根据权利要求1所述的基于机器学习的数据处理方法，其特征在于，所述现实查询表中的数据为浮点格式数值；所述现实查询表中所有数据之和等于1。5.根据权利要求1所述的基于机器学习的数据处理方法，其特征在于，所述现实查询表中的数据为整数格式数值，所述现实查询表中所有数据为2的幂。6.根据权利要求1所述的基于机器学习的数据处理方...

【专利技术属性】
技术研发人员：那彦波，段然，
申请(专利权)人：京东方科技集团股份有限公司，
类型：发明
国别省市：