【技术实现步骤摘要】
数据处理方法以及装置、文本处理方法以及装置
[0001]本说明书实施例涉及计算机
，特别涉及一种数据处理方法。
技术介绍
[0002]传统神经翻译模型的模型架构主要是由线性变换和非线性激活两大部分构成。随着自然语言处理技术的的不断发展，模型训练和推理过程中带来的能耗预算不可估量，在模型中各个网络层的处理能力很大程度上决定着模型的处理效率；目前在文本处理模型的应用中，注意力层可以对两个文本词组之间计算的相似度，来确定注意力机制权重，并对所有位置表示进行加权求和获得当前位置输出，以实现对文本进行处理；但在文本处理的过程中，由于计算过程中包含高耗能的算子操作，进而，导致注意力层的能耗较高，使得在文本处理的场景下模型的处理性能也较低。
技术实现思路
[0003]有鉴于此，本说明书实施例提供了一种数据处理方法。本说明书一个或者多个实施例同时涉及一种文本处理方法，一种数据处理装置，一种文本处理装置，一种计算设备，一种计算机可读存储介质以及一种计算机程序，以解决现有技术中存在的技术缺陷。
[0004]根据本说...
【技术保护点】
【技术特征摘要】
1.一种数据处理方法，应用于文本处理模型的注意力层，包括：接收第一文本矩阵和第二文本矩阵；对所述第一文本矩阵和所述第二文本矩阵进行离散化处理，获得第一离散文本矩阵和第二离散文本矩阵；提取所述第一离散文本矩阵和所述第二离散文本矩阵的特征信息，生成目标查询矩阵和目标键值矩阵；基于所述目标查询矩阵和所述目标键值矩阵计算矩阵距离，基于所述矩阵距离确定所述第一文本矩阵和所述第二文本矩阵之间的注意力值。2.根据权利要求1所述的数据处理方法，所述提取所述第一离散文本矩阵的特征信息，生成目标查询矩阵，包括：基于所述第一文本矩阵的第一文本长度对所述文本处理模型的第一初始参数矩阵的模型维度进行扩展，获得第一目标参数矩阵；提取所述第一目标参数矩阵以及所述第一离散文本矩阵的特征信息，确定所述第一文本矩阵的目标查询矩阵。3.根据权利要求2所述的数据处理方法，所述提取所述第一目标参数矩阵以及所述第一离散文本矩阵的特征信息，确定所述第一文本矩阵的目标查询矩阵，包括：提取所述第一目标参数矩阵以及所述第一离散文本矩阵的特征信息，确定所述第一文本矩阵的初始查询矩阵；对所述初始查询矩阵中的目标模型维度进行求和处理，获得所述第一文本矩阵的目标查询矩阵。4.根据权利要求1所述的数据处理方法，所述提取所述第二离散文本矩阵的特征信息，生成目标键值矩阵，包括：基于所述第二文本矩阵的第二文本长度对所述文本处理模型的第二初始参数矩阵的模型维度进行扩展，获得第二目标参数矩阵；提取所述第二目标参数矩阵以及所述第二离散文本矩阵的特征信息，确定所述第二文本矩阵的目标键值矩阵。5.根据权利要求4所述的数据处理方法，所述提取所述第二目标参数矩阵以及所述第二离散文本矩阵的特征信息，确定所述第二文本矩阵的目标键值矩阵，包括：提取所述第二目标参数矩阵以及所述第二离散文本矩阵的特征信息，确定所述第二文本矩阵的初始键值矩阵；对所述初始键值矩阵中的目标模型维度进行求和处理，获得所述第二文本矩阵的目标键值矩阵。6.根据权利要求1所述的数据处理方法，所述对所述第一文本矩阵进行离散化处理，获得第一离散文本矩阵，包括：确定预设离散化阈值，比对所述第一文本矩阵中的各个元素值与所述预设离散化阈值；将所述第一文本矩阵中的元素值大于所述预设离散化阈值的元素值替换为第一离散值；将所述第一文本矩阵中的元素值小于等于所述预设离散化阈值的元素值替换为第二
离散值；基于所述第一离散值和所述第二离散值确定所述第一离散文本矩阵。7.根据权利要求1所述的数据处理方法，所述对所述第二文本矩阵进行离散化处理，获得第二离散文本矩阵，包括：确定预设离散化阈值，比对所述第二文本矩阵中的各个元素值与所述预设离散化阈值；将所述第二文本矩阵中的元素值大于所述预设离散化阈值的元素值替换为第一离散值...
【专利技术属性】
技术研发人员：万宇，杨宝嵩，刘大一恒，张海波，陈博兴，谢军，
申请(专利权)人：阿里巴巴达摩院杭州科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。