【技术实现步骤摘要】
本说明书实施例涉及计算机，特别涉及一种数据处理方法及计算设备、计算机可读存储介质。
技术介绍
1、机器学习模型在语言处理，图像处理，语音处理等领域都取得了很大的成功，为各种分类，问答等任务提供了强大的特征表示。
2、然而，预训练的机器学习模型在没有微调的情况下，生成的句子表示存在各向异性问题，即句子表示在高维空间中分布不均匀，导致在例如特征相似度，分类等任务上表现不佳。因此，如何处理机器学习模型提取的特征，达到更好的特征表示，是一个亟需解决的重要问题。
技术实现思路
1、有鉴于此，本说明书实施例提供了一种数据处理方法。本说明书一个或者多个实施例同时涉及一种计算设备，一种计算机可读存储介质以及一种计算机程序，以解决现有技术中存在的技术缺陷。
2、根据本说明书实施例的第一方面，提供了一种数据处理方法，包括：将输入数据输入机器学习模型，获得所述机器学习模型针对输入数据生成的特征表示；基于所述机器学习模型对所述输入数据的注意力权重，确定所述特征表示的各个特征维度相对于所述特征表示的重要度；利用所述各个特征维度的所述重要度，对所述特征表示进行调整，得到调整后的特征表示。
3、根据本说明书实施例的第二方面，提供了一种数据处理方法，应用于端侧设备，包括：向云侧设备发送数据处理请求，使所述云侧设备根据所述数据处理请求，确定所述机器学习模型和所述输入数据,获得所述机器学习模型针对输入数据生成的特征表示，基于所述机器学习模型对所述输入数据的注意力权重，确定所述特征表
4、根据本说明书实施例的第三方面，提供了一种数据处理方法，包括：接收用户发送的文本数据处理请求，其中，所述文本数据处理请求携带待处理文本；将所述待处理文本输入机器学习模型，获得所述机器学习模型针对所述待处理文本生成的句子表示；基于所述机器学习模型对所述待处理文本的注意力权重，确定所述特征表示的各个特征维度相对于所述句子表示的重要度；利用所述各个特征维度的所述重要度，对所述句子表示进行调整，得到调整后的句子表示；获得所述机器学习模型基于所述调整后的句子表示生成的文本处理结果；向所述用户返回所述文本处理结果。
5、根据本说明书实施例的第四方面，提供了一种计算设备，包括：存储器和处理器；所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令，该计算机可执行指令被处理器执行时实现上述数据处理方法的步骤。
6、根据本说明书实施例的第五方面，提供了一种计算机可读存储介质，其存储有计算机可执行指令，该指令被处理器执行时实现上述数据处理方法的步骤。
7、根据本说明书实施例的第六方面，提供了一种计算机程序，其中，当所述计算机程序在计算机中执行时，令计算机执行上述数据处理方法的步骤。
8、本说明书一个实施例实现了数据处理方法，由于该方法将输入数据输入机器学习模型，获得所述机器学习模型针对输入数据生成的特征表示，基于所述机器学习模型对所述输入数据的注意力权重，确定所述特征表示的各个特征维度相对于所述特征表示的重要度，利用所述各个特征维度的所述重要度，对所述特征表示进行调整，得到调整后的特征表示，从而调整后的特征表示能够有效地表达特征的重要性，减少无信息输入数据对特征表示的影响，实现了一种无监督的特征表示处理方案。可见，该方案通过注意力权重确定的重要度来改善预训练的机器学习模型在没有微调的情况下生成的特征表示，不需要额外增加参数，也不需要额外的学习过程，利用预训练的机器学习模型本身的信息，就可以生成更好的特征表示，有效缓解各向异性问题，显著地改善各种预训练的机器学习模型执行任务的性能。
本文档来自技高网...【技术保护点】
1.一种数据处理方法，包括：
2.根据权利要求1所述的方法，所述利用所述各个特征维度的所述重要度，对所述特征表示进行调整，得到调整后的特征表示，包括：
3.根据权利要求2所述的方法，所述利用所述各个特征维度的所述重要度，对所述特征表示进行加权计算，得到调整后的特征表示，包括：
4.根据权利要求1所述的方法，所述机器学习模型包括：输入层、一个或多个隐藏层和输出层，其中，至少一个所述隐藏层中包含注意力单元，所述注意力单元用于基于注意力机制在输入的各个特征维度上赋予注意力权重，所述注意力权重形成注意力矩阵；
5.根据权利要求4所述的方法，所述将输入数据输入机器学习模型，获得所述机器学习模型针对输入数据生成的特征表示，包括：
6.根据权利要求5所述的方法，所述基于至少一个隐藏层输出的所述更新特征表示的各个特征维度的重要度，对所述更新特征表示进行调整，得到调整后的特征表示，包括：
7.根据权利要求4所述的方法，还包括：
8.根据权利要求1所述的方法，在所述获得所述机器学习模型针对输入数据生成的特征表示之前，
9.一种数据处理方法，应用于端侧设备，包括：
10.一种数据处理方法，包括：
11.根据权利要求10所述的方法，所述向所述用户返回所述文本处理结果之后，还包括：
12.一种计算设备，包括：
13.一种计算机可读存储介质，其存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现权利要求1至11任意一项所述数据处理方法的步骤。
...【技术特征摘要】
1.一种数据处理方法，包括：
2.根据权利要求1所述的方法，所述利用所述各个特征维度的所述重要度，对所述特征表示进行调整，得到调整后的特征表示，包括：
3.根据权利要求2所述的方法，所述利用所述各个特征维度的所述重要度，对所述特征表示进行加权计算，得到调整后的特征表示，包括：
4.根据权利要求1所述的方法，所述机器学习模型包括：输入层、一个或多个隐藏层和输出层，其中，至少一个所述隐藏层中包含注意力单元，所述注意力单元用于基于注意力机制在输入的各个特征维度上赋予注意力权重，所述注意力权重形成注意力矩阵；
5.根据权利要求4所述的方法，所述将输入数据输入机器学习模型，获得所述机器学习模型针对输入数据生成的特征表示，包括：
6.根据权利...
【专利技术属性】
技术研发人员：陈谦，王雯，张庆林，郑斯奇，邓憧，于海，刘嘉庆，马煜坤，张冲，
申请(专利权)人：浙江阿里巴巴机器人有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。