【技术实现步骤摘要】
一种数据处理方法及相关装置
[0001]本申请涉及人工智能领域，尤其涉及一种数据处理方法及相关装置。
技术介绍
[0002]人工智能(artificial intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式作出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
[0003]近年来，随着计算芯片技术和大规模计算集群的快速发展，越来越多的大模型开始出现，千亿甚至万亿级别的大模型成为最近甚至未来一段时间的主流技术趋势。但是，大模型最核心的问题在于，训练和使用成本极其高昂，通常需要数百块，甚至几千块GPU、TPU或者NPU芯片等计算单元组成的超大规模集群，计算数周甚至数个月时间，成本以百万至千万美元计。这个核心问题的另一个问题是，成本如此高昂的模型，如何设计...
【技术保护点】
【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：根据目标映射关系，确定目标词向量token对应的一个或多个目标网络单元以及所述一个或多个目标网络单元的存储地址，所述存储地址对应的存储空间位于计算单元之外的存储空间；从所述存储地址对应的存储空间中获取所述一个或多个目标网络单元；所述一个或多个目标网络单元用于构建神经网络；根据所述目标词向量，通过所述计算单元执行所述神经网络对应的训练过程。2.根据权利要求1所述的方法，其特征在于，不同的所述目标网络单元为不同的前向传播网络FFN。3.根据权利要求1或2所述的方法，其特征在于，所述计算单元为图形处理器GPU、张量处理器TPU或者神经网络处理器NPU。4.根据权利要求1至3任一所述的方法，其特征在于，所述存储地址对应的存储空间位于内存、网络存储器或者硬盘。5.根据权利要求1至4任一所述的方法，其特征在于，所述目标映射关系包括第一目标映射关系，所述第一目标映射关系指示多个词向量以及每个词向量对应的一个或多个网络单元，所述第一目标映射关系具体为多级映射表。6.根据权利要求1至5任一所述的方法，其特征在于，所述通过所述计算单元执行所述目标神经网络对应的训练过程用于得到更新后的目标神经网络，所述更新后的目标神经网络包括更新后的所述一个或多个目标网络单元，所述方法还包括：根据所述更新后的所述一个或多个目标网络单元，更新所述存储地址对应的存储空间中的数据。7.根据权利要求1至6任一所述的方法，其特征在于，在所述根据目标映射关系，确定目标词向量对应的一个或多个目标网络单元以及所述一个或多个目标网络单元的存储地址之前，所述方法还包括：接收到用户针对于第二目标映射关系的修改信息，其中，所述第二目标映射关系包括多个词向量以及每个词向量对应的网络单元；根据所述修改信息，修改第二目标映射关系，以得到所述目标映射关系。8.根据权利要求5至7任一所述的方法，其特征在于，所述修改信息用于指示如下的至少一种：对所述第二目标映射关系中至少一个词向量对应的网络单元的删除、替换或者增加；对所述第二目标映射关系中包括的映射关系的删除、替换或者增加，所述映射关系为词向量以及词向量对应的网络单元。9.根据权利要求1至6任一所述的方法，其特征在于，在所述根据目标映射关系，确定目标词向量对应的一个或多个目标网络单元以及所述一个或多个目标网络单元的存储地址之前，所述方法还包括：在通过所述目标词向量对所述神经网络执行训练过程中，基于训练损失的下降程度低于阈值，对第二目标映射关系中所述目标词向量对应的网络单元进行增加，以得到所述目标映射关系。10.根据权利要求1至9任一所述的方法，其特征在于，所述所述目标映射关系包括多个
词单元以及每个词单元对应的网络单元，所述方法还包括：根据收敛后所述神经网络，从所述目标映射关系中包括的多个词单元中确定部分词单元对应的网络单元，所述收敛后所述神经网络中所述部分词单元对应的网络单元用于构建目标神经网络；所述目标神经网络用于进行模型推理。11.一种数据处理装置，其特征在于，所述装置包括：处理模块，用于根据目标映射关系，确定目标词向量token对应的一个或多个目标网络单元以及所述一个或多个目标网络单元的存储地址，所述存储地址对应的存储空间位于计算单元之外的存储空间；从所述存储地址对应的存储空间中获取所述一个...
【专利技术属性】
技术研发人员：任晓哲，周平义，蒙新泛，王雅圣，魏建生，蒋欣，苏腾，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。