一种数据处理方法及相关装置制造方法及图纸

本申请公开一种数据处理方法及相关装置，涉及人工智能技术领域，所述方法包括：获得第一、第二数据对象；对第一数据对象进行分割，得到多个第一数据段；对第二数据对象中每个子对象进行分割，得到每个子对象的多个第二数据段；每个第一数据段对应每个子对象中的相应第二数据段，每个第一数据段与所对应第二数据段分别包含的数据按位置匹配为相应待处理数据对；将各第一数据段按并行方式输入运算单元阵列在第一方向的不同运算单元组，将第二数据对象中每个子对象的各第二数据段按并行方式输入运算单元阵列在第二方向的相应运算单元组中的相应运算单元，以在运算单元阵列的第一方向的不同运算单元组并行对输入数据形成的待处理数据对进行数据运算。

【技术实现步骤摘要】

本申请涉及人工智能，尤其涉及一种数据处理方法及相关装置。

技术介绍

1、当前，大模型是ai(artificial intelligence，人工智能)领域最重要的应用之一。在大模型的解码阶段，涉及的主要运算是对向量和矩阵的乘运算，该运算通常依赖于mac(multiply accumulate，乘累加)阵列完成。传统的mac阵列针对矩阵与矩阵的乘运算进行了高度优化，但对于向量与矩阵的乘运算效率较低，通常只能利用mac阵列中的第一行运算单元，会造成运算单元的极度浪费，同时也会造成大量功耗损失，从而导致向量与矩阵的乘运算存在效率低、功耗及资源浪费高、耗时长等问题。

技术实现思路

1、为此，本申请公开如下技术方案：

2、一种数据处理方法，包括：

3、获得第一数据对象和第二数据对象；所述第一数据对象为包括多个第一数据的数据序列，所述第二数据对象包括多个子对象，每个子对象为包括多个第二数据的数据序列；所述第一数据对象中的第一数据与所述第二数据对象中每个子对象包含的第二数据按位置匹配为相应的待处理数本文档来自技高网...

【技术保护点】

1.一种数据处理方法，包括：

2.根据权利要求1所述的数据处理方法，所述将所述多个第一数据段按并行方式输入至运算单元阵列在第一方向上的不同运算单元组，并将所述第二数据对象中每个子对象的各个第二数据段按并行方式输入至所述运算单元阵列在第二方向上的相应运算单元组中的相应运算单元，包括：

3.根据权利要求2所述的数据处理方法，所述将所述第二数据对象中每个子对象的各个第二数据段，按并行方式输入至所述运算单元阵列在相应列的运算单元组中的相应运算单元，包括：

4.根据权利要求2所述的数据处理方法，所述将所述第二数据对象中每个子对象的各个第二数据段，按并行方式输入至...

【技术特征摘要】

1.一种数据处理方法，包括：

2.根据权利要求1所述的数据处理方法，所述将所述多个第一数据段按并行方式输入至运算单元阵列在第一方向上的不同运算单元组，并将所述第二数据对象中每个子对象的各个第二数据段按并行方式输入至所述运算单元阵列在第二方向上的相应运算单元组中的相应运算单元，包括：

3.根据权利要求2所述的数据处理方法，所述将所述第二数据对象中每个子对象的各个第二数据段，按并行方式输入至所述运算单元阵列在相应列的运算单元组中的相应运算单元，包括：

4.根据权利要求2所述的数据处理方法，所述将所述第二数据对象中每个子对象的各个第二数据段，按并行方式输入至所述运算单元阵列在相应列的运算单元组中的相应运算单元，包括：

5.根据权利要求3所述的数据处理方法，所述在所述运算单元阵列的所述第一方向上的不同运算单元组并行对输入数据形成的待处理数据对进行数据运算处理，包括：

6.根据权利要求5所述的数据处理方法，所述运算单元基于多路选择子单元获得从所述各个第二数据段中输入的多个第二数据；

7.根据权利要求1所述的数据处理方法，所述数据运算处理包括乘累加；所述方法还包括：<...

【专利技术属性】
技术研发人员：陈勇，
申请(专利权)人：鼎道智芯上海半导体有限公司，
类型：发明
国别省市：