【技术实现步骤摘要】
本申请涉及人工智能(artificial intelligence，ai)，尤其涉及一种模型的数据运算方法及相关装置。
技术介绍
1、近年来，以深度学习为代表的ai技术获得长足发展，在计算机视觉、自然语言处理等领域都取得不错的效果。为了提高ai模型的开发效率和计算性能，业界往往会采用ai计算框架来进行ai模型的表达和计算。ai计算框架通常会提供成百上千个不同类型的算子供用户使用。多个算子相互连接形成计算图，从而对应一个具体的ai模型。不同的算子在执行时以一个或多个张量(tensor)作为计算输入参数，然后调用相匹配的核函数进行对应计算，最后以一个或多个张量作为输出结果。
2、为了提升ai计算性能，业界ai计算框架普遍使用算子融合来提升性能，即将计算图中的一个或多个相邻的算子节点合并为一个新的融合算子进行整体计算执行。由于不同计算图可融合的算子组合非常巨大，目前普遍使用自动核函数编译技术来生成融合算子对应的核函数。自动核函数编译，是指根据融合算子对应的计算语义，以及输入张量和输出张量的形状，自动生成可在设备直接执行的机器指令。
3、然本文档来自技高网...
【技术保护点】
1.一种数据运算方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述至少一个字节码指令还用于指示将所述输入张量切分为多个部分来分别执行运算操作；
3.根据权利要求2所述的方法，其特征在于，所述至少一个字节码指令包括切分数量，所述切分数量用于指示将所述输入张量进行切分的数量。
4.根据权利要求3所述的方法，其特征在于，所述切分数量大于或等于所述多个虚拟机实例的数量。
5.根据权利要求1-4任意一项所述的方法，其特征在于，所述方法还包括：
6.根据权利要求1-5任意一项所述的方法，其特征在于，...
【技术特征摘要】
1.一种数据运算方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述至少一个字节码指令还用于指示将所述输入张量切分为多个部分来分别执行运算操作；
3.根据权利要求2所述的方法，其特征在于，所述至少一个字节码指令包括切分数量，所述切分数量用于指示将所述输入张量进行切分的数量。
4.根据权利要求3所述的方法，其特征在于，所述切分数量大于或等于所述多个虚拟机实例的数量。
5.根据权利要求1-4任意一项所述的方法，其特征在于，所述方法还包括：
6.根据权利要求1-5任意一项所述的方法，其特征在于，在所述生成至少一个字节码指令后，所述方法还包括：
7.根据权利要求1-6任意一项所述的方法，其特征在于，所述基于所述计算图以及所述输入张量的形状，生成至少一个字节码指令，包括：
8.根据权利要求7所述的方法，其特征在于，所述基于所述计算图转换得到第一元算子图，包括：
9.根据权利要求1-6任意一项所述的方法，其特征在于，所述获取计算图，包括：
10.根据权利要求1-9任意一项所述的方法，其特征在于，所述至少一个字节码指令包括指令标识，所述虚拟机用于基于所述指令标识调用与所述至少一个字节码指令对应的处理函数来处理所述至少一个字节码指令。
11.根据权利要求1-10任意一项所述的方法，其特征在于，所述至少一个字节码指令包括数据类型标识，所述数据类型标识用于指示所述输入张量的数据类型。
12.根据权利要求5所述的方法，其特征在于，所述至少一个字节码指令还用于指示所述输入张量的存储地址以及所述输出张量的存储地址，且所述输入张量的存储地址和所述输出张量的存储地址均为所述局部内存中的地址。
13.一种模型的数据运算装置，其特征在于，包括：
14.根据权利要求13所述的装置，其特征在于，所述至少一个字节码指令还用于指示将所述输入张量切分为多个部分来分别执行运算操作；
15.根据权利要求14所述的装置，其...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。