数据处理方法及装置制造方法及图纸

技术编号:42856466 阅读:22 留言:0更新日期:2024-09-27 17:22
本公开涉及人工智能技术领域,尤其涉及一种数据处理方法及装置,获取到利用目标算子进行当前次处理所需存储的至少一个第一数据块;将第一数据块存储到多个组共享内存中的一个目标组共享内存中,目标组共享内存为多个组共享内存中未存储当前次处理中需计算的第二数据块的一个组共享内存;从多个组共享内存中获取到当前次处理中需计算的至少一个第二数据块,利用目标算子进行至少一个第二数据块的计算得到对应的计算结果;至少一个第二数据块中包括上一次处理中存储的第一数据块和当前次处理中存储的第一数据块。每个数据在计算中仅被加载一次,且不同算子都可实现基于GSM的访存优化,效果显著,算子性能更好,可以更快的速度和效率完成计算。

【技术实现步骤摘要】

本公开涉及人工智能,尤其涉及一种数据处理方法及装置


技术介绍

1、在图像处理、语音识别、自然语言处理等领域,算子(operator)可以指的是执行特定功能的计算单元。这些计算单元可以对张量(tensor)进行各种数学运算和操作,如加法、乘法、矩阵相乘、矩阵转置等。此外,深度学习框架中的算子也是神经网络模型的基本组成单元。这些算子定义了模型的结构和运算流程,包括输入、输出和中间计算。常见的算子包括卷积算子、池化算子、激活函数等,它们被用来构建神经网络的各个层和组件,实现数据的传递、转换和计算。

2、相关技术中,通过各种方式实现对算子的性能优化,然而已有的通过优化访存对算子进行优化的方式效果有限,成为亟待解决的技术问题。


技术实现思路

1、有鉴于此,本公开提出了一种数据处理方法及装置。

2、根据本公开的一方面,提供了一种数据处理方法,所述方法包括:

3、获取到利用目标算子进行当前次处理所需要存储的至少一个第一数据块;

4、针对所述至少一个第一数据块中的任一第一数据本文档来自技高网...

【技术保护点】

1.一种数据处理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述方法还包括:

3.根据权利要求2所述的方法,其特征在于,所述使用状态包括可用状态和不可用状态中的任意一种,所述不可用状态下的组共享内存存储有当前次处理中需要计算的第二数据块,所述可用状态包括空闲状态和存已算数据状态中的任意一种,所述空闲状态下的组共享内存未存储数据,所述存已算数据状态下的组共享内存中存储有上一次处理中已经计算的第二数据块;

4.根据权利要求3所述的方法,其特征在于,所述方法还包括:

5.根据权利要求2所述的方法,其特征在于,针对所...

【技术特征摘要】

1.一种数据处理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述方法还包括:

3.根据权利要求2所述的方法,其特征在于,所述使用状态包括可用状态和不可用状态中的任意一种,所述不可用状态下的组共享内存存储有当前次处理中需要计算的第二数据块,所述可用状态包括空闲状态和存已算数据状态中的任意一种,所述空闲状态下的组共享内存未存储数据,所述存已算数据状态下的组共享内存中存储有上一次处理中已经计算的第二数据块;

4.根据权利要求3所述的方法,其特征在于,所述方法还包括:

5.根据权利要求2所述的方法,其特征在于,针对所述至少一个第一数据块中的任一第一数据块,将该第一数据块存储到多个组共享内存中的一个目标组共享内存中,包括以下步骤中的至少一个:

6.根据权利要求2所述的方法,其特征在于,针对所述至少一个第一数据块中的任一第一数据块,...

【专利技术属性】
技术研发人员:请求不公布姓名请求不公布姓名请求不公布姓名
申请(专利权)人:上海壁仞科技股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1