数据处理方法、装置及计算机设备、存储介质、产品制造方法及图纸

技术编号:39294804 阅读:18 留言:0更新日期:2023-11-07 11:02
本申请公开了数据处理方法、装置及计算机设备、存储介质、产品,其中,方法包括:获取语音数据处理模型的模型推理图,模型推理图是对语音数据处理模型的训练前向图中包括调用缓存数据的各个网络层统一输入输出接口后生成的;确定模型推理图的总输入缓存数据、初始偏移量和初始输入数据;基于总输入缓存数据、初始偏移量和初始输入数据确定模型推理图每个网络层的输出缓存数据、输出偏移量和输出数据;基于多个网络层的输出缓存数据、输出偏移量和输出数据确定模型推理图的目标输出缓存数据、目标输出偏移量和目标输出数据。通过该方法,实现了模型推理图的输入输出接口的统一,通过偏移量就能查询输入缓存数据,从而提升了模型推理图的导出效率。理图的导出效率。理图的导出效率。

【技术实现步骤摘要】
数据处理方法、装置及计算机设备、存储介质、产品


[0001]本申请涉及计算机
,尤其涉及数据处理方法、数据处理装置、计算机设备、计算机可读存储介质以及计算机程序产品。

技术介绍

[0002]基于神经网络的人工智能模型在实际的应用中,由于模型前向推理过程相比于训练过程往往需要精简一部分算子操作,使得输入到输出过程中的数据流会存在一定的差异。因此,为了解决这一问题,出现了模型推理图这一概念,通过模型推理图可以将人工智能模型的前向过程进行修改或者重新设计,保证在计算结果正确的前提下,实现人工智能模型的部署与落地。
[0003]针对自然语言处理领域(例如语音识别领域)的人工智能模型的模型推理图的输出数据需要依赖于当前输入数据和历史数据,在这类模型推理图的导出过程中需要通过大幅改变代码实现对涉及到的函数接口的输入输出参数的修改,然后将所有的历史信息变量汇总到一起后,再到具体的每一层网络中进行拆解,从而实现模型推理图的导出,对于此类方法,若要修改模型推理图中的网络结构,则会存在以下问题:(1)部分层的输入和输出的历史信息不止一个,若产生变化(本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法,其特征在于,所述方法包括:获取语音数据处理模型的模型推理图,所述模型推理图是对所述语音数据处理模型的训练前向图中的目标网络层统一输入输出接口后生成的,所述目标网络层包括调用缓存数据的各个网络层,所述模型推理图包括多个网络层;确定所述模型推理图的总输入缓存数据、初始偏移量以及初始输入数据;基于所述总输入缓存数据、所述初始偏移量以及所述初始输入数据,确定所述多个网络层中每个网络层的输出缓存数据、输出偏移量以及输出数据;基于所述多个网络层的输出缓存数据、输出偏移量以及输出数据,确定所述模型推理图的目标输出缓存数据、目标输出偏移量以及目标输出数据。2.根据权利要求1所述的方法,其特征在于,所述基于所述总输入缓存数据、所述初始偏移量以及所述初始输入数据,确定所述多个网络层中每个网络层的输出缓存数据、输出偏移量以及输出数据,包括:基于所述初始偏移量以及所述总输入缓存数据,确定所述每个网络层的输入缓存数据以及输出偏移量;基于所述初始输入数据以及所述每个网络层的输入缓存数据,确定所述每个网络层的输出缓存数据以及输出数据。3.根据权利要求2所述的方法,其特征在于,所述基于所述初始偏移量以及所述总输入缓存数据,确定所述每个网络层的输入缓存数据以及输出偏移量,包括:将所述初始偏移量作为所述多个网络层中第一个网络层的输入偏移量;基于所述第一个网络层的输入偏移量以及所述总输入缓存数据,确定所述第一个网络层的输入缓存数据以及输出偏移量;将所述多个网络层中第i个网络层的输出偏移量作为第i+1个网络层的输入偏移量,所述i为大于或等于1的整数;基于所述第i+1个网络层的输入偏移量以及所述总输入缓存数据,确定所述第i+1个网络层的输入缓存数据以及输出偏移量。4.根据权利要求3所述的方法,其特征在于,所述第i+1个网络层包括多个网络结构,所述基于所述第i+1个网络层的输入偏移量以及所述总输入缓存数据,确定所述第i+1个网络层的输入缓存数据以及输出偏移量,包括:将所述第i+1个网络层的输入偏移量作为所述多个网络结构中第一个网络结构的输入偏移量,并基于所述第一个网络结构的输入偏移量从所述总输入缓存数据中查询所述第一个网络结构的输入缓存数据;基于第j个网络结构的输入偏移量以及所述第j个网络结构的输入缓存数据的大小,确定第j+1个网络结构的输入偏移量,所述j为大于或等于1的整数;基于所述第j+1个网络结构的输入偏移量,从所述总输入缓存数据中查询所述第j+1个网络结构的输入缓存数据;基于最后一个网络结构的输入偏移量以及所述最后一个网络结构的输入缓存数据的大小,确定所述第i+1个网络层的输出偏移量。5.根据权利要求2

4任一项所述的方法,其特征在于,所述基于所述初始输入数据以及所述每个网络层的输入缓存数据,确定所述每个网络层的输出缓存数据以及输出数据,包
括:将所述初始输入数据作为所述多个网络层中第一个网络层的输入数据;基于所述第一个网络层的输入数据以及输入缓存数据,确定所述第一个网络层的输出缓存数据以及输出数据;将所述多个网络层中第k个网络层的输出数据作为第k+1个网络层的输入数据,所述k为大于或等于1的整数;基于所述第k+1个网络层的输入数据以及输入缓存数据,确定所述第k+1个网络层的输出缓存数据以及输出数据。6.根据权利要求5所述的方法,其特征在于,所述第k+1个网络层包括多个网络结构,所述基于所述第k+1个网络层的输入数据以及输入缓存数据,确定所述第k+1个网络层的输出缓存数据以及输出数据,包括:将所述第k+1个网络层的输入数据作为所述多个网络结构中第一个网络...

【专利技术属性】
技术研发人员:王雄
申请(专利权)人:腾讯科技深圳有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1