数据处理的方法、装置、电子设备及存储介质制造方法及图纸

技术编号:43151703 阅读:27 留言:0更新日期:2024-10-29 17:51
本申请提供一种数据处理的方法、装置、设备以及存储介质,涉及数据处理领域。该数据处理的方法,包括:确定用于对第一张量数据进行分解的分解算法;从张量分解库中确定与所述分解算法相关联的至少一个运算算子;其中,所述张量分解库包括所述至少一个运算算子中的每个运算算子对应的可执行文件;根据所述至少一个运算算子,确定所述分解算法对应的计算图;其中,所述计算图用于表示根据所述至少一个运算算子实现所述分解算法的运算过程;根据所述计算图调用所述至少一个运算算子的接口函数以运行所述至少一个运算算子的可执行文件,得到所述第一张量数据的分解结果。本申请实施例能够实现基于深度学习开发框架的张量分解。

【技术实现步骤摘要】

本申请涉及计算机,并且更具体地,涉及数据处理的方法、装置、设备以及存储介质。


技术介绍

1、tensorflow是基于数据流编程的符号数学系统,作为人工智能研究的需求和性能计算的深度学习开发框架已经被广泛使用。框架整体数据使用张量形式,张量即高维度(如三阶及以上)的数组。张量分解指的是将高阶的张量分解为多个低阶的张量组合的形式,能够较为显著地减少数据量。

2、目前针对张量的研究已开发了多种第三方库,比如matlab环境下的张量分解库,pytorch环境下的张量分解框架等。但是在研究中由于兼容性、便捷性等多种问题这些张量分解方案对于tensorflow框架的支持不佳。因此亟需一种能够用于深度学习开发框架的张量分解方案。


技术实现思路

1、本申请实施例提供了一种数据处理的方法、装置、设备以及存储介质,能够实现基于深度学习开发框架的张量分解。

2、第一方面,提供了一种数据处理的方法,包括:

3、确定用于对第一张量数据进行分解的分解算法;

4、从张量分解库中确定与所述分本文档来自技高网...

【技术保护点】

1.一种数据处理的方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述根据所述计算图调用所述至少一个运算算子的接口函数以运行所述至少一个运算算子的可执行文件,得到所述第一张量数据的分解结果,包括:

3.根据权利要求1所述的方法,其特征在于,还包括:

4.根据权利要求3所述的方法,其特征在于,所述每个运算算子的可执行文件包括运行于GPU文件版本和运行于CPU的文件版本。

5.根据权利要求1所述的方法,其特征在于,还包括:

6.根据权利要求5所述的方法,其特征在于,所述张量类型还包括特定分解算法对应的特定形式张量...

【技术特征摘要】

1.一种数据处理的方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述根据所述计算图调用所述至少一个运算算子的接口函数以运行所述至少一个运算算子的可执行文件,得到所述第一张量数据的分解结果,包括:

3.根据权利要求1所述的方法,其特征在于,还包括:

4.根据权利要求3所述的方法,其特征在于,所述每个运算算子的可执行文件包括运行于gpu文件版本和运行于cpu的文件版本。

5.根据权利要求1所述的方法,其特征在于,还包括:

6.根据权利要求5所述的方法,其特征在于,所述张量类型还包括特定分解算法对应的特定形式张量。

7.根据权利要求1所述的方法,其特征在于,所述至少一个运算算子包括第一运算算子和第二运算算子中的至少一个,其中所述第一运算算子用于对张量数据进行基本操作,所述第二运算算子用于对张量数据分解进行范式操作。

8.根据权利要求7所述的方法,其特征在...

【专利技术属性】
技术研发人员:郝立扬
申请(专利权)人:腾讯科技深圳有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1