【技术实现步骤摘要】
数据处理方法、装置和服务器
本说明书属于互联网
,尤其涉及数据处理方法、装置和服务器。
技术介绍
基于现有的数据处理方法,用户在已有的机器学习框架(例如,Tensorflow框架等)中使用自定义类型(一种由用户自定义扩展出的数据类型)的数据时,已有的机器学习框架往往无法支持上述自定义类型的数据,上述自定义类型的数据也无法在机器学习框架中正常流动,导致现有的数据处理方法具体实施时,存在基于已有的机器学习框架,无法支持例如构建前向逻辑图、反向梯度图等涉及自定义类型的数据的数据处理的技术问题。针对上述问题,目前尚未提出有效的解决方案。
技术实现思路
本说明书提供了一种数据处理方法、装置和服务器,以解决现有方法中存在的基于已有的预设的机器学习框架无法支持进行例如构建前向逻辑图、反向梯度图等涉及自定义类型的数据的数据处理的技术问题,使得用户可以方便、高效地利用已有的预设的机器学习框架,在不需要对框架作较大修改的情况下,正常使用自定义类型数据进行相应的数据处理,简化了用户的操作,提高了用户的使用体验。本说明书实施例提供了一种数据处理方法,包括:确定目标算子;其中,所述目标算子包括自定义类型的数据流经的算子,所述自定义类型包括用户自定义的数据类型;确定出所述自定义类型和基础张量类型之间的映射关系;其中,所述基础张量类型包括预设的机器学习框架所支持的原生张量类型;根据所述映射关系,将输入目标算子的自定义类型的数据拆分成多个并列的基础张量类型的数据的组合;将目标算子内部 ...
【技术保护点】
1.一种数据处理方法,其特征在于,包括:/n确定目标算子;其中,所述目标算子包括自定义类型的数据流经的算子,所述自定义类型包括用户自定义的数据类型;/n确定出所述自定义类型和基础张量类型之间的映射关系;其中,所述基础张量类型包括预设的机器学习框架所支持的原生张量类型;/n根据所述映射关系,将输入目标算子的自定义类型的数据拆分成多个并列的基础张量类型的数据的组合;将目标算子内部的计算逻辑修改为多个并列的子计算逻辑,以得到修改后的目标算子;/n利用预设的机器学习框架,根据所述修改后的目标算子进行数据处理。/n
【技术特征摘要】
1.一种数据处理方法,其特征在于,包括:
确定目标算子;其中,所述目标算子包括自定义类型的数据流经的算子,所述自定义类型包括用户自定义的数据类型;
确定出所述自定义类型和基础张量类型之间的映射关系;其中,所述基础张量类型包括预设的机器学习框架所支持的原生张量类型;
根据所述映射关系,将输入目标算子的自定义类型的数据拆分成多个并列的基础张量类型的数据的组合;将目标算子内部的计算逻辑修改为多个并列的子计算逻辑,以得到修改后的目标算子;
利用预设的机器学习框架,根据所述修改后的目标算子进行数据处理。
2.根据权利要求1所述的方法,其特征在于,在将目标算子内部的计算逻辑修改为多个并列的子计算逻辑之后,所述方法还包括:将目标算子中经由多个并列的子计算逻辑输出的多个并列的基础张量类型的数据还原为自定义类型的数据,以得到修改后的目标算子。
3.根据权利要求1所述的方法,其特征在于,所述预设的机器学习框架包括Tensorflow框架。
4.根据权利要求1所述的方法,其特征在于,所述确定出所述自定义类型和基础张量类型之间的映射关系,包括:
确定所述自定义类型的数值存储长度,以及基础张量类型的数值存储长度;
根据所述自定义类型的数值存储长度,和所述基础张量类型的数值存储长度之间的比值,确定出一个自定义类型的数据所对应的基础张量类型的数据的个数,作为所述自定义类型和基础张量类型之间的映射关系。
5.根据权利要求1所述的方法,其特征在于,所述利用预设的机器学习框架,根据所述修改后的目标算子进行数据处理,包括:
利用预设的机器学习框架,根据所述修改后的目标算子,构建前向逻辑图,和/或,构建反向梯度图。
6.根据权利要求5所述的方法,其特征在于,在得到修改后的目标算子之后,所述方法还包括:
在前端层添加自定义类型;
根据所述自定义类型和基础张量类型之间的映射关系,在前端层封装所述预设的机器学习框架中的原生张量类型的数据接口,并构建得到与自定义类型匹配的自定义数据接口;其中,所述自定义数据接口提供给用户,用于输入和/或输出自定义类型的数据。
7.根据权利要求6所述的方法,其特征在于,利用预设的机器学习框架,根据所述修改后的目标算子,构建前向逻辑图,包括:
检测自定义数据接口接收的第一输入数据是否符合自定义类型;
在确定所述第一输入数据不符合自定义类型的情况下,将所述第一输入数据转换为自定义类型的第一输入数据;
调用修改后的目标算子对所述自定义类型的第一输入数据进行处理,以得到对应的前向逻辑图。
8.根据权利要求6所述的方...
【专利技术属性】
技术研发人员:史俊杰,谢翔,陈元丰,晏意林,黄高峰,李升林,孙立林,
申请(专利权)人:矩阵元技术深圳有限公司,
类型:发明
国别省市:广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。