数据处理方法、装置和服务器制造方法及图纸

本说明书提供了数据处理方法、装置和服务器。其中，上述数据处理方法通过先确定出自定义类型和基础张量类型之间的映射关系；再根据所述映射关系，通过将输入目标算子的自定义类型的数据拆分成多个并列的基础张量类型的数据的组合；同时将目标算子内部的计算逻辑修改为多个并列的子计算逻辑，改造目标算子，得到能支持自定义类型的数据，同时也能支持已有的预设的机器学习框架的修改后的目标算子；进而可以基于已有的预设的机器学习框架，根据上述修改后的目标算子进行相应数据处理。从而可以解决现有方法中存在的基于已有的预设的机器学习框架无法支持例如构建前向逻辑图、反向梯度图等涉及自定义类型的数据的数据处理的技术问题。

【技术实现步骤摘要】
数据处理方法、装置和服务器
本说明书属于互联网
，尤其涉及数据处理方法、装置和服务器。
技术介绍
基于现有的数据处理方法，用户在已有的机器学习框架(例如，Tensorflow框架等)中使用自定义类型(一种由用户自定义扩展出的数据类型)的数据时，已有的机器学习框架往往无法支持上述自定义类型的数据，上述自定义类型的数据也无法在机器学习框架中正常流动，导致现有的数据处理方法具体实施时，存在基于已有的机器学习框架，无法支持例如构建前向逻辑图、反向梯度图等涉及自定义类型的数据的数据处理的技术问题。针对上述问题，目前尚未提出有效的解决方案。
技术实现思路
本说明书提供了一种数据处理方法、装置和服务器，以解决现有方法中存在的基于已有的预设的机器学习框架无法支持进行例如构建前向逻辑图、反向梯度图等涉及自定义类型的数据的数据处理的技术问题，使得用户可以方便、高效地利用已有的预设的机器学习框架，在不需要对框架作较大修改的情况下，正常使用自定义类型数据进行相应的数据处理，简化了用户的操作，提高了用户的使用体验。本说明书实施例提供了一种数据处理方法，包括：确定目标算子；其中，所述目标算子包括自定义类型的数据流经的算子，所述自定义类型包括用户自定义的数据类型；确定出所述自定义类型和基础张量类型之间的映射关系；其中，所述基础张量类型包括预设的机器学习框架所支持的原生张量类型；根据所述映射关系，将输入目标算子的自定义类型的数据拆分成多个并列的基础张量类型的数据的组合；将目标算子内部的计算逻辑修改为多个并列的子计算逻辑，以得到修改后的目标算子；利用预设的机器学习框架，根据所述修改后的目标算子进行数据处理。在一个实施例中，在将目标算子内部的计算逻辑修改为多个并列的子计算逻辑之后，所述方法还包括：将目标算子中经由多个并列的子计算逻辑输出的多个并列的基础张量类型的数据还原为自定义类型的数据，以得到修改后的目标算子。在一个实施例中，所述预设的机器学习框架包括Tensorflow框架。在一个实施例中，所述确定出所述自定义类型和基础张量类型之间的映射关系，包括：确定所述自定义类型的数值存储长度，以及基础张量类型的数值存储长度；根据所述自定义类型的数值存储长度，和所述基础张量类型的数值存储长度之间的比值，确定出一个自定义类型的数据所对应的基础张量类型的数据的个数，作为所述自定义类型和基础张量类型之间的映射关系。在一个实施例中，所述利用预设的机器学习框架，根据所述修改后的目标算子进行数据处理，包括：利用预设的机器学习框架，根据所述修改后的目标算子，构建前向逻辑图，和/或，构建反向梯度图。在一个实施例中，在得到修改后的目标算子之后，所述方法还包括：接收所述服务提供方返回的服务。在前端层添加自定义类型；根据所述自定义类型和基础张量类型之间的映射关系，在前端层封装所述预设的机器学习框架中的原生张量类型的数据接口，并构建得到与自定义类型匹配的自定义数据接口；其中，所述自定义数据接口提供给用户，用于输入和/或输出自定义类型的数据。在一个实施例中，利用预设的机器学习框架，根据所述修改后的目标算子，构建前向逻辑图，包括：检测自定义数据接口接收的第一输入数据是否符合自定义类型；在确定所述第一输入数据不符合自定义类型的情况下，将所述第一输入数据转换为自定义类型的第一输入数据；调用修改后的目标算子对所述自定义类型的第一输入数据进行处理，以得到对应的前向逻辑图。在一个实施例中，在得到修改后的目标算子之后，所述方法还包括：根据预设的机器学习框架的框架规范，以及所述自定义类型和基础张量类型之间的映射关系，将预设的机器学习框架中支持基于单个基础张量类型的数据的函数注册修改为支持多个并列的基础张量类型的数据的函数注册；将预设的机器学习框架中支持单个基础张量类型的数据的预设梯度下降函数的函数接口修改为支持多个并列的基础张量类型的数据的函数接口。在一个实施例中，利用预设的机器学习框架，根据所述修改后的目标算子，构建反向梯度图，包括：检测通过函数接口输入的第二输入数据是否符合自定义类型；在确定所述第二输入数据符合自定义类型的情况下，将所述第二输入数据拆分成多个并列的基础张量类型的数据，并针对各个张量类型分别构建列表，得到对应的多个第一列表；将与所述第二输入数据对应的目标函数值拆分成多个并列的基础张量类型的数据；以所述目标函数值中的基础张量类型的数据作为第一参数，以与所述目标函数值中的第一参数匹配的第一列表作为第二参数，调用预设梯度下降函数进行计算，得到对应的多个第二列表；根据所述多个第二列表，还原出自定义类型的数据，以得到所述反向梯度图。在一个实施例中，所述目标算子还包括基于预设的机器学习框架所生成的模型中的算子。本说明书实施例还提供了一种数据处理装置，包括：第一确定模块，用于确定目标算子；其中，所述目标算子包括自定义类型的数据流经的算子，所述自定义类型包括用户自定义的数据类型；第二确定模块，用于确定出所述自定义类型和基础张量类型之间的映射关系；其中，所述基础张量类型包括预设的机器学习框架所支持的原生张量类型；修改模块，用于根据所述映射关系，将输入目标算子的自定义类型的数据拆分成多个并列的基础张量类型的数据的组合；将目标算子内部的计算逻辑修改为多个并列的子计算逻辑，以得到修改后的目标算子；处理模块，用于利用预设的机器学习框架，根据所述修改后的目标算子进行数据处理。在一个实施例中，所述修改模块还用于将目标算子中经由多个并列的子计算逻辑输出的多个并列的基础张量类型的数据还原为自定义类型的数据，以得到修改后的目标算子。本说明书实施例还提供了一种服务器，包括处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现确定目标算子；其中，所述目标算子包括自定义类型的数据流经的算子，所述自定义类型包括用户自定义的数据类型；确定出所述自定义类型和基础张量类型之间的映射关系；其中，所述基础张量类型包括预设的机器学习框架所支持的原生张量类型；根据所述映射关系，将输入目标算子的自定义类型的数据拆分成多个并列的基础张量类型的数据的组合；将目标算子内部的计算逻辑修改为多个并列的子计算逻辑，以得到修改后的目标算子；利用预设的机器学习框架，根据所述修改后的目标算子进行数据处理。本说明书实施例还提供了一种计算机可读存储介质，其上存储有计算机指令，所述指令被执行时实现确定目标算子；其中，所述目标算子包括自定义类型的数据流经的算子，所述自定义类型包括用户自定义的数据类型；确定出所述自定义类型和基础张量类型之间的映射关系；其中，所述基础张量类型包括预设的机器学习框架所支持的原生张量类型；根据所述映射关系，将输入目标算子的自定义类型的数据拆分成多个并列的基础张量类型的数据的组合；将目标算子内部的计算逻辑修改为多个并列的子计算逻辑，以本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，包括：/n确定目标算子；其中，所述目标算子包括自定义类型的数据流经的算子，所述自定义类型包括用户自定义的数据类型；/n确定出所述自定义类型和基础张量类型之间的映射关系；其中，所述基础张量类型包括预设的机器学习框架所支持的原生张量类型；/n根据所述映射关系，将输入目标算子的自定义类型的数据拆分成多个并列的基础张量类型的数据的组合；将目标算子内部的计算逻辑修改为多个并列的子计算逻辑，以得到修改后的目标算子；/n利用预设的机器学习框架，根据所述修改后的目标算子进行数据处理。/n

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：
确定目标算子；其中，所述目标算子包括自定义类型的数据流经的算子，所述自定义类型包括用户自定义的数据类型；
确定出所述自定义类型和基础张量类型之间的映射关系；其中，所述基础张量类型包括预设的机器学习框架所支持的原生张量类型；
根据所述映射关系，将输入目标算子的自定义类型的数据拆分成多个并列的基础张量类型的数据的组合；将目标算子内部的计算逻辑修改为多个并列的子计算逻辑，以得到修改后的目标算子；
利用预设的机器学习框架，根据所述修改后的目标算子进行数据处理。


2.根据权利要求1所述的方法，其特征在于，在将目标算子内部的计算逻辑修改为多个并列的子计算逻辑之后，所述方法还包括：将目标算子中经由多个并列的子计算逻辑输出的多个并列的基础张量类型的数据还原为自定义类型的数据，以得到修改后的目标算子。


3.根据权利要求1所述的方法，其特征在于，所述预设的机器学习框架包括Tensorflow框架。


4.根据权利要求1所述的方法，其特征在于，所述确定出所述自定义类型和基础张量类型之间的映射关系，包括：
确定所述自定义类型的数值存储长度，以及基础张量类型的数值存储长度；
根据所述自定义类型的数值存储长度，和所述基础张量类型的数值存储长度之间的比值，确定出一个自定义类型的数据所对应的基础张量类型的数据的个数，作为所述自定义类型和基础张量类型之间的映射关系。


5.根据权利要求1所述的方法，其特征在于，所述利用预设的机器学习框架，根据所述修改后的目标算子进行数据处理，包括：
利用预设的机器学习框架，根据所述修改后的目标算子，构建前向逻辑图，和/或，构建反向梯度图。


6.根据权利要求5所述的方法，其特征在于，在得到修改后的目标算子之后，所述方法还包括：
在前端层添加自定义类型；
根据所述自定义类型和基础张量类型之间的映射关系，在前端层封装所述预设的机器学习框架中的原生张量类型的数据接口，并构建得到与自定义类型匹配的自定义数据接口；其中，所述自定义数据接口提供给用户，用于输入和/或输出自定义类型的数据。


7.根据权利要求6所述的方法，其特征在于，利用预设的机器学习框架，根据所述修改后的目标算子，构建前向逻辑图，包括：
检测自定义数据接口接收的第一输入数据是否符合自定义类型；
在确定所述第一输入数据不符合自定义类型的情况下，将所述第一输入数据转换为自定义类型的第一输入数据；
调用修改后的目标算子对所述自定义类型的第一输入数据进行处理，以得到对应的前向逻辑图。


8.根据权利要求6所述的方...

【专利技术属性】
技术研发人员：史俊杰，谢翔，陈元丰，晏意林，黄高峰，李升林，孙立林，
申请(专利权)人：矩阵元技术深圳有限公司，
类型：发明
国别省市：广东;44