数据处理方法技术

本申请公开了一种数据处理方法

【技术实现步骤摘要】
数据处理方法、系统和电子设备


[0001]本申请涉及计算机领域，具体而言，涉及一种数据处理方法
、
系统和电子设备
。

技术介绍

[0002]目前，可以通过机器学习编译器自动化地调整模型，然而，并未涉及解决该模型中若存在大量计算流程所带来的问题，比如，在运行大量计算流程的过程中无可避免地会引入冗余计算，导致模型的性能降低，存在数据的处理效率低的技术问题
。
[0003]针对上述的问题，目前尚未提出有效的解决方案
。

技术实现思路

[0004]本申请实施例提供了一种数据处理方法
、
系统和电子设备，以至少解决的数据的处理效率低的技术问题
。
[0005]根据本申请实施例的一个方面，提供了一种数据处理方法
。
该方法可以包括：获取用于描述原始模型的计算流程，其中，运行原始模型时需要使用计算资源来完成计算流程；从计算流程中识别出至少一计算子流程；对不同的计算子流程进行简化处理，其中，简化后的计算子流程所需的计算资源量少于简化前的计算子流程所需的计算资源量；将简化后的计算子流程映射至对应的计算单元中，得到计算单元集合；将计算单元集合包含的计算单元进行融合处理，并基于融合结果生成与原始模型对应的目标模型，其中，目标模型的不同计算子流程需要采用匹配的计算资源来进行处理
。
[0006]根据本申请实施例的另一个方面，提供了另一种数据处理方法
。
该方法可以包括：通过调用第一接口获取用于描述原始模型的计算流程，其中，第一接口包括第一参数，第一参数的参数值为计算流程，运行原始模型时需要使用计算资源来完成计算流程；从计算流程中识别出至少一计算子流程；对不同的计算子流程进行简化处理，其中，简化后的计算子流程所需的计算资源量少于简化前的计算子流程所需的计算资源量；将简化后的计算子流程映射至对应的计算单元中，得到计算单元集合；将计算单元集合包含的计算单元进行融合处理，并基于融合结果生成与原始模型对应的目标模型，其中，目标模型的不同计算子流程需要采用匹配的计算资源来进行处理；通过调用第二接口输出目标模型，其中，第二接口包括第二参数，第二参数的参数值为目标模型
。
[0007]根据本申请实施例的另一个方面，提供了一种信息推荐方法
。
该方法可以包括：获取用于描述原始推荐模型的计算流程，其中，原始推荐模型用于确定向目标对象待推荐的服务信息，运行原始推荐模型时需要使用计算资源来完成计算流程；对不同的计算子流程进行简化处理，其中，简化后的计算子流程所需的计算资源量少于简化前的计算子流程所需的计算资源量；将简化后的计算子流程映射至对应的计算单元中，得到计算单元集合；将计算单元集合包含的计算单元进行融合处理，并基于融合结果生成与原始推荐模型对应的目标推荐模型，其中，目标推荐模型的不同计算子流程需要采用匹配的计算资源来进行处理，以生成服务信息
。
[0008]根据本申请实施例的另一个方面，提供了一种数据处理系统
。
该系统可以包括：客户端，用于检测交互界面上的模型处理请求，其中，模型处理请求用于请求云服务器对原始模型进行处理；云服务器，用于响应于模型处理请求，获取用于描述原始模型的计算流程，其中，运行原始模型时需要使用计算资源来完成计算流程；从计算流程中识别出至少一计算子流程；对不同的计算子流程进行简化处理，其中，简化后的计算子流程所需的计算资源量少于简化前的计算子流程所需的计算资源量；将简化后的计算子流程映射至对应的计算单元中，得到计算单元集合；将计算单元集合包含的计算单元进行融合处理，并基于融合结果生成与原始模型对应的目标模型；计算端，用于调用与目标模型的不同计算子流程匹配的计算资源，处理对应的计算子流程，得到计算结果
。
[0009]根据本申请实施例的另一方面，还提供了一种电子设备，该电子设备可以包括存储器和处理器：存储器用于存储计算机可执行指令，处理器用于执行计算机可执行指令，上述计算机可执行指令被处理器执行时，实现上述任意一项的数据处理方法
。
[0010]根据本申请实施例的另一方面，还提供了一种处理器，处理器用于运行程序，其中，在程序运行时执行上述任意一项的数据处理方法
。
[0011]根据本申请实施例的另一方面，还提供了一种计算机可读存储介质，该计算机可读存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行上述任意一项的数据处理方法
。
[0012]在本申请实施例中，可以通过对原始模型进行识别，确定出能够描述需要使用计算资源来运行原始模型时的计算流程，并可以从计算流程中识别出计算子流程，按照计算资源量的大小可以对计算流程进行简化处理，可以得到简化后的计算资源量较少的计算子流程
。
可以将该计算子流程映射到相应的计算单元中来进行融合处理，生成融合结果
。
按照融合结果可以生成原始模型对应的目标模型，从而实现基于融合结果对原始模型进行更新的目的，由于原始模型中存在大量计算流程所导致的诸多问题，可以通过对计算子流程及其所需的计算资源进行计算，达到了能够避免大量计算流程所导致的引入冗余计算使得模型的性能降低等问题的目的，进而实现了提高数据的处理效率的技术效果，解决了数据的处理效率低的技术问题
。
[0013]容易注意到的是，上面的通用描述和后面的详细描述仅仅是为了对本申请进行举例和解释，并不构成对本申请的限定
。
附图说明
[0014]此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定
。
在附图中：
[0015]图1是根据本申请实施例的一种数据处理方法的应用场景的示意图；
[0016]图2是根据本申请实施例的一种数据处理方法的计算环境的结构框图；
[0017]图3是根据本申请实施例的一种数据处理方法的流程图；
[0018]图4是根据本申请实施例的另一种数据处理方法的流程图；
[0019]图5是根据本申请实施例的一种信息推荐方法的流程图；
[0020]图6是根据本申请实施例的一种数据处理系统的示意图；
[0021]图7是根据本申请实施例的一种针对深度推荐模型中大量嵌入列进行编译调整的
流程图；
[0022]图8是根据本申请实施例的一种对嵌入列进行识别的流程图；
[0023]图9是根据本申请实施例的一种
CPU
与
GPU
共同运行的流程图；
[0024]图
10
是根据本申请实施例的一种数据处理装置的示意图；
[0025]图
11
是根据本申请实施例的另一种数据处理装置的示意图；
[0026]图
12
是根据本申请实施例的一种信息推荐装置的示意图；...

【技术保护点】

【技术特征摘要】
1.
一种数据处理方法，其特征在于，包括：获取用于描述原始模型的计算流程，其中，运行所述原始模型时需要使用计算资源来完成所述计算流程；从所述计算流程中识别出至少一计算子流程；对不同的计算子流程进行简化处理，其中，简化后的计算子流程所需的计算资源量少于简化前的计算子流程所需的计算资源量；将简化后的所述计算子流程映射至对应的计算单元中，得到计算单元集合；将所述计算单元集合包含的计算单元进行融合处理，并基于融合结果生成与所述原始模型对应的目标模型，其中，所述目标模型的不同计算子流程需要采用匹配的计算资源来进行处理
。2.
根据权利要求1所述的方法，其特征在于，从所述计算流程中识别出至少一计算子流程，包括：对所述计算流程进行拆解，识别出所述原始模型的至少一变量，其中，所述变量用于表示所述原始模型中的可训练数据，且与所述计算子流程的类型相匹配；基于所述变量确定所述计算子流程
。3.
根据权利要求2所述的方法，其特征在于，基于所述变量确定所述计算子流程，包括：确定所述变量对应的初始计算子流程；利用所述初始计算子流程中计算节点的前驱计算节点，将所述初始计算子流程更新为所述计算子流程
。4.
根据权利要求1所述的方法，其特征在于，所述方法还包括：确定所述目标模型的计算子流程对应的处理类型，其中，所述处理类型用于表示对所述目标模型的计算子流程待执行的操作的类型；基于所述处理类型，确定所述目标模型的计算子流程需要采用匹配的计算资源
。5.
根据权利要求4所述的方法，其特征在于，基于所述处理类型，确定所述目标模型的计算子流程需要采用匹配的计算资源，包括：响应于所述处理类型为对所述目标模型的计算子流程待执行字符串操作，确定调用中央处理器中的计算资源；响应于所述处理类型为对所述目标模型的计算子流程待执行非字符串操作，确定调用图形处理器中的计算资源
。6.
根据权利要求1所述的方法，其特征在于，所述方法还包括：响应于所述目标模型的计算子流程对应的变量的数据量大于数据量阈值，确定调用中央处理器中的计算资源；响应于所述目标模型的计算子流程对应的变量的数据量不大于所述数据量阈值，确定调用图形处理器中的计算资源
。7.
根据权利要求1至6中任意一项所述的方法，其特征在于，对不同的计算子流程进行简化处理，包括：基于所述计算子流程中张量的描述信息，对所述计算子流程进行重构，得到目标计算子流程，其中，所述描述信息用于描述所述张量的属性，所述目标计算子流程所需的计算资源量少于所述计算子流程所需的计算资源量
。
8.
根据权利要求7所述的方法，其特征在于，所述方法还包括：去除所述目标计算子流程中的数据冗余信息，其中，所述数据冗余信息用于至少表征所述目标计算子流程的数据安全性能；和
/
或，简化所述目标计算子流程中的数据查找信息，其中，所述数据查找信息用于查找所述目标计算子流程中所嵌入的数据
。9.
根据权利要求8所述的方法，其特征在于，将简化后的所述计算子流程映射至对应的计算单元中，得到计算单元集合，包括：将去除所述数据冗余信息和
/
或简化所述数据查找信息后的所述目标计算子流程，映射至对应的所述计算单元中，得到所述计算单元集合
。10.
一种数据处理方法，其特征在于，包括：通过调用第一接口获取用于描述原始模型的计算流程，其中，所述第一接口包括第一参数，所述第一参数的参数值为所述计算流程，运行所述原始模型时需要使用计算资源来完成所述计算流程；从所述计算流程中识别出至少一计算子流程；对不同的计算子流程进行简化处...

【专利技术属性】
技术研发人员：张峰，郑祯，潘再峰，邱侠斐，李永，林伟，杜小勇，
申请(专利权)人：杭州阿里巴巴飞天信息技术有限公司，
类型：发明
国别省市：