数据处理方法、装置及电子设备、存储介质及程序产品制造方法及图纸

本公开提供了一种数据处理方法、装置及电子设备，涉及大数据、云计算、深度学习等人工智能技术领域。具体实现方案为：获取输入数据的第一属性信息，并获取算子对应的运算设备的第二属性信息；根据第一属性信息和第二属性信息，从候选算子实现方式中选取目标算子实现方式；基于目标算子实现方式，从算子库中确定输入数据所需算子包括的子算子，以生成算子；由运算设备按照算子对输入数据进行运算，得到运算结果。由此，针对不同的输入数据和运算设备的组合，能够调度到最优的算子实现方式，以便于提高运算设备的运算性能和输入数据的运算效率，由于不同的算子实现方式具有各自的优势，可以充分利用每一种算子实现方式生成最优的输入数据对应的算子。的输入数据对应的算子。的输入数据对应的算子。

【技术实现步骤摘要】
数据处理方法、装置及电子设备、存储介质及程序产品


[0001]本公开涉及数据处理
，并且更具体地涉及大数据、云计算、深度学习等人工智能
尤其涉及一种数据处理方法、装置及电子设备、存储介质及程序产品。

技术介绍

[0002]深度学习框架是用于深度学习技术研发的基础软件工具，对上承接应用，对下承接硬件设备，能够提升深度学习任务的研发效率。深度学习框架用于屏蔽硬件的差异，为应用开发提供统一的接口。
[0003]然而，深度学习框架包含的算子数量非常多，相关技术中，尚未存在低成本的且能充分提高硬件性能的算子实现方式。因此，如何在确保准确地获取运算结果的同时，提高硬件性能，并降低成本，已成为了亟待解决的问题。

技术实现思路

[0004]本公开提供了一种数据处理方法、装置及电子设备、存储介质及程序产品。
[0005]根据本公开的一方面，提供了一种数据处理方法，包括：获取输入数据的第一属性信息，并获取所述输入数据对应的运算设备的第二属性信息；根据所述第一属性信息和所述第二属性信息，从候选算子实现方式中选取目标算子实本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，包括：获取输入数据的第一属性信息，并获取所述输入数据对应的运算设备的第二属性信息；根据所述第一属性信息和所述第二属性信息，从候选算子实现方式中选取目标算子实现方式；基于所述目标算子实现方式，从算子库中确定所述输入数据所需算子包括的子算子，以生成所述算子；由所述运算设备按照所述算子对所述输入数据进行运算，得到运算结果。2.根据权利要求1所述的数据处理方法，其中，所述根据所述第一属性信息和所述第二属性信息，从候选算子实现方式中选取目标算子实现方式，包括：根据所述第一属性信息和所述第二属性信息，对所述候选算子实现方式进行性能评估，以得到对应的性能评估结果；根据所述性能评估结果，从所述候选算子实现方式中选取所述目标算子实现方式。3.根据权利要求2所述的数据处理方法，其中，所述根据所述第一属性信息和所述第二属性信息，对所述候选算子实现方式进行性能评估，以得到对应的性能评估结果，包括：获取所述算子的所述候选算子实现方式对应的历史性能评估结果；根据所述第一属性信息和所述第二属性信息，从所述历史性能评估结果中选取目标性能评估结果作为所述性能评估结果。4.根据权利要求2所述的数据处理方法，其中，所述根据所述第一属性信息和所述第二属性信息，从所述历史性能评估结果中选取目标性能评估结果作为所述性能评估结果，包括：根据所述历史性能评估结果，获取对应的历史输入数据和历史运行设备；基于所述历史性能评估结果中所述历史输入数据的第一属性信息和所述输入数据的第一属性信息，以及所述历史运算设备的第二属性信息与所述运算设备的第二属性信息，从所述历史性能评估结果中选取目标性能评估结果作为所述性能评估结果。5.根据权利要求4所述的数据处理方法，其中，所述基于所述历史性能评估结果中所述历史输入数据的第一属性信息和所述输入数据的第一属性信息，以及所述历史运算设备的第二属性信息与所述运算设备的第二属性信息，从所述历史性能评估结果中选取目标性能评估结果作为所述性能评估结果。，包括：将所述历史输入数据的第一属性信息与所述输入数据的第一属性信息比较；将所述历史运算设备的第二属性信息与所述运算设备的第二属性信息比较；从所述历史性能评估结果中，选取与所述输入数据的第一属性信息一致且与所述运算设备的第二属性信息一致的目标性能评估结果，作为所述性能评估结果。6.根据权利要求4或5所述的数据处理方法，其中，所述根据所述性能评估结果，从所述候选算子实现方式中选取所述目标算子实现方式，包括：将所述性能评估结果对应的候选算子实现方式，确定为所述目标算子实现方式。7.根据权利要求5所述的数据处理方法，其中，所述据所述第一属性信息和所述第二属性信息，对所述候选算子实现方式进行性能评估，以得到对应的性能评估结果包括：响应于所述历史性能评估结果中未包括所述目标性能评估结果，则根据所述第一属性
信息、所述第二属性信息和所述算子，获取到所述候选算子实现方式的损失信息，并基于所述损失信息生成所述候选算子实现方式的性能评估结果。8.根据权利要求7所述的数据处理方法，其中，所述基于所述损失信息生成所述候选算子实现方式的性能评估结果之后，还包括：将所述目标算子实现方式对应的性能评估结果，与所述第一属性信息、所述第二属性信息进行绑定，并作为一个新的历史性能评估结果进行存储。9.根据权利要求7所述的数据处理方法，其中，所述性能评估结果中包括多个性能指标，其中，所述根据所述性能评估结果，从所述候选算子实现方式中选取目标算子实现方式，包括：确定用于选取所述目标算子实现方式的目标性能指标；基于所述目标性能指标和所述性能评估结果，从所述候选算子实现方式中选取出所述目标算子实现方式。10.根据权利要求9所述的数据处理方法，其中，所述基于所述目标性能指标和所述性能评估结果，从所述候选算子实现方式中选取出所述目标算子实现方式，包括：获取性能偏好选取策略，并根据所述性能偏好选取策略，确定目标性能指标；获取所述性能评估结果中所述目标性能指标的指标评估结果；根据所述指标评估结果，从所述候选算子实现方式中选取所述目标算子实现方式。11.根据权利要求1
‑
3任一项所述的数据处理方法，其中，所述基于所述目标算子实现方式，从算子库中确定所述输入数据所需算子包括的子算子，以生成所述算子，包括：响应于所述目标算子实现方式为算子组合实现方式，则根据所述输入数据的第一属性信息，获取所需算子和所述算子包括的至少一个第一子算子和所述第一子算子之间的组合顺序；基于所述组合顺序，对所述第一子算子进行顺序组合成所述算子。12.根据权利要求1
‑
3任一项所述的数据处理方法，其中，所述基于所述目标算子实现方式，从算子库中确定所述输入数据所需算子包括的子算子，以生成所述算子，包括：响应于所述目标算子实现方式为算子编译器实现方式，则根据所述输入数据的第一属性信息，获取所需算子和所述算子包括的至少一个第二子算子和所述第二子算子的编译顺序；对所有的所述第二子算子进行调优处理，以得到调优后的目标第二子算子；基于所述编译顺序，并对所述目标第二子算子进行顺序编译，以生成所述算子。13.根据权利要求12所述的数据处理方法，其中，所述对所有的所述第二子算子进行调优处理，以得到调优后的目标第二子算子，包括：获取目标调优策略，并根据所述目标调优策略对所有的所述第二子算子进行算子融合，得到融合子算子；对所述融合子算子进行算子分组以及算子调度，以得到所述目标第二子算子。14.根据权利要求13所述的数据处理方法，其中，所述获取目标调优策略，包括：根据所述第一属性信息，确定所述输入数据的数据形状；根据所述数据形状，获取对应的所述目标调优策略。15.根据权利要求1所述的数据处理方法，其中，所述由所述运算设备按照所述算子对
所述输入数据进行运算，得到运算结果，包括：基于所述输入数据的所述算子，生成所述输入数据对应的深度神经网络的算子集合；将所述算子集合分发至所述运算设备上构建所述深度神经网络，并由所述深度神经网络对所述输入数据进行运算，得到所述运算结果。16.根据权利要求1所述的数据处理方法，其中，所述由所述运算设备按照所述算子对所述输入数据进行运算，得到运算结果，包括：对所述运算过程进行监控，响应于所述运算过程异常，停止运算并生成异常日志。17.根据权利要求16所述的数据处理方法，其中，所述方法还包括：响应于所述算子运算过程异常，基于所述运算设备的第二属性信息，调度新的第一运算设备，并由所述新的第一运算设备按照所述算子对所述输入数据进行运算，得到运算结果。18.根据权利要求16所述的数据处理方法，其中，所述方法还包括：响应于所述算子运算过程异常，基于所述输入数据的第一属性信息，调度新的第二运算设备，并获取所述第二运算设备的第二属性信息，返回执行所述根据所述第一属性信息和所述第二属性信息，从候选算...

【专利技术属性】
技术研发人员：王海峰，胡晓光，于佃海，蓝翔，马艳军，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：