数据处理方法、装置、电子设备及存储介质制造方法及图纸

本公开提供了一种数据处理方法、装置、电子设备及存储介质，本公开涉及人工智能技术领域，具体涉及深度学习、大数据处理等技术领域。该方法包括：获取待处理数据，确定与待处理数据对应的数据处理模型中的目标算子类型，获取目标算子类型所描述的目标算子资源，采用目标算子资源处理待处理数据，以得到数据处理结果。由此，能够简化数据处理模型中算子的调用逻辑，有效提升算子调用效率和算子调用效果，有效地提升数据处理效果，便于该数据处理方法在人工智能中的部署和应用。在人工智能中的部署和应用。在人工智能中的部署和应用。

【技术实现步骤摘要】
数据处理方法、装置、电子设备及存储介质


[0001]本公开涉及人工智能
，具体涉及深度学习、大数据处理等
，尤其涉及一种数据处理方法、装置、电子设备及存储介质。

技术介绍

[0002]人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。
[0003]相关技术中，数据处理模型中算子的调用关系较为复杂，需要定制化开发算子调用框架，以完成数据处理。

技术实现思路

[0004]本公开提供了一种数据处理方法、装置、电子设备、存储介质及计算机程序产品。
[0005]根据本公开的第一方面，提供了一种数据处理方法，包括：获取待处理数据；确定与待处理数据对应的数据处理模型中的目标算子类型；获取目标算子类型所描述的目标算子资源；以及采用目标算子资源处理待处理数据，以得到数据处理结果。
[0006]根据本公开的第二方面，提供了一种数据处理装置，包括：第一获取模块，用于获取待处理数据；确定模块，用于确定与待处理数据对应的数据处理模型中的目标算子类型；第二获取模块，用于获取目标算子类型所描述的目标算子资源；以及第一处理模块，用于采用目标算子资源处理待处理数据，以得到数据处理结果。
[0007]根据本公开的第三方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如本公开第一方面的数据处理方法。
[0008]根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行如本公开第一方面的数据处理方法。
[0009]根据本公开的第五方面，提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现如本公开第一方面的数据处理方法的步骤。
[0010]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0011]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0012]图1是根据本公开第一实施例的示意图；
[0013]图2是根据本公开第二实施例的示意图；
[0014]图3是根据本公开第三实施例的示意图；
[0015]图4是本公开实施例的进程级资源和线程级资源关系示意图；
[0016]图5是根据本公开实施例的代理装置示意图；
[0017]图6是根据本公开实施例的RPC框架示意图；
[0018]图7是根据本公开第四实施例的示意图；
[0019]图8是根据本公开第五实施例的示意图；
[0020]图9示出了用来实施本公开实施例的数据处理方法的示例电子设备的示意性框图。
具体实施方式
[0021]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0022]图1是根据本公开第一实施例的示意图。
[0023]其中，需要说明的是，本实施例的数据处理方法的执行主体为数据处理装置，该装置可以由软件和/或硬件的方式实现，该装置可以配置在电子设备中，电子设备可以包括但不限于终端、服务器端等。
[0024]本公开涉及人工智能
，具体涉及深度学习，自然语言处理等

[0025]其中，人工智能(Artificial Intelligence)，英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。
[0026]深度学习，是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。深度学习的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。
[0027]而大数据处理，是指采用人工智能的方式对规模巨大的数据进行分析以及处理的过程，而大数据可以概括为5个V，数据量大(Volume)、速度快(Velocity)、类型多(Variety)、价值(Value)、真实性(Veracity)。
[0028]本公开实施例中，所涉及的数据的收集、存储、使用、加工、传输、提供和公开等处理方式，其过程均符合相关法律法规的规定，且不违背公序良俗。
[0029]如图1所示，该数据处理方法，包括：
[0030]S101：获取待处理数据。
[0031]其中，当前待对其进行处理的数据，可以被称为待处理数据，该待处理数据可以是包含一些数据描述信息，可被数据处理模型进行相应的处理，对此不做限制。
[0032]举例而言，待处理数据可以是电子商务中的交易记录数据；待处理数据可以是金融中的储蓄数据、借贷等业务记录数据；待处理数据还可以例如为音视频形式的多媒体数据，对此不做限制。
[0033]本公开实施例中，可以应用人工智能中用于执行数据处理任务的算子，实现对待处理数据的分析、挖掘等处理。
[0034]本公开实施例在获取待处理数据时，可以是在待处理数据运行的系统或平台中识别与提取待处理数据，或者，也可以从第三方数据平台中获取当前待对其进行处理的数据作为待处理数据，或者，还可以是使用其他任意可能的实现方式获取待处理数据，对此不做限制。
[0035]S102：确定与待处理数据对应的数据处理模型中的目标算子类型。
[0036]其中，算子是人工智能框架中的基本计算单元(算法模块)，对人工智能的模型训练、预测和部署等都有着重要影响，算法模块集成设计了相应的算法处理逻辑。
[0037]举例而言，算子可以是用于数字计算、图像处理、数据处理等的算法模块，例如算子可以分为统计计算算子、数学运算算子、方差分析算子、回归分析算子、灵敏度分析算子、聚类分析算子、模糊评判算子等，对此不做限制。
[0038]其中，用于处理该待处理数据的算子，可以被称为目标算子，目标算子可以被用于匹配对应的目标算子资源，进行调用等操作，对此不做限制。
[0039]本公开实施例中，可以确定对待处理数据进行处理的处理任务，对该处理任务进行任务拆解，以确定该处理任务所涉及数据处理模型中的算子类型，并将该涉及的算子类型作为目标算子类型，该目标算子类型能够用于标识与调用该处理任务所涉及数据处理模型中的目标算子，或者本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，包括：获取待处理数据；确定与所述待处理数据对应的数据处理模型中的目标算子类型；获取所述目标算子类型所描述的目标算子资源；以及采用所述目标算子资源处理所述待处理数据，以得到数据处理结果。2.根据权利要求1所述的方法，其中，所述获取所述目标算子类型所描述的目标算子资源，包括：确定所述目标算子类型对应的目标算子；获取所述目标算子相关的进程级资源和线程级资源；以及将所述进程级资源和所述线程级资源共同作为所述目标算子资源；其中，所述进程级资源，是所述目标算子在处理所述待处理数据的过程中涉及的全局运算资源，所述线程级资源，是所述目标算子在处理所述待处理数据的过程中涉及的局部运算资源。3.根据权利要求2所述的方法，其中，所述获取所述目标算子相关的进程级资源和线程级资源，包括：确定与所述目标算子相关的目标调用方式；根据所述目标调用方式，获取所述目标算子相关的进程级资源和线程级资源。4.根据权利要求3所述的方法，其中，所述确定与所述目标算子相关的目标调用方式，包括：确定所述目标算子和第三方服务之间的服务调用方式，其中，所述服务调用方式被作为所述目标调用方式；和/或确定所述目标算子内部多种所述资源的资源调用方式，其中，所述资源调用方式被作为所述目标调用方式，所述资源是所述进程级资源或者是所述线程级资源。5.根据权利要求4所述的方法，所述目标算子的数量是多个；其中，所述确定与所述目标算子相关的目标调用方式，还包括：确定所述目标算子和其他目标算子之间的算子间调用方式，其中，所述算子间调用方式被作为所述目标调用方式，所述其他目标算子属于多个所述目标算子。6.根据权利要求3所述的方法，其中，所述根据所述目标调用方式，获取所述目标算子相关的进程级资源和线程级资源，包括：将所述目标调用方式提供至调用代理装置之中；经由所述调用代理装置根据所述目标调用方式，获取所述目标算子相关的进程级资源和线程级资源。7.根据权利要求2所述的方法，在所述采用所述目标算子资源处理所述待处理数据，以得到数据处理结果之后，还包括：对所述目标算子相关的线程级资源进行清空处理。8.一种数据处理装置，包括：第一获取模块，用于获取待处理数据；确定模块，用于确定与所述待处理数据对应的数据处理模型中的目标算子类型；第二获取模块，用于获取所述目标算子类型所描述的目标算子资源；以及
第一处理模块，用于采用所述目标算子资源处理所述待处理数据，以得到数据处理结果。9.根据权利要求8...

【专利技术属性】
技术研发人员：雍高鹏，王洋，郭豪豪，李殿亚，孙叔琦，李婷婷，常月，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：