网络节点中的近数据处理(NDP)制造技术

在一些实现方式中，存储节点从网络架构的计算节点接收数据处理指令。所述存储节点在所述数据处理指令内检测无回路有向图(directed acyclic graph，DAG)。所述DAG包括根据执行布置在所述DAG内的多个数据处理操作。所述数据处理操作还包括与自定义函数(user

【技术实现步骤摘要】
【国外来华专利技术】网络节点中的近数据处理(NDP)


[0001]本专利技术涉及分解架构中的数据处理。一些方面涉及例如存储网络内的分布式存储节点(或其他类型的网络节点)等网络节点中的近数据处理(near data processing，NDP)。

技术介绍

[0002]公共云网络(例如，基于大数据分析(big data analytics，BDA)或人工智能(artificialintelligence，AI)的网络)通常采用计算和存储分解的架构，即这两个组件使用中间网络独立管理和连接的架构。虽然分解架构允许计算和存储的独立扩展，这简化了存储管理并降低了其成本，但此类架构与若干缺点相关联。例如，由于存储设备的内部带宽远高于外部网络带宽，连接计算层和存储层的中间网络可能是一个显著的性能瓶颈。因此，在分解架构上运行的平台可能不如在传统无共享架构上运行的平台。

技术实现思路

[0003]现在描述各种示例，以按简化形式介绍概念的选择，在具体实施方式中会进一步描述这种选择。
技术实现思路
并非旨在确定请求保护的主题的关键或必要特征，也并非旨在限制请求保护的主题的范围。
[0004]根据本专利技术的第一方面，提供了一种用于网络架构的分布式存储节点内的近数据处理(near data processing，NDP)的计算机实现方法。所述方法包括在所述分布式存储节点处从所述网络架构的计算节点接收数据处理指令。所述方法还包括在所述数据处理指令内检测无回路有向图(directed acyclic graph，DAG)。DAG包括多个数据处理操作。所述多个数据处理操作根据执行顺序布置在DAG内，并包括与自定义函数(user
‑
defined function，UDF)相关联的UDF信息。所述方法还包括基于所述多个数据处理操作内的对象密钥信息从所述分布式存储节点的对象存储中检索第一数据对象。所述方法还包括使用检索到的第一数据对象执行所述多个数据处理操作，以执行所述UDF并生成DAG执行结果，所述多个数据处理操作的所述执行基于所述执行顺序。所述方法还包括响应于所述数据处理指令，将所述DAG执行结果传达到所述计算节点。
[0005]在根据第一方面本身的方法的第一实现形式中，所述方法还包括检测所述数据处理指令包括所述DAG和旧有数据处理操作。所述方法还包括将旧有数据处理操作路由到分布式存储节点的对象服务以使用来自对象存储的第二数据对象执行。基于旧有数据处理操作内的第二对象密钥信息选择第二数据对象。
[0006]在根据第一方面本身或第一方面的任一前述实现形式的方法的第二实现形式中，其中所述旧有数据处理操作包括非复杂的基于查询的操作或原始请求操作。原始请求操作包括以下操作中的至少一项：获取操作、放置操作、粘贴操作和删除操作。非复杂的基于查询的操作包括以下操作中的至少一项：过滤操作和聚合操作。
[0007]在根据第一方面本身或第一方面的任一前述实现形式的方法的第三实现形式中，将所述DAG路由到所述分布式存储节点的NDP服务。所述NDP服务配置所述分布式存储节点
的虚拟资源以执行至少所述第一数据对象的所述检索和使用所述检索到的第一数据对象的所述多个数据处理操作的所述执行。
[0008]在根据第一方面本身或第一方面的任一前述实现形式的方法的第四实现形式中，其中所述多个数据处理操作包括复杂的基于查询的操作。所述复杂的基于查询的操作还包括对象密钥信息和指定存储第一数据对象的对象存储的存储桶的对象位置信息。
[0009]在根据第一方面本身或第一方面的任一前述实现形式的方法的第五实现形式中，其中所述UDF信息包括所述UDF的UDF应用代码和所述对象密钥信息。
[0010]在根据第一方面本身或第一方面的任一前述实现形式的方法的第六实现形式中，使用所述分布式存储节点的无服务器框架执行所述UDF应用代码，以使用与所述对象密钥信息相关联的所述第一数据对象执行所述UDF作为无服务器函数的运行时基于查询的调用。
[0011]在根据第一方面本身或第一方面的任一前述实现形式的方法的第七实现形式中，其中执行所述UDF的所述运行时基于查询的调用还包括在所述分布式存储节点的所述无服务器框架内部署多个基于容器的函数调用以执行所述UDF。
[0012]在根据第一方面本身或第一方面的任一前述实现形式的方法的第八实现形式中，其中所述分布式存储节点的所述无服务器框架内的所述多个基于容器的函数调用用于通过所述分布式存储节点的所述对象存储内的共享存储来交换状态信息。
[0013]在根据第一方面本身或第一方面的任一前述实现形式的方法的第九实现形式中，所述计算机实现方法还包括使用在所述分布式存储节点内实例化的虚拟机或容器执行所述UDF应用代码。
[0014]在根据第一方面本身或第一方面的任一前述实现形式的方法的第十实现形式中，所述UDF信息包括对所述第一数据对象调用所述UDF的请求，所述UDF信息还指定所述对象存储的函数注册表内存储所述UDF的UDF应用代码的位置，所述计算机实现方法还包括根据所述函数注册表执行所述UDF应用代码，以执行所述UDF作为无服务器函数的运行时基于查询的调用。
[0015]在根据第一方面本身或第一方面的任一前述实现形式的方法的第十一实现形式中，其中所述UDF信息指定对象存储事件作为用于所述UDF作为无服务器函数的事件驱动调用的调用触发器，所述UDF信息还指定所述对象存储的函数注册表内存储所述UDF的UDF应用代码的位置，所述计算机实现方法还包括检测由所述UDF信息指定的所述对象存储事件，所述对象存储事件与所述对象存储的数据更新相关联。基于所述对象存储事件的所述检测，根据所述函数注册表执行所述UDF应用代码，以执行所述UDF作为无服务器函数的所述事件驱动调用。
[0016]根据本专利技术的第二方面，提供了一种系统，所述系统包括存储指令的内存和与所述内存通信的一个或多个处理器。所述一个或多个处理器执行所述指令以在分布式存储节点处从网络架构的计算节点接收数据处理指令。在所述数据处理指令内检测无回路有向图(directedacyclic graph，DAG)。DAG包括多个数据处理操作。所述多个数据处理操作根据执行顺序布置在DAG内，并包括与自定义函数(user
‑
defined function，UDF)相关联的UDF信息。基于所述多个数据处理操作内的对象密钥信息从所述分布式存储节点的对象存储中检索第一数据对象。使用检索到的第一数据对象执行多个数据处理操作，以执行UDF并生成
DAG执行结果。多个数据处理操作的执行基于执行顺序。响应于所述数据处理指令，将所述DAG执行结果传达到所述计算节点。
[0017]在根据第二方面本身的系统的第一实现形式中，所述UDF信息包括所述UDF的UDF应用代码和所述对象密钥信息，所述一个或多个处理器执行所述指令以使用所述分布式存储节点的无服务器框架执行所述UDF应用代码，以使用与所述对象密钥信息相关联的所述第一数据对象执行所述UDF作为无服务器函数的本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于网络架构的分布式存储节点内的近数据处理(near data processing，NDP)的计算机实现方法，其特征在于，所述方法包括：在所述分布式存储节点处从所述网络架构的计算节点接收数据处理指令；在所述数据处理指令内检测无回路有向图(directed acyclic graph，DAG)，其中，所述DAG包括多个数据处理操作，所述多个数据处理操作根据执行顺序布置在所述DAG内，并包括与自定义函数(user
‑
defined function，UDF)相关联的UDF信息；基于所述多个数据处理操作内的对象密钥信息从所述分布式存储节点的对象存储中检索第一数据对象；使用检索到的第一数据对象执行所述多个数据处理操作，以执行所述UDF并生成DAG执行结果，所述多个数据处理操作的所述执行基于所述执行顺序；响应于所述数据处理指令，将所述DAG执行结果传达到所述计算节点。2.根据权利要求1所述的计算机实现方法，其特征在于，还包括：检测所述数据处理指令包括所述DAG和旧有数据处理操作；将所述旧有数据处理操作路由到所述分布式存储节点的对象服务以使用来自所述对象存储的第二数据对象执行，所述第二数据对象基于所述旧有数据处理操作内的第二对象密钥信息选择。3.根据权利要求2所述的计算机实现方法，其特征在于，所述旧有数据处理操作包括非复杂的基于查询的操作或原始请求操作，所述原始请求操作包括以下操作中的至少一项：获取操作、放置操作、粘贴操作和删除操作，所述非复杂的基于查询的操作包括以下操作中的至少一项：过滤操作和聚合操作。4.根据权利要求2所述的计算机实现方法，其特征在于，还包括：将所述DAG路由到所述分布式存储节点的NDP服务，所述NDP服务用于配置所述分布式存储节点的虚拟资源以执行至少所述第一数据对象的所述检索和使用所述检索到的第一数据对象的所述多个数据处理操作的所述执行。5.根据权利要求1所述的计算机实现方法，其特征在于，所述多个数据处理操作包括复杂的基于查询的操作，所述复杂的基于查询的操作还包括所述对象密钥信息和指定存储所述第一数据对象的所述对象存储的存储桶的对象位置信息。6.根据权利要求1所述的计算机实现方法，其特征在于，所述UDF信息包括所述UDF的UDF应用代码和所述对象密钥信息。7.根据权利要求6所述的计算机实现方法，其特征在于，所述计算机实现方法还包括：使用所述分布式存储节点的无服务器框架执行所述UDF应用代码，以使用与所述对象密钥信息相关联的所述第一数据对象执行所述UDF作为无服务器函数的运行时基于查询的调用。8.根据权利要求7所述的计算机实现方法，其特征在于，执行所述UDF的所述运行时基于查询的调用还包括：在所述分布式存储节点的所述无服务器框架内部署多个基于容器的函数调用以执行所述UDF。9.根据权利要求8所述的计算机实现方法，其特征在于，所述分布式存储节点的所述无服务器框架内的所述多个基于容器的函数调用用于通过所述分布式存储节点的所述对象
存储内的共享存储来交换状态信息。10.根据权利要求6所述的计算机实现方法，其特征在于，所述计算机实现方法还包括：使用在所述分布式存储节点内实例化的虚拟机或容器执行所述UDF应用代码。11.根据权利要求1所述的计算机实现方法，其特征在于，所述UDF信息包括对所述第一数据对象调用所述UDF的请求，所述UDF信息还指定所述对象存储的函数注册表内存储所述UDF的UDF应用代码的位置，所述计算机实现方法还包括：根据所述函数注册表执行所述UDF应用代码，以执行所述UDF作为无服务器函数的运行时基于查询的调用。12.根据权利要求6所述的计算机实现方法，其特征在于，所述UDF信息指定对象存储事件作为用于所述UDF作为无服务器函数的事件驱动调用的调用触发器，所述UDF信息还指定所述对象存储的函数注册表内存储所述UDF的UDF应用代码的位置，所述计算机实现方法还包括：检测由所述UDF信息指定的所述对象存储事件，所述对象存储事件与所述对象存储的数据更新相关联；基于所述对象存储事件的所述检测，根据所述函数注册表执行所述UDF应用代码，以执行所述UDF作为无服务器函数的所述事件驱动调...

【专利技术属性】
技术研发人员：王勇，西奥多罗斯，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：