公开了一种用于通过网络接口管理与起源系统中的一个或多个互连的起源实体相关联的起源信息以用于分布式云环境中的数据处理管道的方法，其中，每个数据处理管道被配置为读入数据，变换该数据，以及输出变换后的数据。该方法包括由配置组件执行的以下步骤：获得至少一个声明性意图，该至少一个声明性意图表示指示用于存储用于每个数据处理管道的起源信息的要求和优先级级别的配置；基于所获得的至少一个声明性意图，导出用于存储用于每个数据处理管道的起源信息的要求和优先级级别，其中，优先级级别中的一个优先级级别—第一优先级级别—高于其它优先级级别—第二优先级级别；基于所导出的要求和优先级级别，估计用于在起源系统中存储起源信息的存储容量；根据所导出的用于存储起源信息以及用于每个数据处理管道的要求和优先级级别，存储起源信息；以及当用于在起源系统中存储起源信息的实际存储消耗满足基于所估计的存储容量而设置的存储容量阈值时：减少用于在起源系统中存储第二优先级级别的起源信息的数据量。还公开了对应的计算机程序产品、装置、配置组件和系统。配置组件和系统。配置组件和系统。
【技术实现步骤摘要】
【国外来华专利技术】管理起源信息以用于数据处理管道
[0001]本公开一般涉及起源(provenance)信息领域。更具体地，本公开涉及通过网络接口管理起源系统中的起源信息以用于分布式云环境中的数据处理管道。
技术介绍
[0002]起源系统随着时间的推移捕获大量数据(即，起源信息)，并期望各种起源信息(例如，元数据)可能在各种上下文(有时甚至出乎意料)中变得有用。
[0003]由于起源系统可包括大量可能的配置和策略组合，因此系统运营商可能很难设计将使起源系统运行良好的正确控件。
[0004]用于起源系统的已知配置和策略组合的第一个缺点是系统运营商需要粗略/精细配置控件和策略/规则框架来调谐系统以便满足使数据起源信息有用。
[0005]用于起源系统的已知配置和策略组合的第二个缺点是这样的控件和规则的大量组合变得太麻烦而无法处理以正确配置系统控件。
[0006]因此，需要用于通过网络接口管理起源系统中的的起源信息以用于分布式云环境中的数据处理管道的替代方法。
技术实现思路
[0007]应当强调，当在本说明书中使用时，术语“包括/包含”被视为指定声明的特征、整数、步骤或组件的存在，但是并不排除一个或多个其他特征、整数、步骤、组件或其组合的存在或增加。如本文所使用的，单数形式“一”、“一个”和“该”旨在同样包括复数形式，除非上下文明确地另有所指。
[0008]通常，当在本文提及布置时，将其理解为物理产品；例如装置。物理产品可以包括一个或多个部件，例如形式为一个或多个控制器、一个或多个处理器等的控制电路。
[0009]一些实施例的一个目的是解决或缓解、减轻或消除至少一些上述或其他缺点。
[0010]根据第一方面，这通过一种用于通过网络接口管理与起源系统中的一个或多个互连的起源实体相关联的起源信息以用于分布式云环境中的数据处理管道的方法来实现，其中，每个所述数据处理管道被配置为读入数据，变换所述数据，以及输出变换后的数据。
[0011]所述方法包括由配置组件执行的步骤。
[0012]所述方法包括：获得至少一个声明性意图，所述至少一个声明性意图表示指示用于存储用于每个所述数据处理管道的起源信息的要求和优先级级别的配置；以及基于所获得的至少一个声明性意图，导出用于存储用于每个所述数据处理管道的起源信息的所述要求和优先级级别，其中，所述优先级级别中的一个优先级级别—第一优先级级别—高于其它优先级级别—第二优先级级别。
[0013]所述方法还包括：基于所导出的要求和优先级级别，估计用于在所述起源系统中存储起源信息的存储容量；根据所导出的用于存储起源信息以及用于每个所述数据处理管道的要求和优先级级别，存储所述起源信息；以及当用于在所述起源系统中存储起源信息
的实际存储消耗满足基于所估计的存储容量而设置的存储容量阈值时：减少用于在所述起源系统中存储所述第二优先级级别的起源信息的数据量。
[0014]在一些实施例中，减少用于存储起源信息的数据量包括发送用于导致以下中的任一项的信号：压缩在所述起源系统中的本地存储中所存储的起源信息，移除在所述起源系统中的本地存储中所存储的起源信息的索引，以及将在所述起源系统的本地存储中所存储的压缩或非压缩的起源信息移动到所述分布式云环境中的远程存储。
[0015]在一些实施例中，表示所述配置的所述至少一个声明性意图指示每个所述数据处理管道基于以下中的一项或多项而与对应的优先级级别相关联：所述数据处理管道的年龄，所述数据处理管道的特定标签，与所述数据处理管道相关联的特定客户端/客户端组，以及所述数据处理管道的特定数据源。
[0016]在一些实施例中，表示所述配置的所述至少一个声明性意图指示用于标识时间间隔的时间间隔要求，在所述时间间隔期间，与所述一个或多个互连的起源实体相关联的所述起源信息应当被存储在所述起源系统中。
[0017]在一些实施例中，表示所述配置的所述至少一个声明性意图指示用于连续存储与所述起源系统中的所述一个或多个互连的起源实体相关联的起源信息的连续要求。
[0018]在一些实施例中，所述方法还包括：由所述配置组件向与所述声明性意图相关联的客户端通知所存储的起源信息可用于供应。
[0019]在一些实施例中，所述方法还包括：通过所述网络接口向所述客户端提供对所存储的起源信息的访问。
[0020]在一些实施例中，所述方法还包括：通过所述网络接口向所述客户端提供所存储的起源信息的数据流。
[0021]在一些实施例中，向所述客户端提供的对所存储的起源信息的访问或所存储的起源信息的数据流用作用于以下中的任一项的数据：调试，分析查询，调度，以及优化。
[0022]在一些实施例中，取决于数据类型和收集环境，所述起源信息包括以下中的一项或多项：与在何处收集数据有关的信息，与出于何种目的而收集数据有关的信息，与针对何种上下文而收集数据有关的信息，与针对谁而收集数据有关的信息，与谁已经访问所收集的数据有关的信息，所收集的数据的属性，对所收集的数据的更新，所收集的数据的创建，以及所收集的数据的谱系。
[0023]在一些实施例中，所述起源系统中的所述一个或多个互连的起源实体表示图结构的一个或多个互连的节点，并且所述互连表示所述图结构的子图的节点之间的边和关系。
[0024]在一些实施例中，所述图结构是图数据库。
[0025]在一些实施例中，所述配置组件包括多个子组件，每个子组件充当用于对应的数据处理管道的单独配置组件。
[0026]在一些实施例中，所存储的起源信息涉及以下中的任一项：工业机器人，建筑物中的传感器，以及生产机器。
[0027]第二方面是一种包括非暂时性计算机可读介质的计算机程序产品，所述非暂时性计算机可读介质存储包括程序指令的计算机程序。所述计算机程序能够加载到数据处理单元中，并且被配置为当所述计算机程序由所述数据处理单元运行时，使得执行根据第一方面所述的方法。
[0028]第三方面是一种用于配置组件的装置，所述配置组件适于通过网络接口管理与起源系统中的一个或多个互连的起源实体相关联的起源信息以用于分布式云环境中的数据处理管道，其中，每个所述数据处理管道被配置为读入数据，变换所述数据，以及输出变换后的数据。
[0029]所述装置包括控制器，所述控制器被配置为使得：获得至少一个声明性意图，所述至少一个声明性意图表示指示用于存储用于每个所述数据处理管道的起源信息的要求和优先级级别的配置；基于所获得的至少一个声明性意图，导出用于存储用于每个所述数据处理管道的起源信息的所述要求和优先级级别，其中，所述优先级级别中的一个优先级级别—第一优先级级别—高于其它优先级级别—第二优先级级别。
[0030]所述控制器还被配置为使得：基于所导出的要求和优先级级别，估计用于在所述起源系统中存储起源信息的存储容量；根据所导出的用于存储起源信息以及用于每个所述数据处理管道的要求和优先级级别，存储所述起源信息；以及当用于在所述起源系统中存储起源信息的实际本文档来自技高网...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种用于通过网络接口管理与起源系统中的一个或多个互连的起源实体相关联的起源信息以用于分布式云环境中的数据处理管道的方法，其中，每个所述数据处理管道被配置为读入数据，变换所述数据，以及输出变换后的数据，所述方法包括由配置组件执行的以下步骤：获得(101)至少一个声明性意图，所述至少一个声明性意图表示指示用于存储用于每个所述数据处理管道的起源信息的要求和优先级级别的配置，基于所获得的至少一个声明性意图，导出(102)用于存储用于每个所述数据处理管道的起源信息的所述要求和优先级级别，其中，所述优先级级别中的一个优先级级别—第一优先级级别—高于其它优先级级别—第二优先级级别，基于所导出的要求和优先级级别，估计(103)用于在所述起源系统中存储起源信息的存储容量，根据所导出的用于存储起源信息以及用于每个所述数据处理管道的要求和优先级级别，存储(104)所述起源信息，以及当(105)用于在所述起源系统中存储起源信息的实际存储消耗满足基于所估计的存储容量而设置的存储容量阈值时：减少(106)用于在所述起源系统中存储所述第二优先级级别的起源信息的数据量。2.根据权利要求1所述的方法，其中，减少用于存储起源信息的数据量包括发送用于导致以下中的任一项的信号：压缩在所述起源系统中的本地存储中所存储的起源信息，移除在所述起源系统中的本地存储中所存储的起源信息的索引，以及将在所述起源系统的本地存储中所存储的压缩或非压缩的起源信息移动到所述分布式云环境中的远程存储。3.根据权利要求1
‑
2中任一项所述的方法，其中，表示所述配置的所述至少一个声明性意图指示每个所述数据处理管道基于以下中的一项或多项而与对应的优先级级别相关联：所述数据处理管道的年龄，所述数据处理管道的特定标签，与所述数据处理管道相关联的特定客户端/客户端组，以及所述数据处理管道的特定数据源。4.根据权利要求1
‑
3中任一项所述的方法，其中，表示所述配置的所述至少一个声明性意图指示用于标识时间间隔的时间间隔要求，在所述时间间隔期间，与所述一个或多个互连的起源实体相关联的所述起源信息应当被存储在所述起源系统中。5.根据权利要求1
‑
3中任一项所述的方法，其中，表示所述配置的所述至少一个声明性意图指示用于连续存储与所述起源系统中的所述一个或多个互连的起源实体相关联的起源信息的连续要求。6.根据权利要求1
‑
5中任一项所述的方法，所述方法还包括由所述配置组件执行的以下步骤：向与所述声明性意图相关联的客户端通知(107)所存储的起源信息可用于供应。7.根据权利要求1
‑
6中任一项所述的方法，所述方法还包括以下步骤：通过所述网络接口向所述客户端提供(108)对所存储的起源信息的访问。8.根据权利要求1
‑
7中任一项所述的方法，所述方法还包括以下步骤：通过所述网络接口向所述客户端提供(108a)所存储的起源信息的数据流。9.根据权利要求7
‑
8中任一项...
【专利技术属性】
技术研发人员：S，
申请(专利权)人：瑞典爱立信有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。