用于智能存档和分析的方法和装置制造方法及图纸

公开了用于存档和分析数据的系统和方法。该系统接收与过程相关联的事件数据；响应于接收到事件数据，确定与过程相关联的过程数据；从事件数据和过程数据生成过程元数据；并且将事件数据、过程数据、和过程元数据存储在由过程元数据组织的数据储存库中。由于过程数据在数据管道中被早期地确定，所以系统能够显着地减少对于生成数据分析所需求的计算量。在用户请求被启动时，系统也能够实时地或接近实时地提供针对大量存档数据计算的分析结果。由于为存档过程存储的增强信息，过程挖掘和过程优化的效率也被提高。

【技术实现步骤摘要】
用于智能存档和分析的方法和装置
本公开涉及一种用于智能存档和分析的方法和装置。
技术介绍
本公开涉及用于存档和分析处于静止或在运送中的大数据的系统和方法。具体地，本公开涉及用于存档事件数据和过程数据，并提供从存档数据生成的分析结果的系统和方法。数据由过程生成。诸如制造商、商业企业、金融系统、生物系统、物理系统、智能家居、智能城市等的实体实施实时连续地生成大量数据的复杂的业务过程。所生成的数据反映相应的过程的性质，并且因此，这样的数据的分析对于过程优化和过程挖掘是重要的。用于存档大数据的现有解决方案经常在执行任何数据的分析之前将从数据源进入的事件数据存储在存档储存器中。此方法通常需求极大量的时间来分析数据以执行数据分析，并且因此当将数据存储到存档储存器存在延迟时，此方法不能以及时的方式提供分析结果。
技术实现思路
本文介绍的技术利用用于存档和分析数据的系统和方法，至少部分地克服了先前技术的缺陷和限制。在一个实施例中，系统包括数据储存库，其用于存储数据；数据摄取模块，其具有被耦合以接收与过程相关联的事件数据的输入和耦合到数据储存库的输出，数据摄取模块可操作以接收事件数据并临时地存储事件数据；和过程存档模块，其具有耦合到数据摄取模块以接收与过程相关联的事件数据的输入和耦合到数据储存库的输出，过程存档模块可操作以接收事件数据、确定与过程相关联的过程数据、从事件数据和过程数据生成过程元数据、并将事件数据、过程数据、和过程元数据存储在数据储存库中。在另一实施例中，该方法包括接收与过程相关联的事件数据；响应于接收事件数据，确定与过程相关联的过程数据；从事件数据和过程数据生成过程元数据；并且将事件数据、过程数据、和过程元数据存储在由过程元数据组织的数据储存库中。其它实施例包括相应系统、装置、和计算机程序产品，其被配置为执行在计算机储存器设备上编码的方法的动作。这些和其它实施方式可以可选地包括以下特征和/或操作中的一个或多个。例如，过程存档模块进一步可操作以通过将机器学习应用到事件数据和过程数据以生成过程元数据来生成过程元数据；过程存档模块进一步可操作以针对过程生成第一数据集条目(第一数据集条目包括过程元数据)，检索描述数据储存库中的第二数据集条目的存档数据模型，通过将存档数据模型应用到第一数据集条目确定第一数据集条目与第二数据集条目之间的关系，并且基于第一数据集条目和第二数据集条目之间的关系将过程的第一数据集条目存储在数据储存库中；过程元数据包括描述过程的过程参数，并且过程存档模块进一步可操作以通过使用聚类算法识别用于第一数据集条目的第二数据集条目的聚类，将存档数据模型应用到第一数据集条目，聚类算法被用于基于过程参数进行聚类；该系统也包括耦合到数据储存库以接收数据集条目的实时分析模块，实时分析模块可操作以使用数据集条目来生成与一个或多个分析输出相关联的实时视图，并且将实时视图存储在过程储存器中；该系统也包括耦合到数据储存库以接收数据集条目的批量分析模块，批量分析模块可操作以使用数据集条目预先计算与一个或多个分析输出相关联的批量视图，并且将批量视图存储在过程储存器中；该系统也包括可通信地耦合到数据储存库的存档数据管理模块，存档数据管理模块可操作以确定与数据储存库中的数据集条目相关联的消耗模式，基于消耗模式确定过程参数，并且基于所确定的过程参数将数据储存库中的数据集条目进行聚类以生成存档数据模型；或者其中过程存档模块进一步可操作以从与过程相关联的事件数据确定数据属性值并生成第一数据集条目，第一数据集条目包括所确定的数据属性值，并且系统进一步包括：存档数据管理模块，其被配置为基于数据属性来组织数据储存库中的第二数据集条目；分析模块，其被配置为将与分析输出相关联的预先计算的视图存储在分析简档储存器中以生成统一视图；和简档启用模块，其耦合到并控制过程存档模块、存档数据管理模块、和分析模块，简档启用模块被配置为接收选择的分析简档，并且识别与分析简档相关联的数据属性和分析输出。例如，该方法也可以包括针对过程生成第一数据集条目，第一数据集条目包括事件数据、过程数据、和过程元数据；检索描述数据储存库中的第二数据集条目的存档数据模型；并且通过将存档数据模型应用到第一数据集条目来确定第一数据集条目与第二数据集条目之间的关系；其中存储事件数据、过程数据、和过程元数据包括基于第一数据集条目和第二数据集条目之间的关系将第一数据集条目存储在数据储存库中。例如，过程元数据可以包括描述过程的过程参数；并且通过将存档数据模型应用到第一数据集条目来确定第一数据集条目与第二数据集条目之间的关系包括使用聚类算法来识别用于第一数据集条目的第二数据集条目的聚类，聚类算法被用于基于过程参数进行聚类。例如，将第一数据集条目存储在数据储存库中包括确定与第二数据集条目的聚类相关联的数据集；并且更新所确定的数据集以包括第一数据集条目。例如，该方法也包括接收分析简档的选择，分析简档指定要被提供的分析输出；识别与分析简档相关联的数据属性；并且其中生成第一数据集条目也包括从与过程相关联的事件数据确定数据属性值；并且针对过程生成第一数据集条目，第一数据集条目包括所确定的数据属性值。例如，该方法也包括基于数据属性来组织数据储存库中的第二数据集条目；并且将与分析输出相关联的预先计算的视图存储在分析简档储存器中以生成用于分析输出的统一视图。例如，该方法也包括确定与数据储存库中的数据集条目相关联的消耗模式；基于消耗模式确定过程参数；并且基于所确定的过程参数对数据集条目进行聚类以生成存档数据模型。例如，存档数据模型包括数据集条目的第一聚类和数据集条目的第二聚类，并且该方法也包括将数据集条目的第一聚类聚合到第一数据集中；将数据集条目的第二聚类聚合到第二数据集中；并且将第一数据集存储在数据储存库的第一文件夹中并将第二数据集存储在数据储存库的第二文件夹中，第一文件夹和第二文件夹基于存档数据模型来组织。本公开中呈现的技术在许多方面是特别有利的。具体地，在存储由过程生成并从数据源进入的事件数据之前，所描述的技术确定与相同过程相关联的过程数据。进入的事件数据和所确定的过程数据然后作为过程或根据过程参数存档在存档储存器中。由于过程数据在数据管道中被早期地提取，所以本技术能够显着地减少生成数据分析所需求的计算量，并且能够实时地或接近实时地提供针对大量存档数据的分析结果(例如，质量度量、缺陷模式等)。由于为存档过程存储的增强的信息，过程挖掘和过程优化的效率也被提高。另外，本技术在存档过程之前将机器学习算法应用到事件数据和过程数据，以启用存档储存器内的有利数据放置以用于数据查询的运行。本文公开的技术适用于基于云的分析平台和在内部运作的分析平台。本文描述的特征和优点不是全面的，并且鉴于附图和描述，许多另外的的特征和优点将是显而易见的。而且，应该注意的是，说明书中使用的语言主要是为了可读性和指导性目的而选择的，而不是限制所描述的技术的范围。附图说明本文介绍的技术是以示例的方式而不是以在附图的图中限制的方式示出，其中相同的参考标号用于指代相似的元件。图1是示出用于存档和分析数据的系统的一个实施例的高级别框图。图2是示出包括智能分析引擎的智能存档平台的实施例的框图。图3是示出用于将数据存储在存档储存器中的示本文档来自技高网...

【技术保护点】
1.一种系统，包括：用于存储数据的数据储存库；数据摄取模块，具有耦合以接收与过程相关联的事件数据的输入和耦合到所述数据储存库的输出，所述数据摄取模块可操作以：接收所述事件数据；并且暂时地存储所述事件数据；和过程存档模块，具有耦合到所述数据摄取模块以接收与过程相关联的事件数据的输入和耦合到所述数据储存库的输出，所述过程存档模块可操作以：接收所述事件数据；确定与过程相关联的过程数据；从所述事件数据和所述过程数据生成过程元数据；并且将所述事件数据、所述过程数据、和所述过程元数据存储在所述数据储存库中。

【技术特征摘要】
2017.03.24 US 15/468,2451.一种系统，包括：用于存储数据的数据储存库；数据摄取模块，具有耦合以接收与过程相关联的事件数据的输入和耦合到所述数据储存库的输出，所述数据摄取模块可操作以：接收所述事件数据；并且暂时地存储所述事件数据；和过程存档模块，具有耦合到所述数据摄取模块以接收与过程相关联的事件数据的输入和耦合到所述数据储存库的输出，所述过程存档模块可操作以：接收所述事件数据；确定与过程相关联的过程数据；从所述事件数据和所述过程数据生成过程元数据；并且将所述事件数据、所述过程数据、和所述过程元数据存储在所述数据储存库中。2.如权利要求1所述的系统，其中所述过程存档模块进一步可操作以通过将机器学习应用到所述事件数据和所述过程数据来生成过程元数据。3.如权利要求1所述的系统，其中所述过程存档模块进一步可操作以：针对过程生成第一数据集条目，第一数据集条目包括所述过程元数据；检索描述所述数据储存库中的第二数据集条目的存档数据模型；通过将所述存档数据模型应用到第一数据集条目来确定第一数据集条目和第二数据集条目之间的关系；并且基于所述第一数据集条目和第二数据集条目之间的关系将第一数据集条目存储在所述数据储存库中。4.如权利要求3所述的系统，其中：所述过程元数据包括描述过程的过程参数；并且所述过程存档模块进一步可操作以通过使用聚类算法识别对于第一数据集条目的第二数据集条目的聚类来将所述存档数据模型应用到第一数据集条目，所述聚类算法被用于基于所述过程参数进行聚类。5.如权利要求1所述的系统，进一步包括耦合到所述数据储存库以检索数据集条目的实时分析模块，所述实时分析模块可操作以：使用所述数据集条目来生成与一个或多个分析输出相关联的实时视图；并且将所述实时视图存储在过程储存器中。6.如权利要求1所述的系统，进一步包括耦合到所述数据储存库以检索数据集条目的批量分析模块，所述批量分析模块可操作以：使用所述数据集条目预先计算与一个或多个分析输出相关联的批量视图；并且将所述批量视图存储在过程储存器中。7.如权利要求1所述的系统，进一步包括可通信地耦合到所述数据储存库的存档数据管理模块，所述存档数据管理模块可操作以：确定与所述数据储存库中的数据集条目相关联的消耗模式；基于所述消耗模式确定过程参数；并且基于所确定的过程参数对所述数据储存库中的数据集条目进行聚类以生成存档数据模型。8.如权利要求1所述的系统，其中：所述过程存档模块进一步可操作以从与过程相关联的事件数据确定数据属性值并且生成第一数据集条目，第一数据集条目包括所确定的数据属性值；并且所述系统进一步包括：存档数据管理模块，被配置为基于所述数据属性来组织所述数据储存库中的第二数据集条目；分析模块，被配置为将与分析输出相关联的预先计算的视图存储在分析简档储存器中以生成统一视图；和简档启用模块，耦合到并控制所述过程存档模块、所述存档数据管理模块、和所述分析模块，所述简档启用模块被配置为接收选择的分析简档，并识别与所述分析简档相关联的数据属性和分析输出。9.一种方法，包括：接收与过程相关联的事件数据；响应于接收所述事件数据，确定与过程相关联的过程数据；从所述事件数据和所述过程数据生成过程元数据；并且将所述事件数据、所述过程数据、和所述过程元数据存储在由所述过程元数据组织的数据储存库中。10.如权利要求9所述的方法，进一步包括：针对过程生成第一数据集条目，第一数据集条目包括所述事件数据、所述过程数据、和所述过程元数据；检索描述所述数据储存库中的第二数据集条目的存档数据模型；并且通过将存档数据模型...

【专利技术属性】
技术研发人员：S萨卡尔，KJ索曼吉利，S瓦利皮雷迪，H伍兹，
申请(专利权)人：西部数据技术公司，
类型：发明
国别省市：美国,US