用于数据警报抑制的系统和方法技术方案

一种用于提供对警报的自动抑制的方法，包括：接收与第一数据集相关联的第一错误，该第一数据集位于计算机数据环境中的多个数据集之中；访问描述第一数据集与其他数据集之间的依赖性的集合的依赖性数据；检查依赖性数据以从其他数据集中自动识别第二数据集，第二数据集是第一数据集所依赖的数据集，访问计算机数据环境的警报数据以确定第二数据集的活动警报是否提供第一错误对于与第二数据集相关联的第二错误是冗余的指示，以及在确定第一错误是冗余时，抑制警报的传送并将关于抑制传送的数据存储在数据结构中

【技术实现步骤摘要】
【国外来华专利技术】用于数据警报抑制的系统和方法


[0001]本公开总体上涉及对数据警报的抑制，并且更具体地，涉及用于基于数据依赖性来抑制数据警报的改进的方法和系统
。

技术介绍

[0002]许多组织已经开始转向云存储以使其数据存储基础设施和工作负载的现代化
。
随着越来越多的组织使用云存储，数据即服务
(DaaS)
正在成为越来越流行的用于数据集成
、
管理
、
存储和分析的解决方案
。
然而，
DaaS
或类似环境中的数据构建和管理可能会变得非常复杂，因为它可能涉及大量数据
。
例如，
DaaS
环境中的数据构建可能涉及传入原始数据流的各种复杂转换和验证，以便创建外部可使用的数据集
。
每个外部数据集可以经历几个步骤并利用不同的数据流来产生
。
因此，数据集可以依赖于多个其他数据集
。
随着数据集的数量以及它们之间的依赖性的增加，对这些数据集的管理变得更加复杂
。
[0003]管理大数据存储环境的复杂性之一是处理故障
。
为了确保故障得以解决，当发生与数据集相关的故障或错误时，通常会生成警报以将该问题通知管理员
。
当数据集彼此依赖时，一个数据集的故障可能会影响其依赖的数据集
。
在大型且复杂的数据环境中，这可能导致针对同一故障发出大量警报
。
不同的数据集可以由不同的工程团队管理
。
因此，与同一故障相关的警报可能被发送给许多不同的工程师或管理员，然后这些工程师或管理员需要花时间检查和分析故障并识别针对其的解决方案
。
这是低效
、
耗时且繁冗的
。
然而，识别冗余警报是具有挑战性的，因为给定数据集的完整依赖性可能非常复杂，所得其通常非常耗时，并且超出了人类确定一个数据集是否依赖于另一个数据集的能力
。
因此，大多数数据环境针对依赖的数据集发出冗余警报，这造成管理员时间和计算资源的浪费
。
[0004]因此，需要用于基于数据依赖性抑制数据警报的改进的系统和方法
。

技术实现思路

[0005]在一个一般方面，本公开描述了一种数据处理系统，其具有：处理器；以及存储器，该存储器与所述处理器通信，其中该存储器包括可执行指令，当由所述处理器执行这些可执行指令时，使所述数据处理系统执行多个功能
。
该功能可以包括：由警报服务器接收与第一数据集相关联的第一错误，该第一数据集是计算机数据环境中的多个数据集之中的，访问描述所述第一数据集与所述计算机数据环境中的一个或多个其他数据集之间的依赖性的集合的依赖性数据，检查所述依赖性数据以从所述一个或多个其他数据集中自动识别第二数据集，所述第二数据集是所述第一数据集所依赖的数据集，访问所述计算机数据环境的警报数据以确定所述第二数据集的活动警报指示所述第一错误对于与所述第二数据集相关联的第二错误来说是冗余的，以及响应于确定所述第一错误是冗余的，抑制针对所述第一错误的警报的传送，并且将关于被抑制警报的数据存储在所述计算机数据环境的数据结构中
。
确定第一错误对于所述第二错误来说是冗余的可以基于所述第一数据集的数据生成定时
、
所述第二数据集的数据生成定时和所述第一错误的检测定时中的至少一个
。
[0006]在又一一般方面，本公开描述了一种用于提供对警报的自动抑制的方法，其中该方法包括以下步骤：由警报服务器接收与第一数据集相关联的第一错误，该第一数据集是计算机数据环境中的多个数据集之中的，访问描述所述第一数据集与所述计算机数据环境中的一个或多个其他数据集之间的依赖性的集合的依赖性数据，检查所述依赖性数据以从所述一个或多个其他数据集中自动识别第二数据集，所述第二数据集是所述第一数据集所依赖的数据集，访问所述计算机数据环境的警报数据以确定所述第二数据集的活动警报指示所述第一错误对于与所述第二数据集相关联的第二错误来说是冗余的，以及响应于确定所述第一错误是冗余的，抑制针对所述第一错误的警报的传送，并且将关于被抑制警报的数据存储在所述计算机数据环境的数据结构中
。
确定第一错误对于所述第二错误来说是冗余的可以基于所述第一数据集的数据生成定时
、
所述第二数据集的数据生成定时和所述第一错误的检测定时中的至少一个
。
[0007]在进一步的一般方面，本公开描述了一种非暂时性计算机可读介质，其上存储有指令，这些指令在被执行时使得可编程设备通过警报服务器接收与第一数据集相关联的第一错误，该第一数据集是计算机数据环境中的多个数据集之中的，访问描述所述第一数据集与所述计算机数据环境中的一个或多个其他数据集之间的依赖性的集合的依赖性数据，检查所述依赖性数据以从一个或多个其他数据集中自动识别第二数据集，所述第二数据集是所述第一数据集所依赖的数据集，访问所述计算机数据环境的警报数据以确定所述第二数据集的活动警报指示所述第一错误对于与所述第二数据集相关联的第二错误来说是冗余的，以及响应于确定第一错误是冗余的，抑制针对第一错误的警报的传送，并且将关于被抑制警报的数据存储在所述计算机数据环境的数据结构中
。
确定第一错误对于所述第二错误来说是冗余的可以基于所述第一数据集的数据生成定时
、
所述第二数据集的数据生成定时和所述第一错误的检测定时中的至少一个
。
[0008]提供本
技术实现思路
是为了以简化的形式介绍概念的选择，这些概念将在下面的具体实施方式中进一步描述
。
本
技术实现思路
并不旨在识别所要求保护的主题的关键特征或基本特征，也不旨在用于限制所要求保护的主题的范围
。
此外，所要求保护的主题不限于解决本公开的任何部分中指出的任何或所有缺点的实施方式
。
附图说明
[0009]附图仅通过示例而非限制的方式描绘了根据本教导的一种或多种实施方式
。
在附图中，相似的附图标记指代相同或相似的元件
。
此外，应当理解，附图不一定是按比例绘制的
。
[0010]图1描绘了可以在其上实现本公开的各方面的示例数据环境
。
[0011]图2描绘了可以在其上实现本公开的各方面的示例系统
。
[0012]图3描绘了示例数据环境，其中在确定依赖性时考虑数据集的属性子集
。
[0013]图4描绘了两个数据集的数据生成时间线，其中一个数据集依赖于另一个数据集
。
[0014]图5是示出用于基于数据集依赖性提供数据警报抑制的示例方法的流程图
。
[0015]图6是示出示例软件架构的框图，其各个部分可以与本文描述的各种硬件架构结合使用
。
[0016]图7是示出被配置为从机器可读介本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.
一种数据处理系统，包括：处理器；以及存储器，所述存储器与所述处理器通信，所述存储器包括可执行指令，当由所述处理器执行时，所述可执行指令使所述数据处理系统执行以下功能：由警报服务器接收与第一数据集相关联的第一错误，所述第一数据集是计算机数据环境中的多个数据集之中的；访问描述所述第一数据集与所述计算机数据环境中的一个或多个其他数据集之间的依赖性的集合的依赖性数据；检查所述依赖性数据以从所述一个或多个其他数据集中自动识别第二数据集，所述第二数据集是所述第一数据集所依赖的数据集；访问所述计算机数据环境的警报数据，以确定所述第二数据集的活动警报是否提供所述第一错误对于与所述第二数据集相关联的第二错误来说是冗余的指示；以及响应于确定所述第一错误是冗余的，抑制对所述第一错误的警报的传送，并且将关于抑制所述警报的传送的数据存储在所述计算机数据环境的数据结构中，其中，确定所述第一错误对于所述第二错误来说是否是冗余的是基于以下中的至少一项的：所述第一数据集的数据生成定时
、
所述第二数据集的数据生成定时
、
以及所述第一错误的检测定时
。2.
根据权利要求1所述的数据处理系统，其中：所述第二数据集包括第一属性和第二属性，并且在检查所述依赖性数据时，检查所述第一数据集对所述第一属性和所述第二属性的依赖性以确定所述第一数据集是否依赖于所述第一属性或所述第二属性中的一个
。3.
根据权利要求2所述的数据处理系统，其中，所述存储器还存储可执行指令，当由所述处理器执行时，所述可执行指令使所述数据处理系统执行以下功能：访问关于所述第一错误的信息，所述信息指示所述第一错误与所述第一属性或所述第二属性中的哪一个相关联，将所述信息与所述依赖性数据进行比较，以确定所述第一错误是否与所述第一数据集所依赖的相同属性相关联，当确定所述第一错误与所述第一数据集所依赖的所述相同属性相关联时，抑制对所述第一错误的警报的传送，以及当确定所述第一错误不与所述第一数据集所依赖的所述相同属性相关联时，传送所述第一错误的警报
。4.
根据权利要求1所述的数据处理系统，其中，所述存储器还存储可执行指令，当由所述处理器执行时，所述可执行指令使所述数据处理系统执行以下功能：创建用于在日志中存储关于所述第一错误的信息的记录
。5.
根据权利要求4所述的数据处理系统，其中，所述信息包括以下中的至少一项：所述第一错误的检测定时
、
所述第一错误的类型
、
或所述第一数据集的标识符
。6.
根据权利要求1所述的数据处理系统，其中，所述存储器还存储可执行指令，当由所述处理器执行时，所述可执行指令使所述数据处理系统执行以下功能：创建与所述第一数据集相关联的一个或多个错误的报告，其中对所述第一数据集的警报的传送在给定时间段
内被抑制
。7.
根据权利要求1所述的数据处理系统，其中，所述存储器还存储可执行指令，当由所述处理器执行时，所述可执...

【专利技术属性】
技术研发人员：J，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：