数据监控方法、设备及计算机存储介质技术

本公开内容公开了数据监控方法、设备及计算机存储介质。数据监控方法包括：在多个第一类规则集合中每一个第一类规则集合中判断是否存在至少一个规则共性；在存在至少一个规则共性的情况下，将第一类规则集合划分出相应的第二类规则集合；利用规则共性生成与第二类规则集合相对应的验证规则模型；基于第二类规则集合与需要符合第二类规则集合的字段、标准数据表的关联性，识别出要符合第二类规则集合的标准数据表中的字段；将字段结合到验证规则模型中以生成与字段相对应的验证脚本；在字段所属的标准数据表中通过验证脚本来验证与字段相对应的所有数据单元；以及当存在不满足验证脚本的数据单元时，生成与数据单元相关的报错信息。

【技术实现步骤摘要】
数据监控方法、设备及计算机存储介质
本公开内容属于数据处理
，尤其涉及一种数据监控方法、一种数据监控设备以及一种相应的计算机可读存储介质。
技术介绍
近年来，随着计算机技术的不断的发展，各个领域中的数据都呈现出爆炸性增长的趋势，因此，对于大量、复杂数据的计算处理能力的要求也越来越高。例如，在保险金融领域中，为了确保每份保险中的所有数据的合法性、合规性，需要繁多的数据规则以及大量的标准数据表完成对保险中的所有数据进行不同方式的验证以及将该保险中的所有数据根据不同的标准需求填入不同的标准数据表格中，以便于相关工作部门对保险数据进行核实。在上述情形中，如果仅手工编写监控程序验证每份保险中的数据，不仅需要消耗大量的人力，而且也需要花费大量的时间，容易导致数据监控的规则遗漏；另一方面，由于保险和互联网的结合，保险数据量增长速度非常快，保险数据也变得复杂多样，因此对保险数据的监控提出了更高的要求。
技术实现思路
随着各个领域中的数据的增长速度不断加快，通过需要根据大量数据规则、标准数据表对数据进行处理、监控以确保数据的准确性，目前的技术一般是开发人员编写针对每张标准数据表的监控程序来监控该标准数据表中的数据；由此，不仅消耗了大量的人力、物力，花费了大量的时间，而且当标准数据表发生变化时，需要重新编写监控程序完成监控目的。针对上述问题，本公开内容的第一方面提出了一种数据监控方法，所述方法包括：在多个第一类规则集合中的每一个第一类规则集合中判断是否存在至少一个规则共性，其中，所述多个第一类规则集合是将所有数据规则进行划分而形成的并且每一个所述第一类规则集合包括一条或多条数据规则；在存在所述至少一个规则共性的情况下，将所述第一类规则集合划分出相应的第二类规则集合，其中，所述第二类规则集合包括具有所述至少一个规则共性的一条或多条数据规则；利用所述规则共性生成与所述第二类规则集合相对应的验证规则模型；基于所述第二类规则集合与需要符合所述第二类规则集合的字段、标准数据表的关联性，识别出要符合所述第二类规则集合的所述标准数据表中的所述字段；将所述字段结合到所述验证规则模型中以生成与所述字段相对应的验证脚本；在所述标准数据表中通过所述验证脚本来验证与所述字段相对应的所有数据单元；以及当存在不满足所述验证脚本的数据单元时，生成与所述数据单元相关的报错信息。在根据本公开内容的第一方面的实施例中，在每一个第一类规则集合中判断是否存在至少一个规则共性进一步包括：提取所述第一类规则集合中的每一条数据规则的关键字；判断是否存在相同或相似含义的关键字，其中，所述相同或相似含义的关键字作为所述规则共性。在根据本公开内容的第一方面的实施例中，对于所述第一类规则集合中除了所述第二类规则集合以外的每一个数据规则而言，所述方法进一步包括：利用所述数据规则生成与所述数据规则相对应的验证规则模型；基于所述数据规则与需要符合所述数据规则的字段、标准数据表的关联性，识别出要符合所述数据规则的所述标准数据表中的所述字段；将所述字段结合到所述验证规则模型中以生成与所述字段相对应的验证脚本；在所述标准数据表中通过所述验证脚本来验证与所述字段相对应的所有数据单元；以及当存在不满足所述验证脚本的数据单元时，生成与所述数据单元相关的报错信息。在根据本公开内容的第一方面的实施例中，所述标准数据表在第一方向上包括一个或多个字段并且在第二方向上包括一条或多条符合所述标准数据表的格式的数据消息，根据所述第一方向上的一个或多个字段将每一条数据消息划分成相应的一个或多个数据单元。在根据本公开内容的第一方面的实施例中，当存在不满足所述验证脚本的数据单元时生成与所述数据单元相对应的报错信息进一步包括：当利用所述验证脚本验证在所述标准数据表中存在所述字段相对应的任一数据单元不符合所述验证脚本时，识别出所述数据单元；利用所述数据单元所属的字段、标准数据表以及数据消息生成所述报错信息。在根据本公开内容的第一方面的实施例中，在所述标准数据表中通过所述验证脚本来验证与所述字段相对应的所有数据单元之后，所述方法进一步包括：当与所述字段相对应的所有数据单元的数量超过所述验证脚本的验证能力时，返回数据告警。针对上述问题，本公开内容的第二方面提出了一种数据监控设备，所述设备包括：处理器；以及存储器，其用于存储指令，当所述指令执行时使得所述处理器执行以下操作：在多个第一类规则集合中的每一个第一类规则集合中判断是否存在至少一个规则共性，其中，所述多个第一类规则集合是将所有数据规则进行划分而形成的并且每一个所述第一类规则集合包括一条或多条数据规则；在存在所述至少一个规则共性的情况下，将所述第一类规则集合划分出相应的第二类规则集合，其中，所述第二类规则集合包括具有所述至少一个规则共性的一条或多条数据规则；利用所述规则共性生成与所述第二类规则集合相对应的验证规则模型；基于所述第二类规则集合与需要符合所述第二类规则集合的字段、标准数据表的关联性，识别出要符合所述第二类规则集合的所述标准数据表中的所述字段；将所述字段结合到所述验证规则模型中以生成与所述字段相对应的验证脚本；在所述标准数据表中通过所述验证脚本来验证与所述字段相对应的所有数据单元；以及当存在不满足所述验证脚本的数据单元时，生成与所述数据单元相关的报错信息。在根据本公开内容的第二方面的实施例中，在每一个第一类规则集合中判断是否存在至少一个规则共性进一步包括：提取所述第一类规则集合中的每一条数据规则的关键字；判断是否存在相同或相似含义的关键字，其中，所述相同或相似含义的关键字作为所述规则共性。在根据本公开内容的第二方面的实施例中，对于所述第一类规则集合中除了所述第二类规则集合以外的每一个数据规则而言，当所述指令执行时使得所述处理器进一步执行以下操作：利用所述数据规则生成与所述数据规则相对应的验证规则模型；基于所述数据规则与需要符合所述数据规则的字段、标准数据表的关联性，识别出要符合所述数据规则的所述标准数据表中的所述字段；将所述字段结合到所述验证规则模型中以生成与所述字段相对应的验证脚本；在所述标准数据表中通过所述验证脚本来验证与所述字段相对应的所有数据单元；以及当存在不满足所述验证脚本的数据单元时，生成与所述数据单元相关的报错信息。在根据本公开内容的第二方面的实施例中，所述标准数据表在第一方向上包括一个或多个字段并且在第二方向上包括一条或多条符合所述标准数据表的格式的数据消息，根据所述第一方向上的一个或多个字段将每一条数据消息划分成相应的一个或多个数据单元。在根据本公开内容的第二方面的实施例中，当存在不满足所述验证脚本的数据单元时生成与所述数据单元相对应的报错信息进一步包括：当利用所述验证脚本验证在所述标准数据表中存在所述字段相对应的任一数据单元不符合所述验证脚本时，识别出所述数据单元；利用所述数据单元所属的字段、标准数据表以及数据消息生成所述报错信息。在根据本公开内容的第二方面的实施例中，在所述标准数据表中通过所述验证脚本来验证与所述字段相对应的所有数据单元之后，当所述指令执行时使得所述处理器进一步执行以下操作：当与所述字段相对应的所有数据单元的数量超过所述验证脚本的验证能力时，返回数据告警。针对上述问题，本公开内容的第三方面提出了一种计算本文档来自技高网...

【技术保护点】
1.一种数据监控方法，所述方法包括：在多个第一类规则集合中的每一个第一类规则集合中判断是否存在至少一个规则共性，其中，所述多个第一类规则集合是将所有数据规则进行划分而形成的并且每一个所述第一类规则集合包括一条或多条数据规则；在存在所述至少一个规则共性的情况下，将所述第一类规则集合划分出相应的第二类规则集合，其中，所述第二类规则集合包括具有所述至少一个规则共性的一条或多条数据规则；利用所述规则共性生成与所述第二类规则集合相对应的验证规则模型；基于所述第二类规则集合与需要符合所述第二类规则集合的字段、标准数据表的关联性，识别出要符合所述第二类规则集合的所述标准数据表中的所述字段；将所述字段结合到所述验证规则模型中以生成与所述字段相对应的验证脚本；在所述标准数据表中通过所述验证脚本来验证与所述字段相对应的所有数据单元；以及当存在不满足所述验证脚本的数据单元时，生成与所述数据单元相关的报错信息。

【技术特征摘要】
1.一种数据监控方法，所述方法包括：在多个第一类规则集合中的每一个第一类规则集合中判断是否存在至少一个规则共性，其中，所述多个第一类规则集合是将所有数据规则进行划分而形成的并且每一个所述第一类规则集合包括一条或多条数据规则；在存在所述至少一个规则共性的情况下，将所述第一类规则集合划分出相应的第二类规则集合，其中，所述第二类规则集合包括具有所述至少一个规则共性的一条或多条数据规则；利用所述规则共性生成与所述第二类规则集合相对应的验证规则模型；基于所述第二类规则集合与需要符合所述第二类规则集合的字段、标准数据表的关联性，识别出要符合所述第二类规则集合的所述标准数据表中的所述字段；将所述字段结合到所述验证规则模型中以生成与所述字段相对应的验证脚本；在所述标准数据表中通过所述验证脚本来验证与所述字段相对应的所有数据单元；以及当存在不满足所述验证脚本的数据单元时，生成与所述数据单元相关的报错信息。2.根据权利要求1所述的数据监控方法，其中，在每一个第一类规则集合中判断是否存在至少一个规则共性进一步包括：提取所述第一类规则集合中的每一条数据规则的关键字；判断是否存在相同或相似含义的关键字，其中，所述相同或相似含义的关键字作为所述规则共性。3.根据权利要求1所述的数据监控方法，其中，对于所述第一类规则集合中除了所述第二类规则集合以外的每一个数据规则而言，所述方法进一步包括：利用所述数据规则生成与所述数据规则相对应的验证规则模型；基于所述数据规则与需要符合所述数据规则的字段、标准数据表的关联性，识别出要符合所述数据规则的所述标准数据表中的所述字段；将所述字段结合到所述验证规则模型中以生成与所述字段相对应的验证脚本；在所述标准数据表中通过所述验证脚本来验证与所述字段相对应的所有数据单元；以及当存在不满足所述验证脚本的数据单元时，生成与所述数据单元相关的报错信息。4.根据权利要求1或3所述的数据监控方法，其中，所述标准数据表在第一方向上包括一个或多个字段并且在第二方向上包括一条或多条符合所述标准数据表的格式的数据消息，根据所述第一方向上的一个或多个字段将每一条数据消息划分成相应的一个或多个数据单元。5.根据权利要求4所述的数据监控方法，其中，当存在不满足所述验证脚本的数据单元时生成与所述数据单元相对应的报错信息进一步包括：当利用所述验证脚本验证在所述标准数据表中存在所述字段相对应的任一数据单元不符合所述验证脚本时，识别出所述数据单元；利用所述数据单元所属的字段、标准数据表以及数据消息生成所述报错信息。6.根据权利要求1或3所述的数据监控方法，其中，在所述标准数据表中通过所述验证脚本来验证与所述字段相对应的所有数据单元之后，所述方法进一步包括：当与所述字段相对应的所有数据单元的数量超过所述验证脚本的验证能力时，返回数据告警。7.一种数据监控设备，所述设备包括：处理器；以及存储器，其用于存储指令，当所述指令执行时使得所述处理器执行以下操作：在多个第一类规则集合中的每一个...

【专利技术属性】
技术研发人员：钱立化，周明莉，
申请(专利权)人：众安在线财产保险股份有限公司，
类型：发明
国别省市：上海,31