【技术实现步骤摘要】
本专利技术涉及数据核对，尤其是一种多数据源的分片调度数据核对方法与系统。
技术介绍
1、在数据驱动的时代，数据质量已成为各行各业决策的关键因素，而数据核对则是保障数据质量的重要步骤。通常，数据核对过程依赖于对单一数据源执行预定义的sql查询，再将查询结果与预期结果进行比较。如果这两者一致，则认为数据是准确的；反之，就可以确定数据存在问题。这种核对方法由于其简洁和针对性，在处理一些简单的数据核对任务时，能够提供高效且易于理解的解决方案。
2、然而，随着数据的复杂性和量级的不断提升，以及业务需求的日益多样化，单一数据源的核对方法开始显现出其局限性。首先，现有的数据核对方法通常只能处理单一的数据源。这意味着它不能处理来自多个不同数据源的数据，这在当今的大数据环境下是一个重要的局限性。其次，当需要处理的数据量非常大时，数据核对任务可能会变得非常慢。此外，现有的方法通常需要预先定义核对规则，而不能实时编辑。这使得它难以适应业务规则的变化。因此，需要一个全新的解决方案，来更好地应对这些挑战，只依赖底层数据就能实现跨数据源的数据核对，同时提高核对效率。
技术实现思路
1、本专利技术的目的是提供一种多数据源的分片调度数据核对方法，以实现跨数据源的数据核对，并提高数据核对的效率。
2、本专利技术提供的基础方案：一种多数据源的分片调度数据核对方法,包括以下步骤：
3、获取核对任务的配置信息，所述配置信息包括多数据源配置、分片sql配置、数据查询sql配置、参数提取s
4、根据多数据源配置和分片sql配置，执行分片sql：将核对任务进行切片，为每个分片任务分配一个或多个数据源；
5、对于每个切片任务，根据数据查询sql配置和参数提取sql配置，执行数据查询sql和参数提取sql，获取相应的数据；
6、将通过查询并提取的参数结果存入一个映射表中，其中映射表的键为参数名称，值为对应的实际值；
7、根据核对公式配置，将从映射表中提取核对公式中的参数对应的实际值，代入到核对公式中；
8、使用数学公式解析引擎计算公式，得到公式计算结果；
9、根据预期公式结果配置，判断公式计算结果是否等于预期结果，若等于预期结果，则判定数据核对成功，否则判定数据核对失败。
10、本专利技术的有益效果：本专利技术提供了一种基于sql结果公式解析的多数据源分片调度数据核对方法，通过多数据源和分片处理，有效提升数据核对的效率，尤其在处理大规模数据时。同时，这个方法允许进行多数据源的数据核对，极大地提升了核对的灵活性和范围。并且，通过基于sql的核对规则定义，不仅可以在无需进行系统迭代的情况下，实时编辑和更新核对规则，提高了数据核对的灵活性和效率，而且实现了数据核对工作与具体业务系统的解耦，进一步提升了数据核对的灵活性和可扩展性。最后，通过使用数学公式解析引擎，方案能够准确地计算和验证数据，确保了数据的准确性和可靠性。总的来说，这个专利技术通过其独特的设计和实现，显著提升了数据核对的效率，灵活性和准确性，同时减少了系统迭代的需要，提高了数据核对的灵活性和可扩展性。
11、进一步，本专利技术还包括一种多数据源的分片调度数据核对系统，该系统包括配置模块、数据抽取模块、数据处理模块、结果返回模块；所述配置模块用于对多数据源进行管理和配置；所述数据抽取模块负责连接数据源，执行核对任务中的分片sql、数据查询sql和参数提取sql，以获取相应的数据；所述数据处理模块负责将获取的的数据代入到核对公式中，并使用数学公式解析引擎进行结果计算；所述结果返回模块将公式计算结果与预期结果进行比对,并返回比对结果。
12、本方案的有益效果为：该系统有效地简化了数据核对流程，提高了数据处理的效率。通过配置模块对多数据源进行管理和配置，使得本系统能够适应各种不同的数据源环境，增强了系统的灵活性和适应性。数据抽取模块则能够快速、有效地从各数据源获取所需数据，提高了数据处理的速度。数据处理模块将查询得到的数据代入到核对公式中，并使用数学公式解析引擎进行计算，这使得本系统能够处理复杂的数据核对任务，增强了系统的功能性。结果返回模块将公式计算结果与预期结果进行比对，并返回比对结果，这既提供了数据核对的结果反馈，也使得用户能够快速了解数据核对的状态，提高了用户体验。总的来说，该系统可以高效、准确地处理复杂的多数据源数据核对任务，提高数据处理效率，增强数据处理的准确性和可靠性，同时提供了用户友好的结果反馈，提高了用户体验。
13、进一步，所述配置模块还包括多数据源配置单元、sql配置单元以及公式配置单元；所述多数据源配置单元负责配置和管理多个数据源的连接信息；所述sql配置单元用于配置核对任务中的分片sql、数据查询sql和参数提取sql；所述公式配置单元用于配置核对公式和预期公式结果。
14、本方案的有益效果为：sql配置单元专门负责配置核对任务中的分片sql、数据查询sql和参数提取sql，这使得sql配置处理更具专业性，可以针对不同类型的sql进行专门配置，提高了sql处理的准确性和效率。公式配置单元则专门负责配置核对公式和预期公式结果，这使得公式的配置和管理变得更加明确和简洁，减少了公式配置中可能出现的错误，提高了公式处理的准确性。
15、进一步，所述数据抽取模块进一步包括：数据源连接单元和sql执行单元；所述数据源连接单元，根据配置模块中所设定的数据源进行连接；所述sql执行单元则根据sql配置单元中所设定的sql语句对已经连接的数据源进行查询，获取查询结果。
16、本方案的有益效果为：数据源连接单元专门负责根据配置模块中设定的数据源进行连接，这使得系统能够更灵活地管理和操作多个数据源，提高了数据连接的效率。sql执行单元则专门负责根据sql配置单元中设定的sql语句对已连接的数据源进行查询，获取查询结果，这使得系统能够更准确、更快速地获取所需数据，提高了数据抽取的效率。
17、进一步，所述数据处理模块进一步包括：公式参数提取单元和公式执行单元；所述公式参数提取单元用于从sql执行单元获取的查询结果中提取出用于核对公式的参数；所述公式执行单元：用于从公式参数提取单元获取的参数，代入到核对公式中进行计算，以得到核对结果。
18、本方案的有益效果为：公式参数提取单元专门负责从sql执行单元获取的查询结果中提取出用于核对公式的参数，这使得参数的获取过程更加精准和高效，减少了错误的可能性。公式执行单元则负责将从公式参数提取单元获取的参数代入到核对公式中进行计算，以得到核对结果，这使得公式的执行过程更加明确和准确，提高了数据处理的准确性。
19、进一步，所述数学公式解析引擎为基于语法树的数学公式解析器。
20、本方案的有益效果为：通过使用基于语法树的数学公式解析器作为数学公式解析引擎，提升了公式处理的效率和准确性。基于语法树的数学公式解析器能够结构化地处理本文档来自技高网...
【技术保护点】
1.一种多数据源的分片调度数据核对方法,其特征在于，所述方法包括以下步骤：
2.一种多数据源的分片调度数据核对系统，其特征在于：包括配置模块、数据抽取模块、数据处理模块、结果返回模块；所述配置模块用于对多数据源进行管理和配置；所述数据抽取模块负责连接数据源，执行核对任务中的分片SQL、数据查询SQL和参数提取SQL，以获取相应的数据；所述数据处理模块负责将获取的数据代入到核对公式中，并使用数学公式解析引擎进行结果计算；所述结果返回模块将公式计算结果与预期结果进行比对,并返回比对结果。
3.根据权利要求2所述的分片调度数据核对系统，其特征在于：所述配置模块进一步包括：多数据源配置单元、SQL配置单元以及公式配置单元；所述多数据源配置单元负责配置和管理多个数据源的连接信息；所述SQL配置单元用于配置核对任务中的分片SQL、数据查询SQL和参数提取SQL；所述公式配置单元用于配置核对公式和预期公式结果。
4.根据权利要求3所述的分片调度数据核对系统，其特征在于：所述数据抽取模块进一步包括：数据源连接单元和SQL执行单元；所述数据源连接单元，根据配置模
5.根据权利要求4所述的分片调度数据核对系统，其特征在于：所述数据处理模块进一步包括：公式参数提取单元和公式执行单元；所述公式参数提取单元用于从SQL执行单元获取的查询结果中提取出用于核对公式的参数；所述公式执行单元：用于从公式参数提取单元获取的参数，代入到核对公式中进行计算，以得到公式计算结果。
6.根据权利要求2所述的分片调度数据核对系统，其特征在于：所述数学公式解析引擎为基于语法树的数学公式解析器。
...【技术特征摘要】
1.一种多数据源的分片调度数据核对方法,其特征在于，所述方法包括以下步骤：
2.一种多数据源的分片调度数据核对系统，其特征在于：包括配置模块、数据抽取模块、数据处理模块、结果返回模块；所述配置模块用于对多数据源进行管理和配置；所述数据抽取模块负责连接数据源，执行核对任务中的分片sql、数据查询sql和参数提取sql，以获取相应的数据；所述数据处理模块负责将获取的数据代入到核对公式中，并使用数学公式解析引擎进行结果计算；所述结果返回模块将公式计算结果与预期结果进行比对,并返回比对结果。
3.根据权利要求2所述的分片调度数据核对系统，其特征在于：所述配置模块进一步包括：多数据源配置单元、sql配置单元以及公式配置单元；所述多数据源配置单元负责配置和管理多个数据源的连接信息；所述sql配置单元用于配置核对任务中的分片sql、数据查询sql和参数提取s...
【专利技术属性】
技术研发人员：杜欣果，
申请(专利权)人：重庆富民银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。