基于批计算的流计算数据测试方法及相关设备技术

本发明专利技术实施例公开了一种基于批计算的流计算数据测试方法、装置、计算机设备及存储介质。方法包括：获取待测试的流计算引擎；然后根据所述流计算引擎对预设的批计算引擎进行处理逻辑等价处理，得到处理后的批计算引擎；再将预设的测试数据输入所述流计算引擎中，得到流计算结果数据，所述测试数据的数据量大于预设值；并将所述测试数据输入所述处理后的批计算引擎中，得到批计算结果数据；最后根据所述批计算结果数据，对所述流计算结果数据进行校验测试，得到所述流计算数据的测试结果。本方案可以利用批计算引擎得到的大量的批计算结果数据对流计算结果数据进行的真实性以及完整性的测试，可以提高流计算数据测试的准确性。

【技术实现步骤摘要】
基于批计算的流计算数据测试方法及相关设备
本专利技术涉及数据处理
，尤其涉及一种基于批计算的流计算数据测试方法、装置、计算机设备及存储介质。
技术介绍
随着云计算的深入落地，大数据技术有了坚实的底层支撑，不断向前发展并日趋成熟，无论是传统企业还是互联网公司，都不再满足于离线批计算，而是更倾向于应用实时的流计算。在转向流计算业务之前，需要先创建流计算引擎，在流计算引擎投入使用之前，为了保证该流计算引擎对数据的处理的准确性，技术人员需要对该流计算引擎进行大数据应用的测试，与软件组件的测试相比，大数据应用的测试工作很大一部分将花费在数据验证测试上。目前的流计算数据的测试主要是以人工验证测试的方式，该方式用小量数据(几十条)验证数据的正确性，再用大量数据(百万、千万)验证数据的完整性。如果我们在进行正确性测试时，由于测试数据的数量比较小，如果测试数据的取样刚好“规避”了错误数据的产生，那这样的测试结果其实是不完整的，导致流计算数据测试的准确性较低。
技术实现思路
本专利技术实施例提供了一种基于批计算的流计算数据测试方法、装置、计算机设备及存储介质，可以提高流计算数据测试的准确性。第一方面，本专利技术实施例提供了一种基于批计算的流计算数据测试方法，其包括：获取待测试的流计算引擎；根据所述流计算引擎对预设的批计算引擎进行处理逻辑等价处理，得到处理后的批计算引擎；将预设的测试数据输入所述流计算引擎中，得到流计算结果数据，所述测试数据的数据量大于预设值；>将所述测试数据输入所述处理后的批计算引擎中，得到批计算结果数据；根据所述批计算结果数据，对所述流计算结果数据进行校验测试，得到所述流计算数据的测试结果。第二方面，本专利技术实施例还提供了一种基于批计算的流计算数据测试装置，其包括用于执行上述方法的单元。第三方面，本专利技术实施例还提供了一种计算机设备，其包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法。第四方面，本专利技术实施例还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时可实现上述方法。本专利技术实施例提供了一种基于批计算的流计算数据测试方法、装置、计算机设备及存储介质。其中，所述方法包括：获取待测试的流计算引擎；然后根据所述流计算引擎对预设的批计算引擎进行处理逻辑等价处理，得到处理后的批计算引擎；再将预设的测试数据输入所述流计算引擎中，得到流计算结果数据，所述测试数据的数据量大于预设值；并将所述测试数据输入所述处理后的批计算引擎中，得到批计算结果数据；最后根据所述批计算结果数据，对所述流计算结果数据进行校验测试，得到所述流计算数据的测试结果。本方案可以利用批计算引擎得到的大量的批计算结果数据对流计算结果数据进行的真实性以及完整性的测试，降低了由于测试数据的取样刚好“规避”了错误数据的产生，而导致正确性测试不完整的可能性，可以提高流计算数据测试的准确性。附图说明为了更清楚地说明本专利技术实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例提供的基于批计算的流计算数据测试方法的应用场景示意图；图2为本专利技术实施例提供的基于批计算的流计算数据测试方法的一流程示意图；图3为本专利技术实施例提供的基于批计算的流计算数据测试方法的一子流程示意图；图4为本专利技术实施例提供的基于批计算的流计算数据测试方法的另一子流程示意图；图5为本专利技术实施例提供的基于批计算的流计算数据测试方法的另一子流程示意图；图6为本专利技术实施例提供的基于批计算的流计算数据测试装置的示意性框图；图7为本专利技术实施例提供的计算机设备的示意性框图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。还应当理解，在此本专利技术说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本专利技术。如在本专利技术说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。还应当进一步理解，在本专利技术说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。本专利技术实施例提供一种基于批计算的流计算数据测试方法、装置、计算机设备及存储介质。该基于批计算的流计算数据测试方法的执行主体可以是本专利技术实施例提供的基于批计算的流计算数据测试装置，或者集成了该基于批计算的流计算数据测试装置的计算机设备，其中，该基于批计算的流计算数据测试装置可以采用硬件或者软件的方式实现，该计算机设备可以包括服务器或终端，该终端可以是智能手机、平板电脑、掌上电脑、或者笔记本电脑等。请参阅图1，图1为本专利技术实施例提供的基于批计算的流计算数据测试方法的一个应用场景示意图。该基于批计算的流计算数据测试方法可以应用于如图1所示的计算机设备中，当用户需要对流计算引擎进行数据测试时，可以将该流计算引擎提供给该计算机设备，其中，该计算机设备预设有批计算引擎以及大量的测试数据，然后通过该计算机设备对该流计算引擎对应的流数据进行测试，测试方法包括：获取待测试的流计算引擎；然后根据所述流计算引擎对预设的批计算引擎进行处理逻辑等价处理，得到处理后的批计算引擎；再将预设的测试数据输入所述流计算引擎中，得到流计算结果数据，所述测试数据的数据量大于预设值；并将所述测试数据输入所述处理后的批计算引擎中，得到批计算结果数据；最后根据所述批计算结果数据，对所述流计算结果数据进行校验测试，得到所述流计算数据的测试结果。需要说明的是，本实施例中基于批计算的流计算数据测试方法中的批计算为批量计算，是一种统一收集数据，将数据存储到数据库中，然后对数据进行批量处理的数据计算，其中，该批量计算基于批计算引擎实现，本实施例中提及的批计算引擎即批量计算引擎。本实施例中提及的流计算为流式计算，用于对数据流进行处理，是一种实时计算，其中，本实施例中的流计算数据即流式计算数据，该流式计算数据基于流计算引擎实现，本实施例中提及的流计算引擎即流式计算引擎。以下分别进行详细说明。在本专利技术实施例中，将以基于批计算的流计算数据测试装置(以下简本文档来自技高网...

【技术保护点】
1.一种基于批计算的流计算数据测试方法，其特征在于，包括：/n获取待测试的流计算引擎；/n根据所述流计算引擎对预设的批计算引擎进行处理逻辑等价处理，得到处理后的批计算引擎；/n将预设的测试数据输入所述流计算引擎中，得到流计算结果数据，所述测试数据的数据量大于预设值；/n将所述测试数据输入所述处理后的批计算引擎中，得到批计算结果数据；/n根据所述批计算结果数据，对所述流计算结果数据进行校验测试，得到所述流计算数据的测试结果。/n

【技术特征摘要】
1.一种基于批计算的流计算数据测试方法，其特征在于，包括：
获取待测试的流计算引擎；
根据所述流计算引擎对预设的批计算引擎进行处理逻辑等价处理，得到处理后的批计算引擎；
将预设的测试数据输入所述流计算引擎中，得到流计算结果数据，所述测试数据的数据量大于预设值；
将所述测试数据输入所述处理后的批计算引擎中，得到批计算结果数据；
根据所述批计算结果数据，对所述流计算结果数据进行校验测试，得到所述流计算数据的测试结果。


2.根据权利要求1所述的方法，其特征在于，所述根据所述流计算引擎对预设的批计算引擎进行处理逻辑等价处理，得到处理后的批计算引擎，包括：
从预设的逻辑库中确定与所述流计算引擎中流计算处理逻辑对应的目标数据处理逻辑；
根据所述目标数据处理逻辑对所述预设的批计算引擎中的批计算处理逻辑进行处理逻辑等价处理，得到所述处理后的批计算引擎。


3.根据权利要求1所述的方法，其特征在于，所述将预设的测试数据输入所述流计算引擎中，得到流计算结果数据，包括：
通过所述流计算引擎中的流数据获取脚本，从存有所述测试数据的数据库中读取所述测试数据至所述流计算引擎中的流计算数据源中；
通过所述流计算引擎中的流计算处理脚本，对所述流计算数据源中的所述测试数据进行流计算逻辑处理，得到所述流计算结果数据。


4.根据权利要求3所述的方法，其特征在于，所述通过所述流计算引擎中的流数据获取脚本，从存有所述测试数据的数据库中读取所述测试数据至所述流计算引擎中的流计算数据源中，包括：
当到达预设的第一时间点时，向所述流计算引擎发出第一工作指令；
根据所述第一工作指令触发所述流数据获取脚本，从所述数据库中读取所述测试数据至所述流计算数据源中。


5.根据权利要求1所述的方法，其特征在于，所述将所述测试数据输入所述处理后的批计算引擎中，得到批计算结果数据，包括：
通过所述处理后的批计算引擎中的批数据获取脚本，从存有所述测试数据的数据库中读取所述测试数据至所述批计算引擎中的批计算数据源中；
通过所述批计算引擎中的批计算处理脚本，对所述批计算数据源中的所述测试数据进行批计算逻辑处...

【专利技术属性】
技术研发人员：李舒婷，
申请(专利权)人：中国平安人寿保险股份有限公司，
类型：发明
国别省市：广东;44