跨引擎切换评估方法、装置、存储介质及电子设备制造方法及图纸

本申请公开了一种跨引擎切换评估方法、装置、存储介质及电子设备，该方法包括：获取执行目标任务的原始引擎以及备用引擎，通过所述原始引擎和所述备用引擎分别执行所述目标任务，并将执行结果分别记录到第一落盘表以及第二落盘表，确定所述第一落盘表的第一表特征值，以及所述第二落盘表的第二表特征值，判断所述第二表特征值是否与所述第一表特征值一致，若所述第二表特征值与所述第一表特征值一致，则将所述备用引擎作为候选切换引擎。本申请中通过比较表特征值是否一致来校验不同引擎执行同一任务的执行结果是否具有一致性，可以提高一致性校验的准确性。一致性校验的准确性。一致性校验的准确性。

【技术实现步骤摘要】
跨引擎切换评估方法、装置、存储介质及电子设备


[0001]本申请涉及计算机
，具体涉及一种跨引擎切换评估方法、装置、存储介质及电子设备。

技术介绍

[0002]传统数仓给予Hive计算引擎搭建，随着业务的发展与数据量的激增，采用Hive进行离线分析已经不能满足我们在资源利用、响应时延等方面的需求。目前，各互联网企业采取的方式大都是使用SparkSQL替换Hive作为计算引擎，实现改造离线数仓的目的。为了保障迁移前后产出的数据具有严格的一致性，例如，将Hive任务切换为SparkSQL执行时，需要进行数据对比以确保引擎切换的一致性。传统手段采用抽样比较的方式校验数据的一致性，然而，该方式不可避免的存在着检测误差。

技术实现思路

[0003]本申请实施例提供一种跨引擎切换评估方法、装置、存储介质及电子设备，能够提高对不同引擎执行同一任务分别得到的执行结果进行一致性校验的准确性。
[0004]第一方面，本申请实施例提供一种跨引擎切换评估方法，包括：
[0005]获取执行目标任务的原始引擎以及备用引擎；
[0006]通过所述原始引擎和所述备用引擎分别执行所述目标任务，并将执行结果分别记录到第一落盘表以及第二落盘表；
[0007]确定所述第一落盘表的第一表特征值，以及所述第二落盘表的第二表特征值；
[0008]判断所述第二表特征值是否与所述第一表特征值一致；
[0009]若所述第二表特征值与所述第一表特征值一致，则将所述备用引擎作为候选切换引擎。
[0010]在一些实施例中，所述确定所述第一落盘表的第一表特征值，以及所述第二落盘表的第二表特征值，包括：
[0011]将所述第一落盘表中的每一行数据进行拼接，得到第一拼接数据，以及将所述第二落盘表中的每一行数据进行拼接，得到第二拼接数据；
[0012]通过校验和算法计算所述第一拼接数据的校验码作为第一行特征值，以及通过校验和算法计算所述第二拼接数据的校验码作为第二行特征值；
[0013]对所述第一落盘表中所有行对应的第一行特征值进行求和处理，得到所述第一表特征值，以及对所述第二落盘表中所有行对应的第二行特征值进行求和处理，得到所述第二表特征值。
[0014]在一些实施例中，所述若所述第二表特征值与所述第一表特征值一致，则将所述备用引擎作为候选切换引擎，包括：
[0015]获取所述第一落盘表的第一数据行数，并获取所述第二落盘表的第二数据行数；
[0016]若所述第二数据行数与所述第一数据行数一致，且所述第二表特征值与所述第一
表特征值一致，则将所述备用引擎作为所述候选切换引擎。
[0017]在一些实施例中，在若所述第二数据行数与所述第一数据行数一致，且所述第二表特征值与所述第一表特征值一致，则将所述备用引擎作为所述候选切换引擎之后，还包括：
[0018]获取所述原始引擎执行所述目标任务的第一执行时间，以及获取所述候选切换引擎执行所述目标任务的第二执行时间；
[0019]若所述第二执行时间小于所述第一执行时间，则将执行所述目标任务的引擎由所述原始引擎切换为所述候选切换引擎。
[0020]在一些实施例中，在若所述第二数据行数与所述第一数据行数一致，且所述第二表特征值与所述第一表特征值一致，则将所述备用引擎作为所述候选切换引擎之后，还包括：
[0021]获取所述原始引擎执行所述目标任务消耗的第一计算资源，以及获取所述候选切换引擎执行所述目标任务消耗的第二计算资源；
[0022]若所述第二计算资源小于所述第一计算资源，则将执行所述目标任务的引擎由所述原始引擎切换为所述候选切换引擎。
[0023]在一些实施例中，在若所述第二数据行数与所述第一数据行数一致，且所述第二表特征值与所述第一表特征值一致，则将所述备用引擎作为所述候选切换引擎之后，还包括：
[0024]获取所述原始引擎执行所述目标任务的第一执行时间，以及获取所述候选切换引擎执行所述目标任务的第二执行时间；
[0025]获取所述原始引擎执行所述目标任务消耗的第一计算资源，以及获取所述候选切换引擎执行所述目标任务消耗的第二计算资源；
[0026]通过预设的质量评价模型对所述原始引擎的所述第一执行时间以及所述第一计算资源进行质量评价，得到第一质量评价分数；
[0027]通过所述预设的质量评价模型对所述候选切换引擎的所述第二执行时间以及所述第二计算资源进行质量评价，得到第二质量评价分数；
[0028]若所述第二质量评价分数大于所述第一质量评价分数，则将执行所述目标任务的引擎由所述原始引擎切换为所述候选切换引擎。
[0029]在一些实施例中，在通过所述原始引擎和所述备用引擎分别执行所述目标任务，并将执行结果分别记录到第一落盘表以及第二落盘表之前，还包括：
[0030]创建所述第一落盘表，所述第一落盘表用于保存所述原始引擎执行所述目标任务的执行结果；
[0031]创建所述第二落盘表，所述第二落盘表用于保存所述备用引擎执行所述目标任务的执行结果。
[0032]第二方面，本申请实施例还提供一种跨引擎切换评估装置，包括：
[0033]获取单元，用于获取执行目标任务的原始引擎以及备用引擎；
[0034]记录单元，用于通过所述原始引擎和所述备用引擎分别执行所述目标任务，并将执行结果分别记录到第一落盘表以及第二落盘表；
[0035]确定单元，用于确定所述第一落盘表的第一表特征值，以及所述第二落盘表的第
二表特征值；
[0036]判断单元，用于判断所述第二表特征值是否与所述第一表特征值一致；
[0037]选择单元，用于若所述第二表特征值与所述第一表特征值一致，则将所述备用引擎作为候选切换引擎。
[0038]第三方面，本申请实施例还提供一种计算机可读的存储介质，其上存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行如本申请任一实施例提供的跨引擎切换评估方法。
[0039]第四方面，本申请实施例还提供一种电子设备，包括处理器和存储器，所述存储器有计算机程序，所述处理器通过调用所述计算机程序，用于执行如本申请任一实施例提供的跨引擎切换评估方法。
[0040]本申请实施例提供的技术方案，通过获取执行目标任务的原始引擎以及备用引擎，通过所述原始引擎和所述备用引擎分别执行所述目标任务，并将执行结果分别记录到第一落盘表以及第二落盘表，确定所述第一落盘表的第一表特征值，以及所述第二落盘表的第二表特征值，判断所述第二表特征值是否与所述第一表特征值一致，若所述第二表特征值与所述第一表特征值一致，则将所述备用引擎作为候选切换引擎。本申请中通过比较表特征值是否一致来校验不同引擎执行同一任务的执行结果是否具有一致性，可以提高一致性校验的准确性。
附图说明
[0041]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种跨引擎切换评估方法，其特征在于，包括：获取执行目标任务的原始引擎以及备用引擎；通过所述原始引擎和所述备用引擎分别执行所述目标任务，并将执行结果分别记录到第一落盘表以及第二落盘表；确定所述第一落盘表的第一表特征值，以及所述第二落盘表的第二表特征值；判断所述第二表特征值是否与所述第一表特征值一致；若所述第二表特征值与所述第一表特征值一致，则将所述备用引擎作为候选切换引擎。2.如权利要求1所述的跨引擎切换评估方法，其特征在于，所述确定所述第一落盘表的第一表特征值，以及所述第二落盘表的第二表特征值，包括：将所述第一落盘表中的每一行数据进行拼接，得到第一拼接数据，以及将所述第二落盘表中的每一行数据进行拼接，得到第二拼接数据；通过校验和算法计算所述第一拼接数据的校验码作为第一行特征值，以及通过校验和算法计算所述第二拼接数据的校验码作为第二行特征值；对所述第一落盘表中所有行对应的第一行特征值进行求和处理，得到所述第一表特征值，以及对所述第二落盘表中所有行对应的第二行特征值进行求和处理，得到所述第二表特征值。3.如权利要求1所述的跨引擎切换评估方法，其特征在于，所述若所述第二表特征值与所述第一表特征值一致，则将所述备用引擎作为候选切换引擎，包括：获取所述第一落盘表的第一数据行数，并获取所述第二落盘表的第二数据行数；若所述第二数据行数与所述第一数据行数一致，且所述第二表特征值与所述第一表特征值一致，则将所述备用引擎作为所述候选切换引擎。4.如权利要求3所述的跨引擎切换评估方法，其特征在于，在若所述第二数据行数与所述第一数据行数一致，且所述第二表特征值与所述第一表特征值一致，则将所述备用引擎作为所述候选切换引擎之后，还包括：获取所述原始引擎执行所述目标任务的第一执行时间，以及获取所述候选切换引擎执行所述目标任务的第二执行时间；若所述第二执行时间小于所述第一执行时间，则将执行所述目标任务的引擎由所述原始引擎切换为所述候选切换引擎。5.如权利要求3所述的跨引擎切换评估方法，其特征在于，在若所述第二数据行数与所述第一数据行数一致，且所述第二表特征值与所述第一表特征值一致，则将所述备用引...

【专利技术属性】
技术研发人员：刘泽鑫，
申请(专利权)人：北京奇艺世纪科技有限公司，
类型：发明
国别省市：