【技术实现步骤摘要】
本专利技术涉及数据处理，尤其涉及一种数据入库异常的处理方法、装置、电子设备和存储介质。
技术介绍
1、分布式大数据系统中，在数据插入数据引擎前，通常会将数据先插入消息队列，将消息队列作为数据入库的缓冲区，再由数据入库服务从消息队列消费数据入库，实现数据入库的消峰平谷。而数据入库服务再消费数据入库过程中通常会进行前置校验，用于判断数据是否合法。在校验逻辑不严谨，或者因校验开销较大而未做前置校验的情况下，数据能够通过前置校验，但进入数据引擎后不满足内部约束而报错。
2、现有技术中，在数据插入数据引擎失败的情况下，通常重试特定次数，若重试特定次数后依然插入失败，则将数据保存在重试区，由其他线程后续进行重试，若重试依然失败，则将数据保存在死信区，待后续进行人工处理。在数据引擎报错后会直接跳过该数据，并继续对后续数据进行消费入库，由于难以判断数据插入数据引擎失败的错误类型，会导致部分正常数据被跳过，影响此部分数据的时序性，导致数据状态错误。
3、从而，如何确定数据插入数据引擎失败的错误类型，是一个亟需解决的技术问题。
技术实现思路
1、本专利技术提供一种数据入库异常的处理方法、装置、电子设备和存储介质，用以解决现有技术中无法确定数据入库异常的错误类型的缺陷，以避免正常数据被跳过。
2、本专利技术提供一种数据入库异常的处理方法，包括：
3、确定故障探针数据，所述故障探针数据为上一批成功插入数据引擎的最后一条数据；
4、在多条目标数据插
5、基于所述失败次数，确定所述目标数据插入失败的错误类型。
6、根据本专利技术提供的数据入库异常的处理方法，所述基于所述失败次数，确定所述目标数据插入失败的错误类型，包括：
7、在所述失败次数等于0的情况下，确定所述错误类型为脏数据错误；
8、在所述失败次数大于0的情况下，确定所述错误类型为引擎故障错误。
9、根据本专利技术提供的数据入库异常的处理方法，所述方法还包括：
10、在所述失败次数大于0的情况下，遍历所述多条目标数据，基于目标插入频率将当前遍历的所述目标数据和所述故障探针数据插入所述数据引擎，直至所述目标数据成功插入所述数据引擎，其中，所述目标插入频率小于预设频率。
11、根据本专利技术提供的数据入库异常的处理方法，所述将所述故障探针数据与所述目标数据插入所述数据引擎之前，所述方法还包括：
12、确定错误样本内样本错误信息的数据量，所述错误样本中包括样本错误信息和样本错误类型；
13、在所述数据量大于或等于第一阈值的情况下，确定所述目标数据对应的错误信息；
14、将所述错误信息与日志模板进行匹配，确定匹配结果，所述日志模板用于表征所述样本错误信息的类别，所述日志模板为将所述错误样本内的多个所述样本错误信息进行聚类后得到的；
15、在所述匹配结果为匹配失败的情况下，执行将所述故障探针数据与所述目标数据插入所述数据引擎的步骤。
16、根据本专利技术提供的数据入库异常的处理方法，所述方法还包括：
17、在所述匹配结果为匹配成功的情况下，基于所述样本错误类型，确定所述目标数据的所述错误类型。
18、根据本专利技术提供的数据入库异常的处理方法，所述方法还包括：
19、在所述数据量小于第一阈值的情况下，执行将所述故障探针数据与所述目标数据插入所述数据引擎的步骤。
20、根据本专利技术提供的数据入库异常的处理方法，在针对每条目标数据，将所述故障探针数据与所述目标数据插入所述数据引擎之前，所述方法还包括：
21、将所述多条目标数据重复插入所述数据引擎，在所述多条目标数据插入所述数据引擎的重试次数不小于第二阈值的情况下，在所述故障探针数据成功插入所述数据引擎后，再次将所述多条目标数据插入所述数据引擎，得到第二入库结果；
22、在所述第二入库结果包括所述目标数据插入所述数据引擎成功的情况下，基于所述目标数据的最后一条数据更新所述故障探针数据；
23、在所述第二入库结果包括所述目标数据插入所述数据引擎失败的情况下，执行将所述故障探针数据与所述目标数据插入所述数据引擎的步骤。
24、本专利技术还提供一种数据入库异常的处理装置，包括：
25、第一确定模块，用于确定故障探针数据，所述故障探针数据为上一批成功插入数据引擎的最后一条数据；
26、第二确定模块，用于在多条目标数据插入所述数据引擎失败的情况下，针对每条目标数据，将所述故障探针数据与所述目标数据插入所述数据引擎，在所述目标数据入库失败的情况下，将所述故障探针数据与所述目标数据交替插入所述数据引擎，确定所述故障探针数据的失败次数；
27、第三确定模块，用于基于所述失败次数，确定所述目标数据插入失败的错误类型。
28、本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述数据入库异常的处理方法。
29、本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述数据入库异常的处理方法。
30、本专利技术提供的数据入库异常的处理方法、装置、电子设备和存储介质，通过将已成功入库的数据作为故障探针数据，在目标插入数据引擎失败的情况下，将故障探针数据和单条的目标数据交替插入数据引擎，并通过故障探针数据的失败次数确定目标数据的错误类型，避免跳过正常数据以及因跳过正常数据导致数据入库乱序，造成数据状态错误。
本文档来自技高网...【技术保护点】
1.一种数据入库异常的处理方法，其特征在于，包括：
2.根据权利要求1所述的数据入库异常的处理方法，其特征在于，所述基于所述失败次数，确定所述目标数据插入失败的错误类型，包括：
3.根据权利要求2所述的数据入库异常的处理方法，其特征在于，所述方法还包括：
4.根据权利要求1至3任一项所述的数据入库异常的处理方法，其特征在于，所述将所述故障探针数据与所述目标数据插入所述数据引擎之前，所述方法还包括：
5.根据权利要求4所述的数据入库异常的处理方法，其特征在于，所述方法还包括：
6.根据权利要求4或5所述的数据入库异常的处理方法，其特征在于，所述方法还包括：
7.根据权利要求1至3任一项所述的数据入库异常的处理方法，其特征在于，在针对每条目标数据，将所述故障探针数据与所述目标数据插入所述数据引擎之前，所述方法还包括：
8.一种数据入库异常的处理装置，其特征在于，包括：
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述数据入库异常的处理方法。
...【技术特征摘要】
1.一种数据入库异常的处理方法，其特征在于，包括：
2.根据权利要求1所述的数据入库异常的处理方法，其特征在于，所述基于所述失败次数，确定所述目标数据插入失败的错误类型，包括：
3.根据权利要求2所述的数据入库异常的处理方法，其特征在于，所述方法还包括：
4.根据权利要求1至3任一项所述的数据入库异常的处理方法，其特征在于，所述将所述故障探针数据与所述目标数据插入所述数据引擎之前，所述方法还包括：
5.根据权利要求4所述的数据入库异常的处理方法，其特征在于，所述方法还包括：
6.根据权利要求4或5所述的数据入库异常的处理方法，其特征在于，所述方...
【专利技术属性】
技术研发人员：林凯，徐陇浙，
申请(专利权)人：浙江宇视科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。