本申请实施例属于数据处理领域，涉及一种批量数据异常处理方法，包括获取待写入的源数据表，通过执行异常识别脚本识别出源数据表的第一异常数据；根据第一异常数据对源数据表进行逻辑改造，得到改造后的源数据表；将改造后的源数据表中的数据写入数据库中最终待写入的目标数据表，并在写入过程中对改造后的源数据表进行识别，得到第二异常数据，同时将第二异常数据写入异常数据表。本申请还提供一种批量数据异常处理装置、计算机设备及存储介质。此外，本申请还涉及区块链技术，原始源数据表可存储于区块链中。本申请能够快速简便地将异常进行自动化捕获处理，避免跑批任务出现报错中断影响后续业务。中断影响后续业务。中断影响后续业务。
【技术实现步骤摘要】
批量数据异常处理方法、装置、计算机设备及存储介质
[0001]本申请涉及数据处理
，尤其涉及一种批量数据异常处理方法、装置、计算机设备及存储介质。
技术介绍
[0002]在随着企业持续发展的过程中，经营数据积累会越来越多，出于分析性报告和决策支持目的，企业建立数据仓库逐渐成为趋势。构建完整的数据仓库可为企业提供业务流程指导，同时也可对时间、成本、质量进行改进和控制。而ETL作为数仓中的重要内容，ETL是英文Extract
‑
Transform
‑
Load的缩写，用来描述将数据从来源端经过抽取(Extract)、转换(Transform)、加载(Load)至目的端的过程。
[0003]在实际ETL中往往会因为源端数据出现的数据质量、数据标准等问题，造成生产跑批异常。在许多行业都会面临类似问题，通常做法都是基于可能出现的问题或场景进行监控电话告警，再通知值班人员进行处理。发送异常后则需要人工介入进行紧急处理，整个过程中处理问题的效率、效果都会有一定滞后性，无法满足数据批量处理的时效性、稳定性要求较高的需求。
技术实现思路
[0004]本申请实施例的目的在于提出一种批量数据异常处理方法、装置、计算机设备及存储介质，以解决相关技术中异常处理滞后，且效率低，造成数据批量处理的时效性以及稳定性低的技术问题。
[0005]为了解决上述技术问题，本申请实施例提供一种批量数据异常处理方法，采用了如下所述的技术方案：
[0006]获取待写入的源数据表，通过执行异常识别脚本识别出所述源数据表的第一异常数据；
[0007]根据所述第一异常数据对所述源数据表进行逻辑改造，得到改造后的源数据表；
[0008]将所述改造后的源数据表中的数据写入数据库中最终待写入的目标数据表，并在写入过程中对所述改造后的源数据表进行识别，得到第二异常数据，同时将所述第二异常数据写入异常数据表。
[0009]进一步的，所述通过执行异常识别脚本识别出所述源数据表的第一异常数据的步骤包括：
[0010]读取所述源数据表中的字段数据；
[0011]通过执行所述异常识别脚本调用预设异常识别函数，对所述字段数据进行异常识别，得到第一异常数据，其中，所述预设异常识别函数是根据预设异常类型确定的。
[0012]进一步的，所述根据所述第一异常数据对所述源数据表进行逻辑改造的步骤包括：
[0013]确定所述第一异常数据在所述源数据表中对应的异常字段；
[0014]根据所述异常字段的异常类型，对所述异常字段进行修改。
[0015]进一步的，所述根据所述异常字段的异常类型，对所述异常字段进行修改的步骤包括：
[0016]若异常类型为主键冲突时，则将所述异常字段的主键限制删除；
[0017]若异常类型为所述第一异常数据的数据长度大于不符合预设字段格式，则根据所述预设字段格式对所述数据长度进行修改；
[0018]若异常类型为所述第一异常数据为字段空值，则将所述异常字段的字段非空限制删除。
[0019]进一步的，所述将所述改造后的源数据表中的数据写入数据库中最终待写入的目标数据表，并在写入过程中对所述改造后的源数据表进行识别，得到第二异常数据，同时将所述第二异常数据写入异常数据表的步骤包括：
[0020]读取目标数据表的预设存储结构信息，所述预设存储结构信息包括所述目标数据表的标准字段属性；
[0021]通过数据清洗转换工具读取所述改造后的源数据表中的字段数据，并确定所述字段数据的字段属性是否符合对应的所述标准字段属性；
[0022]若符合，则将所述字段数据写入所述目标数据表；若不符合，则将与标准字段属性的标准字段格式不一致的所述字段数据确定为第二异常数据，将所述第二异常数据写入所述异常数据表。
[0023]进一步的，所述将所述字段数据写入所述目标数据表的步骤包括：
[0024]按照所述字段数据从所述目标数据表中提取与所述字段数据具有映射关系的标准字段属性；
[0025]将所述标准字段属性和所述字段数据生成写入执行语句，通过所述写入执行语句将所述字段数据写入到所述目标数据表中。
[0026]进一步的，所述通过所述写入执行语句将所述字段数据写入所述目标数据表中的步骤包括：
[0027]将所述写入执行语句封装成消息投递至消息队列；
[0028]开启导入线程，从所述消息队列中读取消息，并解析所述消息，得到所述写入执行语句以及所述目标数据表；
[0029]通过所述导入线程执行所述写入执行语句，将所述字段数据写入所述目标数据表。
[0030]为了解决上述技术问题，本申请实施例还提供一种批量数据异常处理装置，采用了如下所述的技术方案：
[0031]识别模块，用于获取待写入的源数据表，通过执行异常识别脚本识别出所述源数据表的第一异常数据；
[0032]改造模块，用于根据所述第一异常数据对所述源数据表进行逻辑改造，得到改造后的源数据表；
[0033]写入模块，用于将所述改造后的源数据表中的数据写入数据库中最终待写入的目标数据表，并在写入过程中对所述改造后的源数据表进行识别，得到第二异常数据，同时将所述第二异常数据写入异常数据表。
[0034]为了解决上述技术问题，本申请实施例还提供一种计算机设备，采用了如下所述的技术方案：
[0035]该计算机设备包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现如上所述的批量数据异常处理方法的步骤。
[0036]为了解决上述技术问题，本申请实施例还提供一种计算机可读存储介质，采用了如下所述的技术方案：
[0037]所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如上所述的批量数据异常处理方法的步骤。
[0038]与现有技术相比，本申请实施例主要有以下有益效果：
[0039]本申请通过获取待写入的源数据表，通过执行异常识别脚本识别出源数据表的第一异常数据；根据第一异常数据对源数据表进行逻辑改造，得到改造后的源数据表；将改造后的源数据表中的数据写入数据库中最终待写入的目标数据表，并在写入过程中对改造后的源数据表进行识别，得到第二异常数据，同时将第二异常数据写入异常数据表；本申请通过将识别出的异常数据进行逻辑改造，剔除限制，再在数据写入的时候对异常进行转换处理，将异常数据写入异常数据表，可以快速简便地将异常进行自动化捕获处理，避免跑批任务出现报错中断影响后续业务，同时减少了人工干预次数，整体任务在时效性和稳定性上得到了质的提升。
附图说明
[0040]为了更清楚地说明本申请中的方案，下面将对本申请实施例描述中所需要使用的附图作一个简单介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。...
【技术保护点】
【技术特征摘要】
1.一种批量数据异常处理方法，其特征在于，包括下述步骤：获取待写入的源数据表，通过执行异常识别脚本识别出所述源数据表的第一异常数据；根据所述第一异常数据对所述源数据表进行逻辑改造，得到改造后的源数据表；将所述改造后的源数据表中的数据写入数据库中最终待写入的目标数据表，并在写入过程中对所述改造后的源数据表进行识别，得到第二异常数据，同时将所述第二异常数据写入异常数据表。2.根据权利要求1所述的批量数据异常处理方法，其特征在于，所述通过执行异常识别脚本识别出所述源数据表的第一异常数据的步骤包括：读取所述源数据表中的字段数据；通过执行所述异常识别脚本调用预设异常识别函数，对所述字段数据进行异常识别，得到第一异常数据，其中，所述预设异常识别函数是根据预设异常类型确定的。3.根据权利要求1所述的批量数据异常处理方法，其特征在于，所述根据所述第一异常数据对所述源数据表进行逻辑改造的步骤包括：确定所述第一异常数据在所述源数据表中对应的异常字段；根据所述异常字段的异常类型，对所述异常字段进行修改。4.根据权利要求3所述的批量数据异常处理方法，其特征在于，所述根据所述异常字段的异常类型，对所述异常字段进行修改的步骤包括：若异常类型为主键冲突时，则将所述异常字段的主键限制删除；若异常类型为所述第一异常数据的数据长度不符合预设字段格式，则将所述异常数据的数据长度修改为预设字段格式；若异常类型为所述第一异常数据为字段空值，则将所述异常字段的字段非空限制删除。5.根据权利要求1至4中任一项所述的批量数据异常处理方法，其特征在于，所述将所述改造后的源数据表中的数据写入数据库中最终待写入的目标数据表，并在写入过程中对所述改造后的源数据表进行识别，得到第二异常数据，同时将所述第二异常数据写入异常数据表的步骤包括：读取所述目标数据表的预设存储结构信息，所述预设存储结构信息包括所述目标数据表的标准字段属性；通过数据清洗转换工具读取所述改造后的源数据表中的字段数据...
【专利技术属性】
技术研发人员：伍林，
申请(专利权)人：中国平安财产保险股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。