【技术实现步骤摘要】
数据异常处理方法、装置、电子设备和存储介质
[0001]本专利技术涉及数据处理
，尤其涉及一种数据异常处理方法、装置、电子设备和存储介质。
技术介绍
[0002]Flink和Spark等大数据处理平台在进行数据处理时，由于输入数据的格式问题，可能会导致数据处理异常。为了不影响数据处理的正常流程，通常需要对异常数据进行处理。
[0003]相关技术中，在数据流上加数据校验，通过数据校验来区分异常数据和正常数据，然后对正常数据进行处理，并将异常数据进行分流或者抛弃等处理。
[0004]但上述相关技术中，需要在每个处理节点进行数据校验，数据加工过程比较复杂，从而提高了数据异常处理的复杂度。
技术实现思路
[0005]针对现有技术存在的问题，本专利技术提供一种数据异常处理方法、装置、电子设备和存储介质。
[0006]本专利技术提供一种数据异常处理方法，包括：
[0007]在当前处理节点处理的数据流发生异常时，捕获异常数据；
[0008]确定是否重新抛出所述异常数据；>[0009]在确定本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据异常处理方法，其特征在于，包括：在当前处理节点处理的数据流发生异常时，捕获异常数据；确定是否重新抛出所述异常数据；在确定不重新抛出所述异常数据时，获取所述当前处理节点对应的目标异常处理配置信息；基于所述目标异常处理配置信息对所述异常数据进行处理。2.根据权利要求1所述的数据异常处理方法，其特征在于，所述基于所述目标异常处理配置信息对所述异常数据进行处理，包括：对所述异常数据进行包装标记，得到异常数据包；基于所述目标异常处理配置信息对所述异常数据包进行处理。3.根据权利要求2所述的数据异常处理方法，其特征在于，所述对所述异常数据进行包装标记，得到异常数据包，包括：将所述异常数据的来源信息、所述异常数据的异常位置信息、以及所述异常数据进行包装标记，得到所述异常数据包。4.根据权利要求2所述的数据异常处理方法，其特征在于，所述在当前处理节点处理的数据流发生异常时，捕获异常数据之前，所述方法还包括：获取用户输入的每个处理节点的异常处理配置信息；其中，所述异常处理配置信息包括以下任一项：丢弃、记录日志和分流。5.根据权利要求4所述的数据异常处理方法，其特征在于，所述基于所述目标异常处理配置信息对所述异常数据包进行处理，包括：在所述目标异常处理配置信息为所述丢弃时，丢弃所述异常数据包。6.根据权利要求4所述的数据异常处理方法，其特征在于，所述基于所述目标异常处理配置信息对所述异常数据包进行处理，包括：在所述目标异常处理配置信息为所述记录日志时，将所述异常数据包写入异常日志中。7.根据权利要求4所述的数据异常处理方法，其...
【专利技术属性】
技术研发人员：叶盛，
申请(专利权)人：网神信息技术北京股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。