【技术实现步骤摘要】
网络数据处理系统异常退出后的自动恢复方法、装置和存储介质
[0001]本专利技术实施例涉及大数据处理中程序异常退出后的自动恢复
，特别涉及网络数据处理系统异常退出后的自动恢复方法、装置和存储介质。
技术介绍
[0002]网络数据处理系统的数据分为结构化数据和实体数据，通常一条数据记录包含一条结构化数据和一个实体文件（实体文件可能没有）。一个时间段（例如30秒）生成的结构化数据保存在同一个文件中，每条记录单独一行，实体文件单独保存，位置记录在结构化数据文件中。网络数据处理系统以结构化数据文件为单位处理数据，每次处理一条结构化数据及其实体数据。网络数据处理系统可以同时开启多个线程，并行处理数据。在处理数据的过程中，系统会因为处理某条数据时发生捕捉不到的异常而退出。网络数据处理系统自动重启后，需要感知上次发生的异常，剔除异常数据，然后正常处理后面的数据。本专利技术提出一种实现上述异常退出后自动恢复的方法。
技术实现思路
[0003]本专利技术实施方式的目的在于提供一种网络数据处理系统异常退出后的自动恢复方法、...
【技术保护点】
【技术特征摘要】
1.一种网络数据处理系统异常退出后的自动恢复方法，其特征在于，包括：正常处理数据模式下，每个数据处理线程缓存当前处理的结构化数据文件路径和当前处理的结构化数据标识，在当前结构化数据和结构化数据文件处理完后，缓存信息被清除；在处理数据的过程中，若处理当前数据时发生捕捉不到的异常而退出，初次重新启动后，若缓存中有残存的上次处理的缓存信息，则把残存的上次处理的缓存信息缓存为异常缓存信息，并把残存的上次处理的缓存信息清除；进入异常排查模式，若处理完成的当前结构化数据文件缓存在异常缓存信息中，则清除相应文件的异常缓存信息；在所有的异常缓存文件都处理完成后，退出异常排查模式，进入所述正常处理数据模式。2.根据权利要求1所述的网络数据处理系统异常退出后的自动恢复方法，其特征在于，在异常排查模式时，采用单线程正常处理数据。3.根据权利要求1所述的网络数据处理系统异常退出后的自动恢复方法，其特征在于，还包括：再次重新启动后，检查缓存中的数据处理缓存，若发现缓存有一条数据，且异常缓存信息不为空，进入恢复阶段，数据处理缓存中的结构化数据文件和结构化数据标识正是发生异常的数据，备份相应条目数据，并清除结构化数据文件中的相应条目数据，清除所有缓存，进入正常处理数据模式。4.根据权利要求1
‑
3任一项所述的网络数据处理系统异常退出后的自动恢复方法，其特征在于，在异常排查模式中，若处理当前数据时发生捕捉不到的异常而退出，将导致程序退出的结构化数据文件以及相应文件中导致异常的记录保存在数据处理缓存中，编辑导致程序退出的结构化数据文件，备份导致异常的记录及实体文件，并在结构化数据文件中删除该相应条目记录并保存，然后删除所有缓存...
【专利技术属性】
技术研发人员：朱贺军，
申请(专利权)人：北京八角科技有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。