【技术实现步骤摘要】
本专利技术涉及数据自动转储系统
，尤其涉及一种用于大数据比对的数据转储方法。主要涉及数据从关系型数据库自动增量读取、按合理方式分区、远程上传等方法，用于将数据转储到大数据环境中进行比对分析。
技术介绍
随着信息化技术的发展，各单位根据自己的业务需要建立了各种各样的系统，近年来积攒了大批量的业务数据，随着数据量的增多，传统的关系型数据库已无法满足对业务数据进行分析的需要，大数据计算随之兴起，各单位希望通过大数据技术对已有的业务数据进行分析。由于目前业务数据都存储在关系型数据库中，无法进行快速分析，所以需要将存储在关系型数据库中的数据转储到大数据环境中用于分析。
技术实现思路
为了解决以上问题，本专利技术提出了一种用于大数据比对的数据转储方法。将存储在关系型数据库中的数据转储到大数据环境中，用于大数据分析，做到自动增量转储、自动检测并分析异常任务。本专利技术提供了一种用于大数据比对的数据转储方法，包括：模型配置：用于配置数据的来源及数据的相关描述，为数据转储做准备；任务生成器：用于根据配置的模型生成增量任务；任务调度器：用于数据转储任务的调度；任务执行实体：数据转储任务的执行者；异常检测：用于分析成功执行的数据转储任务中那些任务可能会存在异常并产生预警信息。主要步骤如下：a、通过模型配置来配置数据来源、数据包含字段、增量字段、数据起始日期等信息；b、任务生成器根据配置的模型信息及目前已转储的数据情况动态生成数据转储任务并交由任务调度器进行调度；c、任务调度器根据目前任务数创建任务执行实体并进行任务分配；d、任务执行实体执行数据转储任务，根据配置的模型信息连...
【技术保护点】
一种用于大数据比对的数据转储方法，其特征在于，主要包括如下几个内容：模型配置、任务自动生成、任务调度、任务多线程执行和异常检测；根据模型配置自动生成数据转储任务，根据任务执行情况自动调度待执行任务，采用多线程执行任务，自动检分析可能存在异常的任务。
【技术特征摘要】
1.一种用于大数据比对的数据转储方法，其特征在于，主要包括如下几个内容：模型配置、任务自动生成、任务调度、任务多线程执行和异常检测；根据模型配置自动生成数据转储任务，根据任务执行情况自动调度待执行任务，采用多线程执行任务，自动检分析可能存在异常的任务。2.根据权利要求1所述的方法，其特征在于，主要包括：模型配置：用于配置数据的来源及数据的相关描述，为数据转储做准备；任务生成器：用于根据配置的模型生成增量任务；任务调度器：用于数据转储任务的调度；任务执行实体：数据转储任务的执行者；异常检测：用于分析成功执行的数据转储任务中那些任务可能会存在异常并产生预警信息。3.根据权利要求2所述的系...
【专利技术属性】
技术研发人员：路国隋，
申请(专利权)人：浪潮软件集团有限公司，
类型：发明
国别省市：山东;37
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。