【技术实现步骤摘要】
本专利技术涉及数据处理领域，具体地涉及一种数据文件的导出方法、生成方法及其装置。
技术介绍
1、在大型金融机构的企业级应用场景下，存在大量的数据分析和挖掘的场景，而数据分析和挖掘通常由独立的平台来实现。例如，各应用系统需要将t日产生的业务数据在t+1日凌晨从应用系统中以固定格式的文件形式导出，并将产生的文件传输到数据分析和挖掘的平台，随后由各平台完成相关数据的分析，并在t+1日早上生成经营指标或报表用于经营的决策分析。由于每天业务数据量较大，对应用系统中的业务数据文件的生成时效率，直接会影响t+1日决策分析数据的产生。
2、目前传统的数据文件的生成和处理方式，一般都是应用单点连接到数据库，按照一定的规则读取数据记录，并将相应记录信息写入到某文件存储介质的方式。而由于在金融业务的场景下，每天通过交易产生的数据量比较大，数据文件产生的格式要求比较严格，因此使用传统的文件处理方式，即，通过单应用访问数据库来导出对应文件的方式，如果在数据集比较大的情况下，数据文件导出的时长会很长，可能无法满足对数据文件的时效性要求。
>技术实本文档来自技高网...
【技术保护点】
1.一种数据文件的导出方法，其特征在于，所述导出方法包括：
2.根据权利要求1所述的导出方法，其特征在于，所述导出文件类型为增量、初始化或者全量。
3.根据权利要求1或2所述的导出方法，其特征在于，所述确定导出所述目标数据文件所需的目标机器的数量包括：
4.根据权利要求3所述的导出方法，其特征在于，所述历史导出信息包括：在设定周期内的导出数据量、导出时间与历史集群机器的数量。
5.根据权利要求4所述的导出方法，其特征在于，根据目标数据文件的数据量K2、目标导出时间T2以及在所述设定周期内的导出数据量K1、导出时间T1与历...
【技术特征摘要】
1.一种数据文件的导出方法，其特征在于，所述导出方法包括：
2.根据权利要求1所述的导出方法，其特征在于，所述导出文件类型为增量、初始化或者全量。
3.根据权利要求1或2所述的导出方法，其特征在于，所述确定导出所述目标数据文件所需的目标机器的数量包括：
4.根据权利要求3所述的导出方法，其特征在于，所述历史导出信息包括：在设定周期内的导出数据量、导出时间与历史集群机器的数量。
5.根据权利要求4所述的导出方法，其特征在于，根据目标数据文件的数据量k2、目标导出时间t2以及在所述设定周期内的导出数据量k1、导出时间t1与历史集群机器的数量m1，以下式确定目标机器的数量m2：
6.根据权利要求1所述的导出方法，其特征在于，所述确定所述目标机器的目标线程的数量包括：
7.根据权利要求6所述的导出方法，其特征在于，在所述目标机器的数量大于所述有效集群机器的数量的情况下，根据目标机器的数量m2以及所述历史导出信息中的历史集群机器的数...
【专利技术属性】
技术研发人员：吴凯，张炜，黄思，姜海同，
申请(专利权)人：中国建设银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。