一种铝工业数据补充采集方法、装置、介质、电子设备制造方法及图纸

本申请涉及铝工业技术领域，揭示了一种铝工业数据补充采集方法、装置、介质、电子设备。所述方法包括：每间隔预设时间获取预设的数据库中的数据补采任务列表；对所述数据补采任务列表中的补采任务依次进行数据补充采集；监测所述补采任务的采集状态；每个所述补采任务完成后，生成采集记录；基于所述采集记录将所述补采任务对应的第一目标数据转换成ORC格式的可存储数据；将所述可存储数据保存到hadoop数据平台或基于所述采集记录将所述补采任务对应的第一目标数据保存到关系数据库中。通过本申请可以使得每一次数据被补充采集后都有相应的采集记录，可根据采集记录去按照实际需要对尚未采集的时间段的数据进行补充采集，以达到数据补充采集的目的。到数据补充采集的目的。到数据补充采集的目的。

【技术实现步骤摘要】
一种铝工业数据补充采集方法、装置、介质、电子设备


[0001]本申请涉及铝工业
，特别地，涉及一种铝工业数据补充采集方法、装置、介质、电子设备。

技术介绍

[0002]铝工业各生产企业每天会产生海量的生产、经营等数据，而这些数据普遍存储在各分子公司企业内部，形成数据孤岛、业务孤岛。为了满足技术分析和决策需要，需从各分子公司业务系统中采集数据集中存储，进行数据治理，提高数据质量，形成有效数据资产。相比于电商、金融、服务领域，铝工业企业信息化相对落后，许多企业业务系统技术陈旧、数据库结构设计难以对增量采集起到良好的效果。
[0003]如一张表存储多个业务数据字段，但仅有数据的业务日期字段，没有数据最后更新时间戳字段。只能基于业务日期做增量数据采集，而业务实际中经常出现不同部门在不同时间更新同一条记录不同字段。如果增量采集后企业又更新了数据，会导致数据漏采。现有的技术中无法针对数据漏采的问题进行有效地解决，进而导致数据混乱、数据缺失等情况发生。

技术实现思路

[0004]本申请提供了一种铝工业数据补充采集方法、装置、介质本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种铝工业数据补充采集方法，其特征在于，所述方法包括：每间隔预设时间获取预设的数据库中的数据补采任务列表，所述数据补采任务列表包括至少一个补采任务，所述补采任务用于在所述数据库中采集目标对象在目标时间区间内的第一目标数据；对所述数据补采任务列表中的补采任务依次进行数据补充采集；监测所述补采任务的采集状态，所述采集状态用于表征所述补采任务的执行状态；每个所述补采任务完成后，生成采集记录，所述采集记录包括采集的起始时间；基于所述采集记录将所述补采任务对应的第一目标数据转换成ORC格式的可存储数据；将所述可存储数据保存到hadoop数据平台或基于所述采集记录将所述补采任务对应的第一目标数据保存到关系数据库中。2.根据权利要求1所述的铝工业数据补充采集方法，其特征在于，所述对所述数据补采任务列表中的补采任务依次进行数据补充采集，包括：基于所述数据补采任务列表按照时间顺序对每个所述补采任务进行排序，得到排序结果；根据所述排序结果依次对所述补采任务进行数据补充采集。3.根据权利要求2所述的铝工业数据补充采集方法，其特征在于，所述对所述补采任务进行数据补充采集，包括：根据所述目标时间区间在所述数据库中筛选出与所述目标时间区间对应的第二目标数据；在所述第二目标数据中查询与所述目标对象对应的所述第一目标数据；对所述第一目标数据进行补充采集。4.根据权利要求3所述的铝工业数据补充采集方法，其特征在于，所述对所述第一目标数据进行补充采集，包括：将所述补采任务对应的第一目标数据转换成第一目标数据流；将所述采集记录对应的采集的起始时间作为属性增加到所述第一目标数据流中，得到第二目标数据流；对所述第二目标数据流进行补充采集。5.根据权利要求4所述的铝工业数据补充采集方法，其特征在于，所述将所述补采任务对应的第一目标数据转换成第一目标数据流，包括：将所述补采任务对应的第一目标数据转换成JSON格式的第三目标数据；将所述第三目标数据转换成所述第一目标数据流。6.根据权利要求5所述的铝工业数据补充采集方法，...

【专利技术属性】
技术研发人员：王跃勇，张艳芳，刘巧云，李琰，赵清杰，周益文，宋转，
申请(专利权)人：中国铝业股份有限公司，
类型：发明
国别省市：