处理数据的方法、装置、设备和计算机可读介质制造方法及图纸

本发明专利技术公开了处理数据的方法、装置、设备和计算机可读介质，涉及计算机技术领域。该方法的一具体实施方式包括：根据数据源中的表分区，删除版本表中对应表分区的数据，所述表分区是根据业务需求预设的；将数据源中的表分区的数据推送到所述版本表中对应表分区，所述版本表的格式与正式表的格式一致；校验成功所述版本表中对应表分区内的数据后，复制所述版本表中对应表分区内的数据到所述正式表中。该实施方式能够缩短数据推送过程的空窗期，以及降低数据波动。低数据波动。低数据波动。

【技术实现步骤摘要】
处理数据的方法、装置、设备和计算机可读介质


[0001]本专利技术涉及计算机
，尤其涉及一种处理数据的方法、装置、设备和计算机可读介质。

技术介绍

[0002]数据推数是数据链路中重要的一环。目前普遍使用的推数方法是先从数据源中获取所需要的数据，然后根据分区字段导入数据，若该分区下已有数据，则先删除该分区下的数据然后推数。
[0003]在实现本专利技术过程中，专利技术人发现现有技术中至少存在如下问题：因为需要先删除数据，然后经历一段时间的推数，导致数据存在空窗期和剧烈波动。

技术实现思路

[0004]有鉴于此，本专利技术实施例提供一种处理数据的方法、装置、设备和计算机可读介质，能够缩短数据推送过程的空窗期，以及降低数据波动。
[0005]为实现上述目的，根据本专利技术实施例的一个方面，提供了一种处理数据的方法，包括：
[0006]根据数据源中的表分区，删除版本表中对应表分区的数据，所述表分区是根据业务需求预设的；
[0007]将数据源中的表分区的数据推送到所述版本表中对应表分区，所述版本表的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种处理数据的方法，其特征在于，包括：根据数据源中的表分区，删除版本表中对应表分区的数据，所述表分区是根据业务需求预设的；将数据源中的表分区的数据推送到所述版本表中对应表分区，所述版本表的格式与正式表的格式一致；校验成功所述版本表中对应表分区内的数据后，复制所述版本表中对应表分区内的数据到所述正式表中。2.根据权利要求1所述处理数据的方法，其特征在于，所述校验成功所述版本表中对应表分区内的数据，包括：检查所述版本表中对应表分区中每个分片的数据量与所述数据源中的表分区中每个分片的数据量相同；确认所述版本表中对应表分区中数据的业务指标，在业务阈值范围内。3.根据权利要求2所述处理数据的方法，其特征在于，所述检查所述版本表中对应表分区中每个分片的数据量与所述数据源中的表分区中每个分片的数据量相同，包括：所述版本表中对应表分区的数据量与所述数据源中的表分区的数据量不同，则确定所述版本表中对应表分区中每个分片的数据量以获知分片数据量不同的分片；基于所述分片数据量不同的分片，重新从所述数据源中表分区中的分片中推数至所述版本表，直至检查所述版本表中对应表分区中每个分片的数据量与所述数据源中的表分区中每个分片的数据量相同。4.根据权利要求3所述处理数据的方法，其特征在于，所述确定所述版本表中对应表分区中每个分片的数据量，包括：针对所述版本表中每个分片的高离散度字段和索引字段，依次进行哈希处理，以确定所述版本表中对应表分区中每个分片的数据量。5.根据权利要求1所述处理数据的方法，其特征在于，所述复制所述版本表中对应表分区内的数据到所述正式表中，包括...

【专利技术属性】
技术研发人员：陈洪健，钱叶，屠志强，
申请(专利权)人：北京京东世纪贸易有限公司，
类型：发明
国别省市：