一种基于DataWork进行AB表数据更新方法技术

本发明专利技术涉及表单数据处理技术领域，具体是一种基于DataWork进行AB表数据更新方法，Hbase在两个不同集群建立相同的表，定义某个集群的表为A表另一个集群的表为B表；在Redis中定义一个Key代表读取的表的标识；DataWork上抽象出公共的写入逻辑定义为通用资源，调用DataWork的openAPI执行手动任务节点；基于DataWork+DataX+Python平台实现往Hbase的A、B表执行同步数据逻辑，同一时刻数据的读取和写入请求要打到某个集群上由Redis统一进行管理；本发明专利技术通过写入A、B表的方式，以存储换查询效率，将查询和写入隔离在两个不同的集群上不会因为数据的批量写入影响查询效率，造成服务不可用。

【技术实现步骤摘要】

本专利技术涉及表单数据处理，具体是一种基于datawork进行ab表数据更新方法。

技术介绍

1、目前通过odps加工司机的画像数据，通过datax每天将全量的司机标签属性写入到hbase表中，而服务则是每天24小时不间断的查询hbase表。

2、由于千万级的司机数据量以及几十个属性标签数据量较大，一方面写入时间特别长，另一方面写入过程中持续的占用hbase集群cpu和内存等资源，写入过程会影响业务的查询性能，导致查询服务不可用。

技术实现思路

1、有鉴于此，本专利技术实施例希望提供一种基于datawork进行ab表数据更新方法，以解决或缓解现有技术中存在的技术问题，为上述技术问题至少提供一种有益的选择。

2、为实现上述目的，本专利技术提供如下技术方案：

3、一种基于datawork进行ab表数据更新方法，该方法包括以下步骤：

4、步骤一、hbase在两个不同集群建立相同的表，定义某个集群的表为a表另一个集群的表为b表；

5、步骤二、在redis中定本文档来自技高网...

【技术保护点】

1.一种基于DataWork进行AB表数据更新方法，其特征在于，该方法包括以下步骤：

2.根据权利要求1所述的一种基于DataWork进行AB表数据更新方法，其特征在于：所述存储的Value可以定义为日期#A和日期#B，初始化为其中的一个标识A或B。

3.根据权利要求1所述的一种基于DataWork进行AB表数据更新方法，其特征在于，该方法还包括以下步骤：

4.根据权利要求3所述的一种基于DataWork进行AB表数据更新方法，其特征在于，所述确定表格的待更新数据，包括：获取表格的初始待更新数据，所述初始待更新数据包括至少一条第三数据；

5...

【技术特征摘要】

1.一种基于datawork进行ab表数据更新方法，其特征在于，该方法包括以下步骤：

2.根据权利要求1所述的一种基于datawork进行ab表数据更新方法，其特征在于：所述存储的value可以定义为日期#a和日期#b，初始化为其中的一个标识a或b。

3.根据权利要求1所述的一种基于datawork进行ab表数据更新方法，其特征在于，该方法还包括以下步骤：

4.根据权利要求3所述的一种基于datawork进行ab表数据更新方法，其特征在于，所述确定表格的待更新数据，包括：获取表格的初始待更新数据，所述初始待更新数据包括至少一条第三数据；

5.根据权利要求3所述的一种基于datawork进行ab表数据更新方法，其特征在于，在比较所述待更新数据与所述表格中的原始数据，确定每条所述第一数据对应的操作类型之前，该方法还包括：确定所述表格中的原始数据是否为空；

6.根据权利要求3所述的一种基于datawork进行ab表数据更新方法，其特征在于，所述方法还包括如下步骤：当所述当前数据点集合中的最后一个所述当前数据点的所述横坐标值等于预设的所述最大显示横坐...

【专利技术属性】
技术研发人员：于志杰，
申请(专利权)人：北京白龙马云行科技有限公司，
类型：发明
国别省市：