数据清洗方法、系统、设备及存储介质技术方案

技术编号:41443603 阅读:31 留言:0更新日期:2024-05-28 20:35
本公开提供了一种数据清洗方法、系统、设备及存储介质,涉及数据处理技术领域。所述方法包括调度器加载预设的清洗规则,清洗规则包括类型标识,根据清洗规则获取待清洗数据,将待清洗数据转换为任务数据,将抓取的任务数据转换为消息数据并发出;监听器对获取的消息数据进行解析,得到待清洗数据,根据待清洗数据中的类型标识匹配清洗逻辑,对待清洗数据执行数据清洗,得到数据清洗结果。本公开基于消息驱动的方式实现数据清理,解决了分布式环境下数据清洗的一致性问题,清洗速度可调,对线上业务影响小。

【技术实现步骤摘要】

所属的技术人员能够理解,本专利技术的各个方面可以实现为系统、方法或程序产品。因此,本专利技术的各个方面可以具体实现为以下形式,即:完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等),或硬件和软件方面结合的实施方式,这里可以统称为“电路”、“模块”或“系统”。下面参照图10来描述根据本专利技术的这种实施方式的电子设备1000。图10显示的电子设备1000仅仅是一个示例,不应对本专利技术实施例的功能和使用范围带来任何限制。如图10所示,电子设备1000以通用计算设备的形式表现。电子设备1000的组件可以包括但不限于:上述至少一个处理单元1010、上述至少一个存储单元1020、连接不同系统组件(包括存储单元1020和处理单元1010)的总线1030。其中,存储单元存储有程序代码,程序代码可以被处理单元1010执行,使得处理单元1010执行本说明书上述“示例性方法”部分中描述的根据本专利技术各种示例性实施方式的步骤。例如,处理单元1010可以执行如图3中所示的调度器加载预设的清洗规则,清洗规则包括类型标识;调度器根据清洗规则获取待清洗数据,将待清洗数据转换为任务数据;调度器将抓本文档来自技高网...

【技术保护点】

1.一种数据清洗方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述调度器将抓取的任务数据转换为消息数据并发出,包括:

3.根据权利要求1所述的方法,其特征在于,所述调度器将抓取的任务数据转换为消息数据并发出,包括:

4.根据权利要求2或3所述的方法,其特征在于,在所述监听器根据所述待清洗数据中的类型标识匹配清洗逻辑,对所述待清洗数据执行数据清洗,得到数据清洗结果之后,所述方法还包括:

5.根据权利要求4所述的方法,其特征在于,所述方法还包括:

6.根据权利要求1所述的方法,其特征在于,所述方法还包括:...

【技术特征摘要】

1.一种数据清洗方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述调度器将抓取的任务数据转换为消息数据并发出,包括:

3.根据权利要求1所述的方法,其特征在于,所述调度器将抓取的任务数据转换为消息数据并发出,包括:

4.根据权利要求2或3所述的方法,其特征在于,在所述监听器根据所述待清洗数据中的类型标识匹配清洗逻辑,对所述待清洗数据执行数据清洗,得到数据清洗结果之后,所述方法还包括:

5.根据权利要求4所述的方法,其特征在于,所述方法还包括:

6.根据权利要求1所述的方法,其特征在于,所述方法还包括:

7...

【专利技术属性】
技术研发人员:申双杰赵正
申请(专利权)人:京东科技信息技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1