基于预防接种平台的多任务流水线式数据清洗系统及方法技术方案

技术编号:42107475 阅读:20 留言:0更新日期:2024-07-25 00:31
本发明专利技术公开了基于预防接种平台的多任务流水线式数据清洗系统及方法,多任务流水线式数据清洗系统包括:配置模块、插件模块、初始化模块、调度模块和存储与推送模块。配置模块基于预设的数据结转配置文件或者数据推送配置文件对插件模块进行配置操作,并得到配置过的插件模块;初始化模块对配置过的插件模块进行初始化操作,并得到初始化过的插件模块;调度模块基于预设的结转任务调度参数或者推送任务调度参数调用初始化过的插件模块对目标数据源进行数据清洗操作,并得到清洗后的数据;存储与推送模块对清洗后的数据进行存储或者推送操作。本方案采用基于多任务流水线式的数据清洗插件,能够高效、稳定地处理大量数据,并具备可扩展性。

【技术实现步骤摘要】

本专利技术涉及数据处理和软件开发领域,尤其涉及基于预防接种平台的多任务流水线式数据清洗系统及方法


技术介绍

1、随着企业信息化建设的不断深入,预防接种平台中的各个业务系统独立运营,导致数据在不同系统间呈现孤岛现象,数据不共享、业务不集成、流程不互通。为了打破这一现状,数据清洗技术应运而生。数据清洗技术的出现,使得企业能够更为高效地处理海量数据,将分散、异构的数据源中的数据抽取、清洗、转换后加载到目标系统,为企业决策分析提供有力的数据支持。

2、传统的数据清洗工具灵活性不足,通常提供固定的转换规则和流程,对于复杂的业务场景和变化的数据结构,可能难以灵活适应,在面对新的数据源或数据格式时,可能需要额外的开发工作来定制转换逻辑,增加了实施和维护的复杂性。

3、以上可见,现有技术中的数据清洗工具存在灵活性不足,实施维护复杂度高的问题。


技术实现思路

1、针对以上问题,本专利技术提出基于预防接种平台的多任务流水线式数据清洗系统及方法。

2、为实现本专利技术的目的,提供基于预防接种平本文档来自技高网...

【技术保护点】

1.基于预防接种平台的多任务流水线式数据清洗系统,其特征在于,包括:配置模块、插件模块、初始化模块、调度模块和存储与推送模块;

2.根据权利要求1所述的基于预防接种平台的多任务流水线式数据清洗系统,其特征在于,还包括:扩展接口模块;

3.基于权利要求2所述的多任务流水线式数据清洗系统的数据清洗方法,其特征在于,所述数据清洗方法用于数据结转,具体包括如下步骤:

4.根据权利要求3所述的数据清洗方法,其特征在于,所述结转任务调度参数包括:调度周期、指标结转的行政区域、每次结转操作的数据量和需要结转的指标信息。

5.基于权利要求2所述的多任务流水...

【技术特征摘要】

1.基于预防接种平台的多任务流水线式数据清洗系统,其特征在于,包括:配置模块、插件模块、初始化模块、调度模块和存储与推送模块;

2.根据权利要求1所述的基于预防接种平台的多任务流水线式数据清洗系统,其特征在于,还包括:扩展接口模块;

3.基于权利要求2所述的多任务流水线式数据清洗系统的数据清洗方法,其特征在于,所述数据清洗方法用于数据结转,具体包括如下步骤:

4.根据权利要求3所述的数据清洗方法,其特征在于,所述结转任务调度参数包括:调度周期、指标结转的行政区域、每次结转操作的数据量和需要结转的指标信息。

<...

【专利技术属性】
技术研发人员:汤来红沙飞吴蕾蕾华红莲祝嘉铭蒋明伟
申请(专利权)人:中卫信软件股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1