【技术实现步骤摘要】
本专利技术属于数据融合处理,具体涉及一种传染病的数据治理系统及治理方法。
技术介绍
1、对传染病进行防治是保证国民群众身体健康的重要举措之一。
2、为了更好地预防、控制和消除传染病的发生与流行,保障人体健康和公共卫生,传染病数据查询系统出现在医疗卫生行业内,服务于传染病防治工作。近年来,随着人们对健康生活的诉求不断增加,越来越多的传染病数据查询系统进入人们的视野内。
3、但是传染病的数据类型多样、复杂多变,不仅具有来源分散、数量巨大、数据缺项严重、流转时间长、同步性差的问题,还具有跨地区/跨平台/跨系统互认难、跨域流转汇聚难、融合治理难等特点。这不仅影响了传染病数据的准确性,使人们无法准确的得知某种传染病流行的程度;更因为传染病数据的实时性差,导致医疗资源无法准确地在地区间进行分配。
技术实现思路
1、本专利技术的目的为克服上述现有技术的不足,提供了一种传染病的数据治理系统,可以实现多源传染病数据的高效汇聚和治理,便于技术人员调用以进行后续传染病的研判。
2、为实现上述目的,本专利技术采用了以下技术方案:
3、一种传染病的数据治理系统,包括信息共享子系统和融合治理子系统,将各种来源的传染病数据作为多源传染病数据接入信息共享子系统内进行处理后,再送入融合治理子系统内,进行融合治理后,最终形成分类存储、标准统一的标准数据。
4、优选的,信息共享交换子系统包括元数据管理模块、任务管理模块、基础服务模块;
5、新增多源
6、优选的,融合治理子系统中包括数据仓库、数据关联模块、数据探查模块、数据比对模块、数据标识模块;
7、数据仓库包括中转库和目标库两部分,信息共享子系统内的基础数据进入并暂时存储于数据仓库的中转库内,中转库分别依次调用数据标识模块、数据探查模块、数据比对模块、数据关联模块来对其内存储的基础数据进行融合治理,中转库内的基础数据经过融合治理后形成标准数据,被存储于数据仓库中的目标库内。
8、优选的,数据标识模块分别对中转库内的各条基础数据进行基本属性标识、业务属性标识的标识处理;
9、数据探查模块对中转库内经数据标识模块进行标识处理的数据进行字段级探查、表格级探查、数据对标探查、全文信息探查、关键字探查;
10、数据比对模块对中转库内经数据探查模块进行探查处理的数据再进行文件特征比对、生物特征比对、关键词比对、二进制比对、结构化数据比对;
11、数据关联模块对中转库内经数据比对模块进行比对处理的数据进行对象关联、位置关联、属性关联关联处理,并将中转库内相关联的数据之间进行标记后作为标准数据,存储于目标库内的各子库中。
12、优选的,融合治理子系统中还包括产出模块,产出模块根据目标库内各子库内的标准数据生成传染病分布地图和/或传染病数据血缘图谱。
13、本专利技术还提供一种传染病的数据治理方法,基于如上述的一种传染病的数据治理系统,包括以下步骤:
14、s1,各平台实时产生传染病数据,作为多源传染病数据的准备;
15、s2,多源传染病数据汇入信息共享子系统并进行处理后成为基础数据,进入融合治理子系统内;
16、s3,基础数据在融合治理子系统中进行融合治理后,形成标准数据。
17、优选的,在s1中,具体包括以下内容:各平台实时产生的传染病数据包括:居民的基本信息、检测记录、疫苗接种记录、行程轨迹信息、密切接触信息、医疗就诊记录、体温监测记录。
18、优选的,在s2中,还包括以下子步骤:
19、s21,多源传染病数据汇入信息共享子系统后进入元数据管理模块内进行数据流管理和技术元数据管理后,形成元数据并按订阅分发至任务管理模块内:
20、数据流管理即记录各个传染病数据的类型、来源、质量、用途、业务价值,
21、技术元数据管理是对各个传染病数据的抽取信息进行记录,各个传染病数据的抽取信息包括传染病数据的同步时间、传染病数据源地址、传染病数据装载目标地址、本批次同步的传染病数据量、传染病数据同步成功与否的状态标识信息;
22、s22,元数据进入任务管理模块内进行模板管理、插件扩展、错误队列处理、schema映射、数据清洗,将各元数据映射成标准数据表结构的基础数据后传送至基础服务模块内;
23、s23,基础服务模块内进行集群管理、缓存队列、流量控制、任务调度、断点续传、任务监测,将基础数据与数据仓库的中转库内的各标准数据进行记录数比对和数据内容一致性比对,将未同步进中转库内的基础数据进行同步。
24、优选的,在s3中,还包括以下子步骤:
25、s31,融合治理子系统中各模块使用统一的数据标准,在数据标识模块中建立数据字典,中转库调用数据标识模块根据数据字典中对于实体的描述来对各条基础数据进行标识处理;
26、s32,中转库再调用数据探查模块对中转库内经数据标识模块进行标识处理的数据进行字段级探查、表格级探查、数据对标探查、全文信息探查、关键字探查的探查处理;
27、s33,中转库再调用数据比对模块对中转库内经数据探查模块进行探查处理的数据再进行文件特征比对、生物特征比对、关键词比对、二进制比对、结构化数据比对的比对处理;
28、s34,中转库再调用数据关联模块对中转库内经数据比对模块进行比对处理的数据进行对象关联、位置关联、属性关联的关联处理,将中转库内相关联的数据之间进行标记后存储于数据仓库的目标库内的各个对应的子库中,作为标准数据。
29、优选的,在s3后还包括s4:
30、s4,各子库中的标准数据直接被技术人员调用;或产出模块调用目标库内各子库内的标准数据生成传染病分布地图、传染病数据血缘图谱,以供技术人员进行研判分析
31、本专利技术的有益效果在于:
32、(1)本专利技术的一种传染病的数据治理系统,通过将信息共享子系统作为前驱部分,将融合治理子系统作为后继部分,把不同数据源新增的传染病数据进行汇聚后,通过信息共享子系统内的预处理形成初步标准统一的基础数据,再将基础数据传送至融合治理子系统中数据仓库内的中转库,融合治理子系统中数据仓库的中转库调用融合治理子系统中数据关联模块、数据探查模块、数据比对模块、数据标识模块对中转库内的数据进行标识、探查、比对、关联的融合治理后,送入数据仓库的目标库内的各个对应子库中进行存储,便于后续技术人员的调用和研判本文档来自技高网...
【技术保护点】
1.一种传染病的数据治理系统,其特征在于:包括信息共享子系统和融合治理子系统,将各种来源的传染病数据作为多源传染病数据接入信息共享子系统内进行处理后,再送入融合治理子系统内,进行融合治理后,最终形成分类存储、标准统一的标准数据。
2.根据权利要求1所述的一种传染病的数据治理系统,其特征在于:信息共享交换子系统包括元数据管理模块、任务管理模块、基础服务模块;
3.据权利要求2所述的一种传染病的数据治理系统,其特征在于:融合治理子系统中包括数据仓库、数据关联模块、数据探查模块、数据比对模块、数据标识模块;
4.据权利要求3所述的一种传染病的数据治理系统,其特征在于:数据标识模块分别对中转库内的各条基础数据进行基本属性标识、业务属性标识的标识处理;
5.根据权利要求4所述的一种传染病的数据治理系统,其特征在于:融合治理子系统中还包括产出模块,产出模块根据目标库内各子库内的标准数据生成传染病分布地图和/或传染病数据血缘图谱。
6.一种传染病的数据治理方法,基于如权利要求4或5所述的一种传染病的数据治理系统,其特征在于,包括以下步
7.根据权利要求6所述的一种传染病的数据治理方法,其特征在于,在S1中,具体包括以下内容:各平台实时产生的传染病数据包括:居民的基本信息、检测记录、疫苗接种记录、行程轨迹信息、密切接触信息、医疗就诊记录、体温监测记录。
8.根据权利要求7所述的一种传染病的数据治理方法,其特征在于,在S2中,还包括以下子步骤:
9.根据权利要求8所述的一种传染病的数据治理方法,其特征在于,在S3中,还包括以下子步骤:
10.根据权利要求9所述的一种传染病的数据治理方法,其特征在于,在S3后还包括S4:
...【技术特征摘要】
1.一种传染病的数据治理系统,其特征在于:包括信息共享子系统和融合治理子系统,将各种来源的传染病数据作为多源传染病数据接入信息共享子系统内进行处理后,再送入融合治理子系统内,进行融合治理后,最终形成分类存储、标准统一的标准数据。
2.根据权利要求1所述的一种传染病的数据治理系统,其特征在于:信息共享交换子系统包括元数据管理模块、任务管理模块、基础服务模块;
3.据权利要求2所述的一种传染病的数据治理系统,其特征在于:融合治理子系统中包括数据仓库、数据关联模块、数据探查模块、数据比对模块、数据标识模块;
4.据权利要求3所述的一种传染病的数据治理系统,其特征在于:数据标识模块分别对中转库内的各条基础数据进行基本属性标识、业务属性标识的标识处理;
5.根据权利要求4所述的一种传染病的数据治理系统,其特征在于:融合治...
【专利技术属性】
技术研发人员:范联伟,王佐成,廖志鑫,高景银,朱萍,
申请(专利权)人:数据空间研究院,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。