一种组织机构数据实时查询系统技术方案

本发明专利技术提供一种组织机构数据实时查询系统包括：至少一个组织机构的数据库、kettle、数据分发器、Flink、OpenApi、外部系统；每个组织机构的数据库按照组织机构自身业务需求创建视图，视图中的数据提供给外部系统查询；在接收到外部系统发来的查询请求时，kettle从查询请求对应的数据库视图抽取数据，并将抽取的数据按照预设字段进行字段转换；数据分发器将进行字段转换后的数据分发到Flink；Flink按照预设格式将分发来的数据进行格式转换，并将格式转换后的数据作为查询结果发送到OpenApi；OpenApi将查询结果输出到外部系统；实现组织机构数据的实时转换，外部系统能实时查询组织机构的数据。

A real-time query system of organization data

【技术实现步骤摘要】
一种组织机构数据实时查询系统
本专利技术涉及数据处理
，具体地说，涉及一种组织机构数据实时查询系统。
技术介绍
目前，组织机构的数据库创建有视图，并新加一个DB用户U，只设置对视图的查询权限，用于提供外部系统所需的数据，外部系统以用户U连接数据库，每隔10秒查询视图获得实时数据；这种方式并不是真正的实时，失败后需要当日检查数据后的补偿性操作，消耗性能也不小，目前还没有实现外部系统实时查询组织机构的数据的功能。
技术实现思路
本专利技术的目的在于提出一种组织机构数据实时查询系统，旨在解决现有技术中，外部系统不能实现实时查询组织机构的数据的问题。为解决上述技术问题，本专利技术提供一种组织机构数据实时查询系统，包括：至少一个组织机构的数据库、kettle、数据分发器、Flink、OpenApi、外部系统；每个组织机构的数据库按照组织机构自身业务需求创建有视图，所述视图中的数据用于提供给所述外部系统进行查询；在接收到所述外部系统发来的查询请求时，所述kettle从所述查询请求对应的所述组织机构的数据库视图抽取数据，并将抽取的数据按照预设字段进行字段转换；所述数据分发器将进行字段转换后的数据分发到所述Flink；所述Flink按照预设格式将分发来的数据进行格式转换，并将格式转换后的数据作为查询结果发送到所述OpenApi；所述OpenApi将所述查询结果输出到所述外部系统。可选地，所述OpenApi还用于对所述查询结果进行脱敏处理、和/或加密处理后输出到所述外部系统。可选地，还包括区块链云平台，所述OpenApi将所述查询结果发送到所述区块链云平台进行存储。可选地，所述OpenApi还用于对所述查询结果进行压缩处理，并发送到所述区块链云平台进行存储。可选地，所述区块链云平台中存储有的查询结果，支持在接收到所述外部系统发来的查询请求时直接从所述区块链云平台输出到所述外部系统。可选地，还包括数据仓库，所述Flink还用于将所述查询结果存入所述数据仓库，所述数据仓库用于供BI读取后所述BI对数据进行挖掘、统计、分析中至少一种。可选地，所述kettle还用于进行日志监控、Job监控、输出文本中至少一种；在所述kettle用于进行输出文本时，还包括容错检查系统，所述输出文本用于为所述容错检查系统提供数据来源。可选地，所述容错检查系统发现有错的数据时，推送到另外单独配置路由KEY的Kafka，由所述Flink接受处理，所述OpenApi单独提供对外的接口，包括缓存的更新同步；对于已经上链的情况，按照预设处理规则进行处理，并且所述外部系统实时调用所述OpenApi的接口来处理容错。可选地，所述Flink还用于将格式转换后的数据进行清洗、聚合操作中至少一种，将进行清洗、聚合操作中至少一种后的数据作为查询结果发送到所述OpenApi进行输出。可选地，所述kettle还用于整合kafka-provider插件的程序同步数据到所述数据分发器，所述数据分发器包括Kafka和Zookeer的集群。有益效果本专利技术提供了一种组织机构数据实时查询系统，该组织机构数据实时查询系统包括：至少一个组织机构的数据库、kettle、数据分发器、Flink、OpenApi、外部系统；每个组织机构的数据库按照组织机构自身业务需求创建有视图，视图中的数据用于提供给外部系统进行查询；在接收到外部系统发来的查询请求时，kettle从查询请求对应的组织机构的数据库视图抽取数据，并将抽取的数据按照预设字段进行字段转换；数据分发器将进行字段转换后的数据分发到Flink；Flink按照预设格式将分发来的数据进行格式转换，并将格式转换后的数据作为查询结果发送到OpenApi；OpenApi将查询结果输出到外部系统。通过上述方案，提供视图中的数据给外部系统查询，保护了组织机构自身的数据安全，还可以实现组织机构的数据的实时转换，使得外部系统可以实现实时查询组织机构的数据。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对与本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以如这些附图获得其他的附图。图1为本实施例提供的一种组织机构数据实时查询系统的示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本实施例将提供一种组织机构数据实时查询系统，参见图1，图1为本实施例提供的一种组织机构数据实时查询系统的示意图；该组织机构数据实时查询系统包括：至少一个组织机构的数据库、kettle、数据分发器、Flink、OpenApi(Java程序)、外部系统；可选地，本实施例中的组织机构可以是医院、学校等；组织机构的数据库例如是医院的HIS的数据库；每个组织机构的数据库按照组织机构自身业务需求创建有视图，视图中的数据用于提供给外部系统进行查询；可选地，组织机构可先按照业务需求，在组织机构的数据库创建用户，设置相应的用户权限，然后登录该用户创建视图，可以实现保护组织机构自身数据安全，起到权限隔离，访问控制的目的；当组织机构为医院时，视图中的数据例如处方、检查报告等；在接收到外部系统发来的查询请求时，kettle从查询请求对应的组织机构的数据库视图抽取数据，并将抽取的数据按照预设字段进行字段转换；例如kettle可以将表的字段a转换成标准化字段b；kettle可以平稳抽取数据，针对数据量大的数据也可以实现平稳抽取；不同组织机构的数据库可能不一样，以组织机构为医院为例，例如A医院的HIS采用Mysql，B医院的HIS采用Oracle，C医院的HIS采用SQLServer；数据分发器将进行字段转换后的数据分发到Flink；Flink按照预设格式将分发来的数据进行格式转换，并将格式转换后的数据作为查询结果发送到OpenApi；例如Flink可以将表的格式转换成json格式，或者把list的格式转换成json格式；OpenApi将查询结果输出到外部系统。Flink可以把数据交给OpenApi，来对外部系统直接提供数据，这里一般是互联网外网环境；主要是为了对外开放接口，方便进行数据共享；通过上述方案，提供视图中的数据给外部系统查询，保护了组织机构自身的数据安全，还可以实现组织机构的数据的实时转换，使得外部系统可以实现实时查询组织机构的数据。可选地，以下介绍kettle的配置，第一是ETL元数据注入，配置好不同组织机构的数据源等；第二本文档来自技高网...

【技术保护点】
1.一种组织机构数据实时查询系统，其特征在于，包括：至少一个组织机构的数据库、kettle、数据分发器、Flink、OpenApi、外部系统；/n每个组织机构的数据库按照组织机构自身业务需求创建有视图，所述视图中的数据用于提供给所述外部系统进行查询；/n在接收到所述外部系统发来的查询请求时，所述kettle从所述查询请求对应的所述组织机构的数据库视图抽取数据，并将抽取的数据按照预设字段进行字段转换；/n所述数据分发器将进行字段转换后的数据分发到所述Flink；/n所述Flink按照预设格式将分发来的数据进行格式转换，并将格式转换后的数据作为查询结果发送到所述OpenApi；/n所述OpenApi将所述查询结果输出到所述外部系统。/n

【技术特征摘要】
1.一种组织机构数据实时查询系统，其特征在于，包括：至少一个组织机构的数据库、kettle、数据分发器、Flink、OpenApi、外部系统；
每个组织机构的数据库按照组织机构自身业务需求创建有视图，所述视图中的数据用于提供给所述外部系统进行查询；
在接收到所述外部系统发来的查询请求时，所述kettle从所述查询请求对应的所述组织机构的数据库视图抽取数据，并将抽取的数据按照预设字段进行字段转换；
所述数据分发器将进行字段转换后的数据分发到所述Flink；
所述Flink按照预设格式将分发来的数据进行格式转换，并将格式转换后的数据作为查询结果发送到所述OpenApi；
所述OpenApi将所述查询结果输出到所述外部系统。


2.根据权利要求1所述的组织机构数据实时查询系统，其特征在于，所述OpenApi还用于对所述查询结果进行脱敏处理、和/或加密处理后输出到所述外部系统。


3.根据权利要求1所述的组织机构数据实时查询系统，其特征在于，还包括区块链云平台，所述OpenApi将所述查询结果发送到所述区块链云平台进行存储。


4.根据权利要求3所述的组织机构数据实时查询系统，其特征在于，所述OpenApi还用于对所述查询结果进行压缩处理，并发送到所述区块链云平台进行存储。


5.根据权利要求3所述的组织机构数据实时查询系统，其特征在于，所述区块链云平台中存储有的查询结果，支持在接收到所述外部系统发来的查询请求时直接从所述区块链云平台输出到...

【专利技术属性】
技术研发人员：舒建辉，李顺德，陈浩毅，
申请(专利权)人：重庆华医康道科技有限公司，
类型：发明
国别省市：重庆;50