基于大数据构架的医疗数据管理方法及系统技术方案

本申请涉及一种基于大数据构架的医疗数据管理方法、系统、计算机设备及存储介质，其中该方法包括：搭建数据中台dataLake数据湖，管理所有的采集数据、分析过程数据、分析模型及分析结果数据、作业调度，支撑整个平台上所有数据的分析流程顺畅进行；搭建大数据采集平台；搭建大数据计算平台；搭建大数据服务平台；搭建大数据交换平台以及搭建大数据应用平台。本发明专利技术通过建立统一的数据集成规范和标准优化全院数据质量，建立数据决策基础以实现提高医院竞争力。通过大数据计算平台、服务平台及应用平台为管理者提供各项业务的全流程、精细化的管理分析结果，促进医院管理决策科学化、精细化。精细化。精细化。

【技术实现步骤摘要】
基于大数据构架的医疗数据管理方法及系统


[0001]本专利技术涉及计算机
，特别是涉及一种基于大数据构架的医疗数据管理方法、系统、计算机设备及存储介质。

技术介绍

[0002]随着计算机技术的发展，计算机技术已经广泛的应用于各个领域内，由于计算机技术可以高效地对各种不同的信息进行运算管理，因此可以有效地提供高效的数据管理。
[0003]然而，现如今已有的很多医疗数据中心，例如CDR，在实际中更多仅仅用于数据查询，数据的价值没有得到释放，且保存的数据更多偏向临床数据，运营数据涉及的少。因此，传统的医疗数据中心并没有做到整合全院数据，以实现提高医院数据服务的可及性、可得性和可信性，以及未能充分释放数据价值且数据涉及面较少，进而导致当出现问题时并不能快速追溯到问题根源，无法快速及时的为医院提供决策支持。

技术实现思路

[0004]基于此，有必要针对上述技术问题，提供一种可以提高医院数据服务的可及性、可得性和可信性的基于大数据构架的医疗数据管理方法、系统、计算机设备及存储介质。
[0005]一种基于大数据构架的医疗数据管理方法，所述方法包括：
[0006]搭建数据中台dataLake数据湖，管理所有的采集数据、分析过程数据、分析模型及分析结果数据、作业调度，支撑整个平台上所有数据的分析流程顺畅进行；
[0007]搭建大数据采集平台，所述大数据采集平台基于开源的异构数据同步引擎，针对不同数据类型创建的数据接口，拓展不同的读写插件，将采集的数据经预处理后分门类别地存储至大数据中心；
[0008]搭建大数据计算平台，所述大数据计算平台将采集的数据以混合式存储方式进行存储，并对已经存储好的数据利用Spark计算引擎提供数据分析和挖掘；
[0009]搭建大数据服务平台，所述大数据服务平台对大数据中心的信息进行统一管理和监控，所述大数据中心的信息包括数据库总数、数据总数、总容量、基础表及合成表的整体信息；
[0010]搭建大数据交换平台，所述大数据交换平台统一管理医院的大数据中心与院内业务系统以及院外其他信息平台之间的信息交换；
[0011]搭建大数据应用平台，所述大数据应用平台用于直接对所述大数据中心的信息进行查询，并将分析结果以多种不同的图表进行展现。
[0012]在其中一个实施例中，所述大数据采集平台还用于：
[0013]支持对不同类型的数据库包括Mysql、Postgresql、Clickhouse、Oracle、Sqlserver的数据源进行采集；
[0014]支持将采集的数据写入到hive、Mysql、Postgresql、Clickhouse、Oracle、Sqlserver；
[0015]支持配置读写的速度，避免读写任务占用过多服务器资源，影响业务应用；
[0016]支持通过可视化界面指定采集的数据源，通过勾选需要抽取的数据表对数据表进行预览，通过勾选指定数据表下的数据字段锁定要抽取的数据范围；
[0017]支持对无主键的数据源表自定义设置主键，大数据中心将根据主键去重；
[0018]支持利用SQL语句在已经制定的数据范围基础上精细化设置采集条件；
[0019]支持通过可视化界面设置工作流的方式，直接对数据采集和处理的整个流程进行设置。
[0020]在其中一个实施例中，所述大数据服务平台还用于：
[0021]支持在基础表的基础上，通过编写SQL语句的方式快速生成新的合成表，且能查看合成表与基础表之间的血缘关系；
[0022]支持对数据中心发起的调度任务进行统一监控，并以图表形式对整体情况进行展示；
[0023]支持对数据采集过程中出现违规操作时提供及时的预警；
[0024]支持对采集的数据进行数据校验和数据监控，保证数据中心信息的准确性。
[0025]在其中一个实施例中，所述大数据应用平台还用于：
[0026]支持通过编写SQL查询语句从数据源中预览数据，并拖拉拽生成数据模型；
[0027]支持通过报表可进行不同层级的上下钻取包括多条数据同时钻取以及直接在界面上追溯生成报表的SQL统计语句；
[0028]支持多种数据源、多种图表的接入；
[0029]支持自定义数据隔离，以维度为最小颗粒度控制数据隔离，可根据不同的用户过滤统计的数据。
[0030]在其中一个实施例中，所述搭建数据中台dataLake数据湖的步骤还包括：
[0031]所述dataLake数据湖的API为UI层提供接口服务，将系统配置、资源中心、数据处理及数据管理的工作流配置保存更新到数据库中；
[0032]API层获取对接的数据源的元信息，存放到es全文检索引擎，便于后续快速定位数据资产，以及消息推送、集群监控，Master和Worker节点在部署创建时会在ZooKeeper上注册临时节点，并在心跳包中往临时节点中存储服务器信息。
[0033]在其中一个实施例中，Master集群支持高可用配置，且所述Master集群中维护了多种守护线程用于监听其他Master和Worker的状态。
[0034]在其中一个实施例中，Worker集群用于从分布式队列中获取待执行的任务并执行，将执行结果更新到数据库中。
[0035]一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意一项方法的步骤。
[0036]一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项方法的步骤。
[0037]上述基于大数据构架的医疗数据管理方法、系统、计算机设备及存储介质通过建立统一的数据集成规范和标准优化全院数据质量，建立数据决策基础以实现提高医院竞争力。通过大数据计算平台、服务平台及应用平台为管理者提供各项业务的全流程、精细化的管理分析结果，促进医院管理决策科学化、精细化，还可以提供临床诊疗决策支持，以助力
提升医院科研水平。此外，还可以通过大数据交换平台实现医院与区域平台、外部机构之间互联互通以及安全控制下的数据共享与协同。
附图说明
[0038]图1为一个实施例中基于大数据构架的医疗数据管理方法的流程示意图；
[0039]图2为另一个实施例中基于大数据构架的医疗数据管理方法的流程示意图；
[0040]图3为再一个实施例中基于大数据构架的医疗数据管理方法的流程示意图；
[0041]图4为又一个实施例中基于大数据构架的医疗数据管理方法的流程示意图；
[0042]图5为一个实施例中基于大数据构架的医疗数据管理系统的整体构架图；
[0043]图6为一个实施例中大数据采集平台的平台构架图；
[0044]图7为一个实施例中大数据计算平台的平台构架图；
[0045]图8为一个实施例中基于大数据构架的医疗数据管理系统的结构框图；
[0046]图9为一个实施例中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于大数据构架的医疗数据管理方法，其特征在于，所述方法包括：搭建数据中台dataLake数据湖，管理所有的采集数据、分析过程数据、分析模型及分析结果数据、作业调度，支撑整个平台上所有数据的分析流程顺畅进行；搭建大数据采集平台，所述大数据采集平台基于开源的异构数据同步引擎，针对不同数据类型创建的数据接口，拓展不同的读写插件，将采集的数据经预处理后分门类别地存储至大数据中心；搭建大数据计算平台，所述大数据计算平台将采集的数据以混合式存储方式进行存储，并对已经存储好的数据利用Spark计算引擎提供数据分析和挖掘；搭建大数据服务平台，所述大数据服务平台对大数据中心的信息进行统一管理和监控，所述大数据中心的信息包括数据库总数、数据总数、总容量、基础表及合成表的整体信息；搭建大数据交换平台，所述大数据交换平台统一管理医院的大数据中心与院内业务系统以及院外其他信息平台之间的信息交换；搭建大数据应用平台，所述大数据应用平台用于直接对所述大数据中心的信息进行查询，并将分析结果以多种不同的图表进行展现。2.根据权利要求1所述的基于大数据构架的医疗数据管理方法，其特征在于，所述大数据采集平台还用于：支持对不同类型的数据库包括Mysql、Postgresql、Clickhouse、Oracle、Sqlserver的数据源进行采集；支持将采集的数据写入到hive、Mysql、Postgresql、Clickhouse、Oracle、Sqlserver；支持配置读写的速度，避免读写任务占用过多服务器资源，影响业务应用；支持通过可视化界面指定采集的数据源，通过勾选需要抽取的数据表对数据表进行预览，通过勾选指定数据表下的数据字段锁定要抽取的数据范围；支持对无主键的数据源表自定义设置主键，大数据中心将根据主键去重；支持利用SQL语句在已经制定的数据范围基础上精细化设置采集条件；支持通过可视化界面设置工作流的方式，直接对数据采集和处理的整个流程进行设置。3.根据权利要求1所述的基于大数据构架的医疗数据管理方法，其特征在于，所述大数据服务平台还用于：支持在基础表的基础上，通过编写SQL语句的方式快速生成新的...

【专利技术属性】
技术研发人员：谭安棠，李嘉楷，肖芬芳，周鸿发，
申请(专利权)人：广州医博信息技术有限公司，
类型：发明
国别省市：