医疗大数据应用基础服务系统技术方案

本发明专利技术涉及一种医疗大数据应用基础服务系统，其特征在于该系统包括大数据云ETL子系统、大数据基础内核子系统、医疗大数据分析挖掘子系统、系统运行管理监控子系统；大数据云ETL子系统负责对医院信息系统的相关数据进行抽取、清洗转换和加载；大数据基础内核子系统利用大数据基础能力中所使用的Storm流计算、MapReduce批量计算、Spark、医疗大数据元数据、HBASE半结构化数据存储等技术，实现医疗大数据的存储、计算和分析；医疗大数据分析利用数据探索、挖掘建模和模型评估，对医疗大数据基础内核平台存储的数据进行分析；管理监控系统负责为整个医疗大数据应用基础平台提供所需的支持、监控、配置和安全服务。

【技术实现步骤摘要】

本专利技术涉及大数据
，特别是涉及一种医疗大数据应用基础服务系统。
技术介绍
近年来随着互联网、云计算、移动和物联网等的迅猛发展，无所不在的移动设备、RFID、无线传感器每分每秒都在产生数据，数以亿计用户的互联网服务时时刻刻在产生巨量的交互，要处理的数据量巨大，数据一直都在以每年50%的速度增长，而业务需求和竞争压力对数据处理的实时性、有效性又提出了更高要求，传统的常规技术手段根本无法应付，因此，大数据技术（BigData）成为近来的一个技术热点，引起了广泛的重视。大数据创造价值是基于这样一个核心逻辑，即当今社会在商业、经济、政府及相关领域中，决策行为越来越取决于数据和分析，而不再是经验和直觉。大数据技术可以为决策提供一定的“预见参考”，而成功的分析和预见往往能带来商业和经济价值。除了较早前就开始利用大数据的互联网公司，医疗行业是让大数据分析最先发扬光大的传统行业之一。医疗行业早就遇到了海量数据和非结构化数据的挑战，而近年来很多国家都在积极推进医疗信息化发展，因此，医疗行业将和银行、电信、保险等行业一起首先迈入大数据时代。麦肯锡在其报告中指出，排除体制障碍，大数据分析可以帮助美国的医疗服务业一年创造3000亿美元的附加价值。通过大数据技术可以加速医学的猜想、发现到医疗实践的转化：借助于不断增长的私密和公开医疗数据，大数据技术帮助人们存储管理好医疗大数据并从大体量、高复杂的数据中提取价值，相关的医疗技术、产品将不断涌现，将有可能给医疗行业开拓一个新的黄金时代。大数据技术在医疗领域的应用具有非常广阔的前景，但由于网络安全性不高、技术不足、观念落后等原因，大数据技术在医疗领域的应用还存在一些困难：首先数据量大，数据类型复杂。医疗领域的数据量巨大，数据类型复杂。到2020年，医疗数据将增至35ZB，相当于2009年数据量的44倍。另外，在医院，每个患者不但要经过辨证论治的个体化诊疗，还会经过各种理化检测进行疾病及其预后的诊断，所以不光有病历资料中包含的信息，还会有生化检查、多种影像或病理切片检查的生物学信息，数据类型十分复杂。这给数据的存储、分析、处理、传输等带来很大挑战。其次，信息采集不足，收集渠道不畅。要想在医疗领域使用大数据技术，首先要有足够的病人、药物等相关信息，这是数据分析的基础，然而许多病人可能出于隐私考虑不愿提供这些信息，制药企业也有可能因为商业利益不愿共享药物成分等敏感信息。另外，各个医院及机构的医疗信息、软件及硬件服务都各自独立，缺乏合理接口，大数据收集的渠道不畅，导致采集与应用存在一定程度上的脱离。第三，大数据高效分析能力欠缺，采集到足够信息后，需要由相关领域的专业人士与信息技术专家一起对数据进行有针对性地归纳和分析，得出由大量新兴技术（如HadoopMapReduce、内存数据库等）组成的高性能的专业的分析技术架构解决方案，而这种跨学科、跨领域合作能否顺利实现，是大数据技术实际应用中的重要问题。此外，大数据的安全缺乏保障。随着数据量的不断增加，数据存储的物理安全性越来越重要，对数据的多副本与容灾机制提出更高的要求。但是网络和数字化生活使得犯罪分子更容易获得关于人的信息，也有了更多不易被追踪和防范的犯罪手段，大数据的保护越来越重要。为解决目前医疗大数据应用中普遍存在的上述挑战，需要设计一种医疗大数据应用基础平台以解决数据量大且数据类型复杂、信息采集不足与收集渠道不畅、大数据高效分析能力和安全保障欠缺等问题。
技术实现思路
本专利技术提供了一种医疗大数据应用基础服务系统，用以解决目前医疗大数据数据量大且数据类型复杂、信息采集不足与收集渠道不畅、大数据高效分析能力和安全保障欠缺等问题，本专利技术解决所述问题的技术方案为。一种医疗大数据应用基础服务系统，其特征是包括大数据云ETL子系统、大数据基础内核子系统、医疗大数据分析挖掘子系统、运行管理监控子系统：1)大数据云ETL子系统：主要包括数据抽取、数据清洗转换、数据加载、调度引擎等，是医疗大数据应用基础平台的数据来源工具，负责对医院信息系统的相关数据进行抽取、清洗转换和加载。2)大数据基础内核子系统：主要包括Storm流计算、MapReduce批量计算、Spark、医疗大数据元数据、医疗大数据模型、HBASE半结构化数据存储，实现医疗大数据的存储、计算和分析。3)医疗大数据分析挖掘子系统：主要包括数据探索、挖掘建模、模型评估，对医疗大数据基础内核平台存储和处理的结构和非结构化数据进行分析和挖掘。4)运行管理监控子系统:主要包括状态监控、配置节点管理、集群节点管理、节点和服务状态管理、数据安全管理，为医疗大数据应用基础平台提供所需的支持、监控、配置和安全服务。附图说明图1为本专利技术系统总体架构图。图2为本专利技术Storm流计算架构图。图3为本专利技术MapReduce处理流程图。具体实施方式下面将结合本专利技术实施例中的附图及具体实施例进一步说明本专利技术的技术方案。应当理解，此处所描述的具体实施例仅仅用于解释本专利技术，并不用于限定本专利技术。本专利技术提供了一种医疗大数据应用基础服务系统，其特征是包括大数据云ETL子系统、大数据基础内核子系统、医疗大数据分析挖掘子系统、运行管理监控子系统。整个系统在软件架构上主要分为大数据云ETL、大数据基础内核、医疗大数据分析挖掘和系统运行管理监控，用以支持医疗大数据众多典型应用（电子病历大数据产品、药品研发、实时统计分析、就诊行为分析、传染病模型分析、基本药物临床应用分析、临床决策支持、远程病人数据分析），满足个人（医生、临床研究员、公众）和机构（医疗器械、商业保险、医疗企业）中的不同用户对于海量数据访问、处理和分析的需求。系统体系架构如图1所示，大数据云ETL子系统是在大数据平台的基础上，对医院信息系统（HIS、PACS、CIS、RIS、LIS、EMR）的相关数据进行抽取、清洗转换和加载，并通过调度引擎进行任务调度与监控，从而提供数据整合的解决方案。医疗大数据基础内核子系统是利用大数据基础能力中所使用的Storm流计算、MapReduce批量计算、Spark内存计算、Metadata元数据管理、DataModel医疗大数据模型、HDFS分布式文件存储、HBASE半结构化数据存储等，实现医疗大数据的存储、计算和分析。医疗大数据分析挖掘子系统利用数据探索、挖掘建模和模型评估，对医疗大数据基础内核平台存储和处理的结构和非结构化数据进行分析和挖掘，从而支持用户的业务和管理活动。运行管理监控子系统对整体的产品运行体系提供所需的支持、监控、配置和安全服务。对云ETL提供可视化的配置服务，对系统的软硬件环境、网络、运行程序、处理任务进行统一的监控，对数据进行保密性处理和安全性管理，对业务用户的使用提供单点登录、权限配置和访问管理等服务。大数据云ETL子系统包括数据抽取、数据清洗转换、数据加载、调度引擎模块。数据抽取是采用分布式抽取与数据同步功能将结构化数据和非结构化数据抽取到大数据云ETL的过程，在抽取的过程中需本文档来自技高网...

【技术保护点】
一种医疗大数据应用基础服务系统，其特征在于该系统包括大数据云ETL子系统、大数据基础内核子系统、医疗大数据分析挖掘子系统、运行管理监控子系统。

【技术特征摘要】
1.一种医疗大数据应用基础服务系统，其特征在于该系统包括大数据云ETL子系统、大数据基础内核子系统、医疗大数据分析挖掘子系统、运行管理监控子系统。
2.根据权利要求1所述的大数据云ETL子系统，其特征是主要包括数据抽取、数据清洗转换、数据加载、调度引擎等，是医疗大数据应用基础平台的数据来源工具，负责对医院信息系统的相关数据进行抽取、清洗转换和加载。
3.根据权利要求1所述的大数据基础内核子系统，其特征是主要包括Storm流计算、MapReduce批量计算、Spark、医...

【专利技术属性】
技术研发人员：彭革刚，沈清，郭颖，封展柏，陈之辉，彭可，石猛，封模春，李晶晶，
申请(专利权)人：湖南互动传媒有限公司，
类型：发明
国别省市：湖南;43