基于大数据并行处理的健康决策系统技术方案

基于大数据并行处理的健康决策系统的数据处理方法：第一步：执行数据装载（Extract‑Transform‑Load，简称ETL）过程，将不同来源、格式、特点性质的医疗数据通过执行数据装载过程在物理上有机的整合进行集中性存放，形成规范的数据存储，执行数据装载过程将数据存放在数据仓库中；第二步：对数据仓库中的数据通过多变量信息瓶颈方法进行压缩。本发明专利技术首先通过Kettle将不同来源、格式、特点性质的医疗数据通过ETL过程在物理上有机的整合进行集中性存放，形成规范的主题数据存储。其次通过大数据并行处理框架，采用多变量的IB方法，使模型满足海量数据的健康决策分析，同时采用高性能的内存数据库集群进行数据存取提高性能。

【技术实现步骤摘要】
基于大数据并行处理的健康决策系统
本专利技术涉及基于大数据并行处理的健康决策系统。
技术介绍
在医疗过程中如何从管理科学角度较少可避免的不良事件的发生，保障患者安全性，提高医疗品质与效率是国家医学理论界的重要研究课题之一。互联网、智能传感器、大数据、机器学习等新兴信息通信技术与信息感知方式的快速发展，使数据驱动的健康医疗涵盖更多的方向，并将在临床治疗的比较效果研究、临床决策支持系统、对医疗档案的先进分析中为有效降低医疗决策失误发挥重要的作用。医疗与健康决策支持主要是要提高医疗系统的品质与效率，从已研究的方向来看：第一类，集中运用运筹学理论与方法、基础工业工程，从人为失误、医疗流程和医疗风险等方面探讨医疗管理与服务系统存在的问题，以达到提升医疗管理与医疗服务品质与效率的目标。这一类的研究多基于运筹学模型，优化医疗过程、改善医院管理，为后续研究提供了宝贵的医疗实践经验和大量基础性的数据。第二类，随着模式识别、信息资源管理、移动互联、大数据等新技术、新模式与新需求的发展与应用，开始对由医疗大数据引发的逻辑推理等深层次问题进行探讨。这些研究力图将原来应用于军事决策、自动化辨识、数据挖掘领域的研究成果应用于医疗决策系统，研究角度也扩展到基于案例推理、基于规则的推理、不确定性、信息获取与传递和信息融合、数据处理效率等数据驱动的医疗决策支持领域。当前，新一轮科技革命和产业变革孕育兴起，大数据的积聚、理论算法的革新、计算能力的提升及网络设施的演进，驱动人工智能发展进入新阶段，人工智能正加快与经济社会各领域渗透融合，带动技术进步、推动产业升级、助力经济转型、促进社会进步。在医疗人工智能领域，人体健康的抽象化概念进行数据化分析和进行数据化的健康决策制定是无人化医疗和人工智能医疗所要解决的重要问题。
技术实现思路
为解决上述问题，本专利技术提供基于大数据并行处理的健康决策系统。本专利技术的技术方案具体为：基于大数据并行处理的健康决策系统的数据处理方法：第一步：执行数据装载(Extract-Transform-Load，简称ETL)过程，将不同来源、格式、特点性质的医疗数据通过执行数据装载过程在物理上有机的整合进行集中性存放，形成规范的数据存储，执行数据装载过程将数据存放在数据仓库中；第二步：对数据仓库中的数据通过多变量信息瓶颈方法进行压缩。进一步的：执行数据装载(Extract-Transform-Load，简称ETL)过程具体过程为：(1)数据抽取：将数据从医疗单位、体检部门、门诊等单位的业务系统中抽取出来。(2)数据转化/清洗：按照预先设计好的规则将抽取得数据进行转换、清洗，以及处理一些冗余、歧义的数据，使异构的数据实现统一管理。(3)数据质量检查：对来源数据和清洗后的数据进行检查，保证加载后的数据的一致性和正确性。(4)数据加载：将清洗后的数据加载到数据仓库中。。进一步的：所述多变量信息瓶颈方法采用信息瓶颈方法的协作模型进行数据压缩。进一步的：所述多变量信息瓶颈方法采用对称信息瓶颈方法的协作模型进行数据压缩。进一步的：所述多变量信息瓶颈方法采用并行信息瓶颈方法的协作模型进行数据压缩。基于大数据并行处理的健康决策系统的大数据处理框架：上述方法。进一步的：基于大数据并行处理的健康决策系统的大数据处理框架包括：服务器管理系统：用于对其余系统的管理调度；文件系统：用于服务器数据的存储和调用；资源管理系统：对服务器资源进行管理；计算核心：用于算法的实现；机器学习引擎：用于机器对抽象化概念的认知和学习；图形处理引擎：对图形数据的处理与分析；数据流传输引擎：完成数据的连续传输；结构化数据接口：用于结构化数据的传输。基于大数据并行处理的健康决策系统：包括大数据处理框架、数据查询及处理接口、健康决策分析模块、数据库、企业服务总线；大数据处理框架与数据库连接，大数据处理框架通过数据查询及处理接口与健康决策分析模块通讯，健康决策分析模块通过企业服务总线与云数据系统通信。进一步的：数据库采用采用高性能的内存数据库Redis集群。进一步的：健康决策分析模块包括商务智能(BusinessIntelligence，简称BI)组件，数据可视化组件，图形化引擎组件，比对数据组件，外部文件支持组件，健康决策分析组件，比对服务接口组件，应用安全组件。相对于现有技术，本专利技术的技术效果为，首先通过Kettle将不同来源、格式、特点性质的医疗数据通过ETL过程在物理上有机的整合进行集中性存放，形成规范的主题数据存储。其次通过大数据并行处理框架，采用多变量的IB方法，使模型满足海量数据的健康决策分析，同时采用高性能的内存数据库集群进行数据存取提高性能。基于大数据并行处理的健康决策系统为无人化医疗奠定了医疗诊断基础，是人工智能在医疗领域的一种实现方式，信息瓶颈方法实现了抽象化的人体健康数据能够进行机器分析的功能，使无人化医疗成为了可能。附图说明图1是IB方法示意图。图2为IB方法的协作模型的示意图。图3为对称IB协作模型的示意图。图4为并行IB协作模型示意图。图5为ETL过程与数据仓库关系示意图示意图。图6为基于大数据并行处理的健康决策系统的大数据处理框架示意图。图7为基于大数据并行处理的健康决策系统示意图。具体实施方式一、基于大数据并行处理的健康决策系统的数据处理方法：1：执行数据装载(Extract-Transform-Load，简称ETL)过程，如图5所示，将不同来源、格式、特点性质的医疗数据通过ETL过程在物理上有机的整合进行集中性存放，形成规范的数据存储。在数据集成的过程中，整个流程被切分成不同的处理任务：(1)数据抽取：将数据从医疗单位、体检部门、门诊等单位的业务系统中抽取出来。(2)数据转化/清洗：按照预先设计好的规则将抽取得数据进行转换、清洗，以及处理一些冗余、歧义的数据，使异构的数据实现统一管理。(3)数据质量检查：对来源数据和清洗后的数据进行检查，保证加载后的数据的一致性和正确性。(4)数据加载：将清洗后的数据加载到数据仓库中。在ETL过程中，还需要对过程进行自动化。一个完整的ETL过程自动化是指对数据从数据源到数据目的的各个处理任务(如抽取、转换、清洗、异常处理、加载等任务)的运行进行有条不紊的组织，使其自动运行下去的一个闭合的处理逻辑。一般使用Kettle工具完成自动化ETL过程。Kettle工具，可以在Window、Linux、Unix上运行，数据抽取高效稳定。多系统的支持和高效稳定的ETL过程是Kettle工具在大数据运算和人工智能领域具有先天优势。2：对数据仓库中的数据通过多变量信息瓶颈方法进行压缩；信息瓶颈方法(InformationBottleneck，简称IB方法)是一种基于率失真理论的数据分析方法，通过将数据对象压缩到一个“瓶颈”变量中来发现数据对象间中所蕴含的内在模式。多变量IB方法(MultivariateInformationBottleneck)是对IB方法的拓展，采用更多的变量来抽象现实问题，让更多的信息参与到数据的压缩过程中，通过它们之间的相互配合共同完成更具挑战性的数据分析任务。IB方法在做数据分析时，将数据模式的提取视为一个数据压缩的过程，如图1所示，其中X表示待分析的数据对象，Y表示描述数据对象的特征变量，表示本文档来自技高网...

【技术保护点】
基于大数据并行处理的健康决策系统的数据处理方法，其特征在于：第一步：执行数据装载过程，将不同来源、格式、特点性质的医疗数据通过执行数据装载过程在物理上有机的整合进行集中性存放，形成规范的数据存储，执行数据装载过程将数据存放在数据仓库中；第二步：对数据仓库中的数据通过多变量信息瓶颈方法进行压缩。

【技术特征摘要】
1.基于大数据并行处理的健康决策系统的数据处理方法，其特征在于：第一步：执行数据装载过程，将不同来源、格式、特点性质的医疗数据通过执行数据装载过程在物理上有机的整合进行集中性存放，形成规范的数据存储，执行数据装载过程将数据存放在数据仓库中；第二步：对数据仓库中的数据通过多变量信息瓶颈方法进行压缩。2.如权利要求1所述的基于大数据并行处理的健康决策系统的数据处理方法，其特征在于：执行数据装载过程具体过程为：（1）数据抽取：将数据从医疗单位、体检部门、门诊单位的业务系统中抽取出来；（2）数据转化/清洗：按照预先设计好的规则将抽取得数据进行转换、清洗，以及处理冗余、歧义的数据，使异构的数据实现统一管理；（3）数据质量检查：对来源数据和清洗后的数据进行检查，保证加载后的数据的一致性和正确性；（4）数据加载：将清洗后的数据加载到数据仓库中。3.如权利要求1所述的基于大数据并行处理的健康决策系统的数据处理方法，其特征在于：所述多变量信息瓶颈方法采用信息瓶颈方法的协作模型进行数据压缩。4.如权利要求1所述的基于大数据并行处理的健康决策系统的数据处理方法，其特征在于：所述多变量信息瓶颈方法采用对称信息瓶颈方法的协作模型进行数据压缩。5.如权利要求1所述的基于大数据并行处理的健康决策系统的数据处理方法，其特征在于：所述多变量信息瓶颈方法采...

【专利技术属性】
技术研发人员：潘国栋，霍晓军，吴栋，周琳，戚伟，孟纪元，赵磊，王建安，李永，孙朝阳，张延莉，马卫，
申请(专利权)人：河南电力医院，
类型：发明
国别省市：河南,41