一种基于大数据技术的医疗数据交换共享系统及方法技术方案

技术编号:24173802 阅读:45 留言:0更新日期:2020-05-16 03:52
本发明专利技术属于大数据及数据交换共享技术领域,公开了一种基于大数据技术的医疗数据交换共享系统及方法,基于大数据技术的医疗数据交换共享方法为:基于spark sql计算引擎实现数据分析、统计、清洗操作;配置mapred‑site.xml文件里的参数,设置MapReduce执行引擎,配置spark‑defaults.conf文件、hive参数,搭建基层hadoop环境;编写动态解析配置文件方法;基于mule进行集成调度kettle,传参分装到配置文件。本发明专利技术能够实现数据批量自动化处理,数据交换共享速率高;采集过程采用压缩技术,能够降低网络宽带的压力;全流程自动监控处理过程,能够降低数据维护量。

【技术实现步骤摘要】
一种基于大数据技术的医疗数据交换共享系统及方法
本专利技术属于大数据及数据交换共享
,尤其涉及一种基于大数据技术的医疗数据交换共享系统及方法。
技术介绍
目前,最接近的现有技术:随着社会的发展,人们对医疗数据的高速查询需求,以及医疗数据的准确性需求越来越大。而现有的大数据技术无法在一定的时间范围内用常规的软件工具进行捕捉、管理和处理数据的共享整合,并且存在数据难维护、处理效率和稳定性低、数据偏移严重等问题。需要在新的处理模式下才能有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化。综上所述,现有技术存在的问题是:现有的大数据技术无法在一定的时间范围内用常规的软件工具进行捕捉、管理和处理数据的共享整合,并且存在数据难维护、处理效率和稳定性低、数据偏移严重等问题,以及传统医疗数据在存储方面故障多发、运维难度大、容灾能力低,海量医疗数据存储能力有限。在数以亿计多维数据分析方面效率低下,检索耗时、特别是针对数据的挖掘清洗更是力不从心。解决上述技术问题的难度:医疗数据专业化程度高,业务流程分散、数据整合难度大,数据清洗本文档来自技高网...

【技术保护点】
1.一种基于大数据技术的医疗数据交换共享系统,其特征在于,所述基于大数据技术的医疗数据交换共享系统包括:/n数据采集模块,通过mule作为任务统一调度,调用医院存储前置服务,利用封装的kettle作为数据适配器,将数据抽取到大数据中心进行存储;/n数据存储模块,与数据采集模块连接,大数据中心分别以hive作为数据仓库,hbase、ElasticSearch作为数据检索库,分别存储业务主题、统计分析、流程状态、电子病历、健康档案数据;/n数据交换模块,与数据存储模块连接,医疗数据存储到大数据中心后,对不同的业务进行数据的一致性,及时性,规范性,完整性的校验统计;/n数据共享模块,与数据交换模块连...

【技术特征摘要】
1.一种基于大数据技术的医疗数据交换共享系统,其特征在于,所述基于大数据技术的医疗数据交换共享系统包括:
数据采集模块,通过mule作为任务统一调度,调用医院存储前置服务,利用封装的kettle作为数据适配器,将数据抽取到大数据中心进行存储;
数据存储模块,与数据采集模块连接,大数据中心分别以hive作为数据仓库,hbase、ElasticSearch作为数据检索库,分别存储业务主题、统计分析、流程状态、电子病历、健康档案数据;
数据交换模块,与数据存储模块连接,医疗数据存储到大数据中心后,对不同的业务进行数据的一致性,及时性,规范性,完整性的校验统计;
数据共享模块,与数据交换模块连接,通过电子健康卡统一接口完成电子健康卡号分发,通过业务协同集成系统完成与医院系统的实时数据共享。


2.如权利要求1所述的基于大数据技术的医疗数据交换共享系统,其特征在于,数据交换模块基于sparksql语法进行执行语句定制,对不同的业务进行数据的一致性,及时性,规范性,完整性的校验统计。


3.如权利要求1所述的基于大数据技术的医疗数据交换共享系统,其特征在于,所述基于大数据技术的医疗数据交换共享系统进一步包括展现层、业务层和持久层。


4.一种如权利要求1~3任一项所述的基于大数据技术的医疗数据交换共享系统的基于大数据技术的医疗数据交换共享方法,其特征在于,所述基于大数据技术的医疗数据交换共享方法包括以下步骤:
第一步,医疗平台的前置服务的监听器检测到放入前置库的数据,调用数据抽取调度器,调度器调度数据抽取接口把前置库数据抽取到前置缓存库,在前置缓存库进行数据的校验清洗,完成数据清洗后触发数据导出;
第二步,通过shell脚本资源,导数据前置库文件数据,通过FTP服务上传到大数据中心;
第三步,大数据中心通过状态监控检测到医疗数据文件后,调动大数据核心执行引擎,分别抽取数据到增量和全量环境中,进行数据的二次统计清洗,把结果数据存储中不同的主题数据存储库;

【专利技术属性】
技术研发人员:路杰姚进文牛宝童蒲旭虹殷利霞闫宣辰
申请(专利权)人:甘肃省卫生健康统计信息中心西北人口信息中心
类型:发明
国别省市:甘肃;62

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1