一种基于医疗大数据的数据质量改进方法及系统技术方案

本发明专利技术属于数据质控技术领域，公开了一种基于医疗大数据的数据质量改进方法及系统，基于HIS原子指标值进行计算，通过规范明细数据、不规范明细数据、状态数据、原子指标汇总及其他字段级校验进行质量管理；基于平台原子值进行计算，通过公众服务平台采集数据对居民个人信息和服务就诊记录进行精细校验；基于BI原子指标值进行计算，以原子指标为导向对相关的基础表进行定向规则校验；编写动态sql执行语句，基于hadoop、hase计算引擎进行数据质控、统计。本发明专利技术基于医疗大数据用于改进数据质量的方法，可使用三径合一实现对数据多次数据校验进行数据质量的控制。

A data quality improvement method and system based on medical big data

【技术实现步骤摘要】
一种基于医疗大数据的数据质量改进方法及系统
本专利技术属于数据质控
，尤其涉及一种基于医疗大数据的数据质量改进方法及系统。
技术介绍
目前，最接近的现有技术：随着社会的发展，人们对医疗数据的高质量要求需求，以及医疗数据的准确性需求越来越大。而现有的大数据技术无法在一定的时间范围内用常规的软件工具进行数据质量管理，并且存在数据质量参差不齐的问题。综上所述，现有技术存在的问题是：现有医疗数据类型复杂，数据质量不高。医院级别不统一导致校验数据难度大，校验时间过长。解决上述技术问题的难度：由于数据类型复杂，医院数量众多，导致上传数据类型不统一。医院上传数据存在差异性，导致上传的数据校验过程中错误较多，数据质量不高。根据医院级别需要定义不同的评分标准，根据医院业务进行对标准的定制化。医院上传数据差异性较大，导致校验时间耗时较长。解决上述技术问题的意义：定义数据标准，根据医院上传的数据进行标准间的映射，达到所有医院上传的数据统一化，标准化，以便于在电子病历系统中的展示。提供校验报告，协助医院进行校验报告中错误关系的修正，以便提高数据质量。根据医院级别，定义不同的校验规则和评分规则，达到根据医院级别进行展示评分的效果。定义上传标准，首先在数据采集前进行一次标准转换，达到将数据规范化，减少校验时的转换，达到快速的校验，减短校验时间。
技术实现思路
针对现有技术存在的问题，本专利技术提供了一种基于医疗大数据的数据质量改进方法。本专利技术是这样实现的，一种基于医疗大数据的数据质量改进方法，所述基于医疗大数据的数据质量改进方法包括：采用PDLMV数据清洗框架理论，进行多层级的数据校验，通过数据交换报告、数据校验报告、专题报告及其他聚合结果数据进行全方位展示。进一步，所述基于医疗大数据的数据质量改进方法包括以下步骤：步骤一，基于HIS原子指标值进行计算，通过规范明细数据、不规范明细数据、状态数据、原子指标汇总及其他字段级校验进行质量管理；步骤二，基于平台原子值进行计算，通过公众服务平台采集数据对居民个人信息和服务就诊记录进行精细校验；步骤三，基于BI原子指标值进行计算，以原子指标为导向对相关的基础表进行定向规则校验；步骤四，编写动态sql执行语句，基于hadoop、hase计算引擎进行数据质控、统计。本专利技术的另一目的在于提供一种实施所述基于医疗大数据的数据质量改进方法的基于医疗大数据的数据质量改进系统，所述基于医疗大数据的数据质量改进系统包括：数据校验模块：用于采用PDLMV数据清洗框架，进行三径合一的多级数据校验；数据交换模块：用于采用ETL中间件KETTLE进行数据交换；分析模块：用于利用hadoop，hase及其他分析框架对生产日志和系统日志进行跟踪和分析；展示模块：用于通过数据交换报告，数据校验报告，专题报告各种聚合结果数据进行全方位展示。数据质控模块：通过数据的一致性，完整性，规范性，及时性进行完整的展示数据的质量以及数据校验问题。本专利技术的另一目的在于提供一种存储在计算机可读介质上的计算机程序产品，包括计算机可读程序，供于电子装置上执行时，提供用户输入接口以实施所述的基于医疗大数据的数据质量改进方法。本专利技术的另一目的在于提供一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行所述的基于医疗大数据的数据质量改进方法。综上所述，本专利技术的优点及积极效果为：本专利技术基于医疗大数据用于改进数据质量的方法，可使用三径合一实现对数据多次校验进行数据质量的控制。针对目前要解决医疗数据质量中出现的医疗数据类型复杂，数据质量不高等问题，提高医疗数据的质量，采用PDLMV数据清洗框架理论，实现多层级的数据校验，通过数据交换报告、数据校验报告专题报告等各种聚合结果数据进行全方位展示。本专利技术能够解决基于医疗大数据改进数据质量的问题，通过先进理论以及核心的校验规则对数据质量进行控制。本专利技术可自定义搜索及关系维护的路径模板；通过数据集市进行多级聚合；使用solr技术，列存储，通过map(key,value)快速搜索和存储。附图说明图1是本专利技术实施例提供的基于医疗大数据的数据质量改进方法流程图。图2是本专利技术实施例提供的基于医疗大数据的数据质量改进系统结构示意图。图中：1、数据校验模块；2、数据交换模块；3、分析模块；4、展示模块；5、数据质控模块。图3是本专利技术实施例提供的基于医疗大数据的数据质量改进方法原理图。图4是本专利技术实施例提供的基于医疗大数据的数据质量改进系统原理图。图5是本专利技术实施例提供的数据质量控制监测数据界面图。图6是本专利技术实施例提供的数据质控程序调度界面图。图7是本专利技术实施例提供的数据校验脚本执行代码界面图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。现有医疗数据类型复杂，数据质量不高。针对现有技术存在的问题，本专利技术提供了一种基于医疗大数据的数据质量改进方法及系统，下面结合附图对本专利技术作详细的描述。本专利技术实施例提供的基于医疗大数据的数据质量改进方法包括：采用PDLMV数据清洗框架理论，进行多层级的数据校验，通过数据交换报告、数据校验报告专题报告及其他聚合结果数据进行全方位展示。如图1所示，本专利技术实施例提供的基于医疗大数据的数据质量改进方法包括以下步骤：S101，基于HIS原子指标值进行计算，通过规范明细数据、不规范明细数据、状态数据、原子指标汇总及其他字段级校验进行质量管理。S102，基于平台原子值进行计算，通过公众服务平台采集数据对居民个人信息和服务就诊记录进行精细校验。S103，基于BI原子指标值进行计算，以原子指标为导向对相关的基础表进行定向规则校验。S104，编写动态sql执行语句，基于hadoop、hase计算引擎进行数据质控、统计。如图2所示，本专利技术实施例提供的基于医疗大数据的数据质量改进系统包括：数据校验模块1：用于采用PDLMV数据清洗框架，进行三径合一的多级数据校验。数据交换模块2：用于采用ETL中间件KETTLE进行数据交换。分析模块3：用于利用hadoop，hase及其他分析框架对生产日志和系统日志进行跟踪和分析。展示模块4：用于通过数据交换报告，数据校验报告，专题报告各种聚合结果数据进行全方位展示。数据质控模块5：通过数据的一致性，完整性，规范性，及时性进行完整的展示数据的质量以及数据校验问题。图3是本专利技术实施例提供的基于医疗大数据的数据质量改进方法原理图。数据从医院业务库中经过汇总等手段，将数据上传到前置库中，保持数据的原始性，前置库使用ESB+ETL将数据上传进本文档来自技高网...

【技术保护点】
1.一种基于医疗大数据的数据质量改进方法，其特征在于，所述基于医疗大数据的数据质量改进方法包括：/n采用PDLMV数据清洗框架，进行多层级的数据校验，并通过数据交换报告、数据校验报告、专题报告及聚合结果数据进行全方位展示。/n

【技术特征摘要】
1.一种基于医疗大数据的数据质量改进方法，其特征在于，所述基于医疗大数据的数据质量改进方法包括：
采用PDLMV数据清洗框架，进行多层级的数据校验，并通过数据交换报告、数据校验报告、专题报告及聚合结果数据进行全方位展示。


2.如权利要求1所述基于医疗大数据的数据质量改进方法，其特征在于，所述基于医疗大数据的数据质量改进方法包括以下步骤：
步骤一，基于HIS原子指标值进行计算，通过规范明细数据、不规范明细数据、状态数据、原子指标汇总及其他字段级校验进行质量管理；
步骤二，基于平台原子值进行计算，通过公众服务平台采集数据对居民个人信息和服务就诊记录进行精细校验；
步骤三，基于BI原子指标值进行计算，以原子指标为导向对相关的基础表进行定向规则校验；
步骤四，编写动态sql执行语句，基于hadoop、hase计算引擎进行数据质控、统计。


3.一种实施如权利要求1所述基于医疗大数据的数据质量改进方法的基于医...

【专利技术属性】
技术研发人员：路杰，姚进文，牛宝童，蒲旭虹，殷利霞，白焕莉，
申请(专利权)人：甘肃省卫生健康统计信息中心西北人口信息中心，
类型：发明
国别省市：甘肃;62