基于公共卫生精细化管理的数据质量控制系统技术方案

本发明专利技术涉及一种基于公共卫生精细化管理的数据质量控制系统及方法，其中系统包括数据共享交换区和校验模块，数据共享交换区包括数据缓冲区、校验规则区和数据回退区，其中：数据缓冲区存放从源平台接收到的原始数据；校验规则区存放数据校验规则；数据回退区存放因校验不通过而需要退回源平台的数据；校验模块调用所述的数据校验规则对从源平台接收到的原始数据进行校验，所述的校验包括纵向表间均衡校验。采用该种结构的基于公共卫生精细化管理的数据质量控制系统及方法，能够对接入区域卫生信息平台的各类公共卫生业务系统数据的有效监控、并从横向、纵向以及小概率的各个维度对数据进行综合评估、形成对数据的自动化、智能化管理。

【技术实现步骤摘要】

本专利技术涉及数据处理
，尤其涉及公共卫生精细化管理的数据校验
，具体是指一种基于公共卫生精细化管理的数据质量控制系统。
技术介绍
随着社会经济和科学技术水平不断提高，公共卫生业务管理理念和方式发生根本性的改变，业务活动由粗放式转向精细化，管理模式从定性转向定量，数据采集的需求越来越多，共享的范围越来越广，独立的信息系统暴露出流程孤立、数据孤岛等问题，已难以适应业务发展。与之相对应，针对数据的质量控制也是针对各系统，由各业务部门分别进行质控，近几年正逐步由原有的人工抽样质控方式转为信息化形式。人工抽样模式针对数据处理的能力不强，多人协同时质控标准难以统一，具有很强的局限性。不少业务系统也因此考虑在加强自动化的数据质控能力，在数据采集阶段就对数据质量进行控制，通过部署在中心端系统服务器上的规则校验程序，对采集过程中的录入数据进行规则检查。然而近年来，以区域卫生平台为核心，重组集成各公共卫生条线的信息系统，以平台所提供的服务为纽带，打通各业务系统的流程，真正做到平台互通、系统互联、数据共享，已被公认为是未来卫生信息化的发展方向。在此背景下，原有数据质量控制的方式充分暴露了其所存在的局限性：-多用户共同录入数据，每人所了解的信息并不全面，可能导致录入数据是互相矛盾的；-必填项要求难以控制，尤其是针对不能一次性完成采集的数据，在系统设计过程中，只能放弃部分必填校验；-数据采集校验影响效率，为保证日常业务运行，降低系统负载，往往不可能做太复杂的数据校验质控因此需要建立一套基于区域卫生信息平台，能满足公共卫生精细化管理需要的数据交换的数据质量控制体系，引入基于规则库的自动化、智能化质量控制理念，形成对接入平台的各类业务系统的管理，提升平台数据的有效性及可用性。
技术实现思路
本专利技术的目的是克服了上述现有技术的缺点，提供了一种能够对接入区域卫生信息平台的各类公共卫生业务系统数据的有效监控、并从横向、纵向以及小概率的各个维度对数据进行综合评估、形成对数据的自动化、智能化管理的基于公共卫生精细化管理的数据质量控制系统。为了实现上述目的，本专利技术具有如下构成：该基于公共卫生精细化管理的数据质量控制系统，其主要特点是，所述的系统包括数据共享交换区和校验模块，所述的数据共享交换区包括数据缓冲区、校验规则区和数据回退区，其中：所述的数据缓冲区存放从源平台接收到的原始数据；所述的校验规则区存放数据校验规则；所述的数据回退区存放因校验不通过而需要退回源平台的数据；所述的校验模块调用所述的数据校验规则对从源平台接收到的原始数据进行校验，并将校验不通过的数据退回至源平台，所述的校验包括纵向表间均衡校验。较佳地，所述的数据共享交换区还包括：数据备份区，用以备份从源平台接收到的原始数据；日志记录区，用以记录数据校验信息。较佳地，所述的纵向表间均衡校验包括：尾数均匀分布校验，校验各个采集字段尾数的分布是否均匀；数据正态分布校验，校验各个采集字段的数值是否符合正态分布；选项比例校验，校验选项型字段的值是否符合合理的比例。较佳地，所述的校验还包括：单表单字段规则校验，校验单个表格中各个采集字段是否符合要求；单表多字段规则校验，校验单个表格中数个采集字段之间的相互关系是否符合逻辑要求。较佳地，所述的校验还包括多表关联性校验和多表多字段逻辑校验，所述的多表多字段逻辑校验为数个表格中数个采集字段之间的相互关系是否符合逻辑要求，所述的多表关联性校验包括：父子表的关系校验，校验各个子表的父表是否存在且唯一；并列表的关系校验，校验并列表之间的对应关系是否为一一对应。较佳地，所述的校验还包括小概率事件校验，所述的校验规则区中还包括小概率事件的
逻辑规则，所述的小概率事件校验为判断被校验数据是否符合所述的校验规则区中的小概率事件的逻辑规则。本专利技术还涉及一种基于公共卫生精细化管理的数据质量控制方法，其特征在于，所述的方法包括以下步骤：(1)所述的数据缓冲区接收源平台的原始数据并存储；(2)所述的校验模块调用所述的数据校验规则对所述的原始数据进行校验并判断是否校验通过，如果是，则继续步骤(3)，否则继续步骤(4)；(3)所述的校验模块将校验后的数据传输到目标平台；(4)所述的校验模块通过所述的数据回退区将校验后的数据退回源平台。较佳地，所述的数据共享交换区还包括数据备份区和日志记录区，所述的步骤(1)和(2)之间，还包括以下步骤：(1-1)所述的数据备份区备份从源平台接收到的原始数据‘所述的步骤(3)之后，还包括以下步骤：(3-1)所述的日志记录区记录数据校验信息，然后结束退出；所述的步骤(4)之后，还包括以下步骤：(4-1)所述的日志记录区记录数据校验信息，然后结束退出。较佳地，所述的步骤(2)，包括以下步骤：(2-1)所述的校验模块对调用所述的数据校验规则对所述的原始数据进行常规校验并判断是否校验通过，如果是，则继续步骤(3)，否则继续步骤(2-2)；(2-2)所述的校验模块判断被校验数据是否符合所述的校验规则区中的小概率事件的逻辑规则，如果是，则继续步骤(2-3)，否则继续步骤(4)；(2-3)所述的校验模块将被校验数据提交人工检查，然后结束退出。更佳地，所述的常规校验包括纵向表间均衡校验和横向校验，所述的横向校验包括单表单字段规则校验、单表多字段规则校验、多表关联性校验和多表多字段逻辑校验。采用了该专利技术中的基于公共卫生精细化管理的数据质量控制系统，具有如下有益效果：(1)大数据要求变更校验模式原先的数据校验是基于统计学抽样方式的校验，本质上是对样本的人工检查，但是随着医疗卫生领域信息化的发展，所涉及的数据量越来越大，以上海为例，每年新增新生儿10万个，全市高血压患者500万，糖尿病患者280万，每年公立医院门急诊记录过亿，由这些数据派生出的随访，免疫接种、体格检查、用药、诊疗等数据规模是海量级的，按原先的校验
方式，需要样本量至少达到百万级，而对百万级的样本做人工检查是不切实际的，因此信息量向大数据的发展必然要求改变传统的校验模式，向基于规则库的自动化、智能化的校验模式转变；基于公共卫生精细化管理的数据质量控制系统在区域卫生信息平台的支持下，满足对大数据批量处理的需求，及时发现数据中所存在的共性问题，并对小概率事件进行个案分析。(2)平台间的数据校验目前为了打破信息孤岛，使数据共享互通，医疗卫生行业的信息化发展方向正在向基于多级平台的方式转变，平台间、系统间的数据交换，造成数据使用者不是数据原始采集人，数据从初次采集到最终使用需要跨越多个平台和系统，原有的数据校验质控模式只注重在采集源头控制数据质量，而忽视了在平台间的数据校验，这样是不能满足数据最终使用者对数据质量要求的，因此必须在多级平台的基础上考虑数据校验问题，在任何两个平台之间都要求部署独立的数据校验质控模块；基于公共卫生精细化管理的数据质量控制系统可作为平台组件进行部署，在接入端和中心端形成对数据的立体式评估。在接入端对问题数据进行初步校验，在满足数据交换效率的前提下，对来源系统中比较明显的数据质量问题进行筛查；在中心端通过多维度数据评估模式对数据进行二次校验，形成对数据质量的深度分析，包括针对跨平台、跨系统的数据质量分析。(3)在流动环节进行数据校验在当前基本文档来自技高网...

【技术保护点】
一种基于公共卫生精细化管理的数据质量控制系统，其特征在于，所述的系统包括数据共享交换区和校验模块，所述的数据共享交换区包括数据缓冲区、校验规则区和数据回退区，其中：所述的数据缓冲区存放从源平台接收到的原始数据；所述的校验规则区存放数据校验规则；所述的数据回退区存放因校验不通过而需要退回源平台的数据；所述的校验模块调用所述的数据校验规则对从源平台接收到的原始数据进行校验，并将校验不通过的数据退回至源平台，所述的校验包括纵向表间均衡校验。

【技术特征摘要】
1.一种基于公共卫生精细化管理的数据质量控制系统，其特征在于，所述的系统包括数据共享交换区和校验模块，所述的数据共享交换区包括数据缓冲区、校验规则区和数据回退区，其中：所述的数据缓冲区存放从源平台接收到的原始数据；所述的校验规则区存放数据校验规则；所述的数据回退区存放因校验不通过而需要退回源平台的数据；所述的校验模块调用所述的数据校验规则对从源平台接收到的原始数据进行校验，并将校验不通过的数据退回至源平台，所述的校验包括纵向表间均衡校验。2.根据权利要求1所述的基于公共卫生精细化管理的数据质量控制系统，其特征在于，所述的数据共享交换区还包括：数据备份区，用以备份从源平台接收到的原始数据；日志记录区，用以记录数据校验信息。3.根据权利要求1所述的基于公共卫生精细化管理的数据质量控制系统，其特征在于，所述的纵向表间均衡校验包括：尾数均匀分布校验，校验各个采集字段尾数的分布是否均匀；数据正态分布校验，校验各个采集字段的数值是否符合正态分布；选项比例校验，校验选项型字段的值是否符合合理的比例。4.根据权利要求1所述的基于公共卫生精细化管理的数据质量控制系统，其特征在于，所述的校验还包括：单表单字段规则校验，校验单个表格中各个采集字段是否符合要求；单表多字段规则校验，校验单个表格中数个采集字段之间的相互关系是否符合逻辑要求。5.根据权利要求1所述的基于公共卫生精细化管理的数据质量控制系统，其特征在于，所述的校验还包括多表关联性校验和多表多字段逻辑校验，所述的多表多字段逻辑校验为数个表格中数个采集字段之间的相互关系是否符合逻辑要求，所述的多表关联性校验包括：父子表的关系校验，校验各个子表的父表是否存在且唯一；并列表的关系校验，校验并列表之间的对应关系是否为一一对应。6.根据权利要求1所述的基于公共卫生精细化管理的数据质量控制系统，其特征在于，所述的校验还包括小概率事件校验，所述的校验规则区中还包括小概率事件的逻...

【专利技术属性】
技术研发人员：夏天，夏寒，吴凡，袁政安，王春芳，姜轶岚，张诚，韩明，蔡任之，范爱晶，林维晓，道理，戚方圆，刘诚，毛晓焱，王荣，徐洲，汪森然，
申请(专利权)人：上海市疾病预防控制中心，万达信息股份有限公司，
类型：发明
国别省市：上海;31