一种基于通用数据模型的多中心医疗数据结构标准化系统技术方案

本发明专利技术公开了一种基于通用数据模型的多中心医疗数据结构标准化系统，该系统包括源数据库、缓存数据库、目标数据库、数据连接管理模块、数据结构扫描模块、映射构建单元、映射执行单元、增量更新单元和质量控制单元；源数据库为各医疗数据中心执行医疗业务流程的数据库；缓存数据库与目标数据库均部署于各医疗数据中心的专属前置服务器；各医疗数据中心的目标数据库均与云端服务器连接，实现多中心医疗数据之间的协同分析；本发明专利技术改进了医疗数据结构映射关系设计流程，有利于信息技术人员与医护人员协作，提高工作效率；本发明专利技术提供了增量更新机制，提高了系统运行效率。

【技术实现步骤摘要】
一种基于通用数据模型的多中心医疗数据结构标准化系统
本专利技术属于数据结构标准化领域，尤其涉及一种基于通用数据模型的多中心医疗数据结构标准化系统。
技术介绍
随着国内信息化水平的提高，越来越多的医院建立了自己的医院信息系统(HIS)以及包括电子病历系统(EMR)、影像采集与传输系统(PACS)、实验室检查信息系统(LIS)在内的各类临床业务信息系统。不少信息化程度较高的医院还建立了临床数据中心(CDR)，实现了全院业务数据的集中化，为医院管理、病人服务和临床科研提供了便利。但因不同医院之间所采取的医疗信息系统存在巨大差异，故而院内数据结构异质性大，无法实现各医院之间的数据共享，使得基于多中心的临床科研难以开展。因此需要一种数据结构标准化方法，将不同医院的医疗数据映射到同一个通用数据模型。现有技术方案[CN201410605173-基于异构系统数据映射模板的医疗数据采集系统及方法]由技术员访问医疗数据源，记录数据源中的数据结构，对照标准数据结构，创建或者复用数据结构映射模板执行数据结构映射任务。模板创建过程包括将目标表结构拆分成若干具有业务关联关系的字段，针对每个字段生成数据采集SQL脚本，创建采集合并SQL脚本将各字段进行组合即可得到目标数据结构。该方法的重点在于利用数据采集模板的约束实现数据的规范化采集。现有技术的缺点概括如下：1.数据结构映射处理需要频繁对数据库进行大量查询，现有技术方案直接对源数据库进行操作，增加源服务器的运行压力，影响正常业务活动。2.医疗数据有其本身固有的专业性和复杂性。单凭信息技术人员难以独立完成映射关系设计工作，需要具备医疗背景的非技术人员配合。但现有的映射关系设计手段不够直观，对非技术人员不友好，不利于技术人员和非技术人员双方的良好沟通合作。3.医疗数据存量大，对数据结构映射性能要求高，需要有针对性地对数据结构映射脚本进行优化。现有手段需要技术人员手动查询源数据库，了解数据分布情况，操作繁琐。4.现有技术方案未提供增量更新方案，或提供增量更新功能但在更新时需要对所有数据重新做数据结构映射处理，效率低下。
技术实现思路
本专利技术的目的在于针对现有技术的不足，提供一种基于通用数据模型的多中心医疗数据结构标准化系统。本专利技术的目的是通过以下技术方案来实现的：一种基于通用数据模型的多中心医疗数据结构标准化系统，该系统包括源数据库、缓存数据库、目标数据库、数据连接管理模块、数据结构扫描模块、映射构建单元、映射执行单元、增量更新单元和质量控制单元；所述源数据库为各医疗数据中心执行医疗业务流程的数据库；所述缓存数据库与目标数据库均部署于各医疗数据中心的专属前置服务器；所述缓存数据库用于存储该医疗数据中心源数据库的原始数据，作为缓存层将数据结构映射处理与源数据库隔离；所述目标数据库存储所属医疗数据中心通过数据结构映射关系及缓存数据进行数据结构映射后得到的符合通用数据模型数据结构的医疗数据；各医疗数据中心的目标数据库均与云端服务器连接，实现多中心医疗数据之间的协同分析；所述数据连接管理模块用于管理数据库访问所需信息，对访问源数据库、缓存数据库和目标数据库提供支持；所述数据结构扫描模块用于对源数据库和目标数据库的数据结构进行扫描，返回数据结构信息及字段统计信息报表；所述映射构建单元包括映射关系生成与设计模块和映射代码生成与修订模块；所述映射关系生成与设计模块生成初始数据结构映射关系，并展示可视化页面供用户完成数据结构映射关系的确认，确认完成之后由映射代码生成与修订模块生成数据结构映射脚本；所述映射执行单元包括数据缓存模块和映射处理模块；所述数据缓存模块将数据结构映射所需数据由源数据库迁移至缓存数据库建立缓存层，将数据结构映射处理与源数据库隔离，避免影响正常业务；所述映射处理模块在用户确认映射构建单元生成的数据结构映射脚本后，将数据从缓存数据库提取，执行数据结构映射并导入目标数据库；所述质量控制单元包括异常处理模块，所述异常处理模块用于记录映射处理模块处理过程中的异常信息；所述增量更新单元包括增量缓存模块和增量映射模块，所述增量缓存模块用于捕获源数据库中的数据变化，在缓存层中更新增量数据；所述增量映射模块用于对增量更新的数据进行数据结构标准化映射，将数据从缓存数据库提取，执行数据结构映射并导入目标数据库。进一步地，所述数据连接管理模块对访问数据库的支持包括：读取连接信息配置文件，根据数据库类型配置信息加载相应的数据库连接驱动，根据ip、账号、密码信息连接至数据库。进一步地，所述数据结构扫描模块中，所述数据结构信息包括表名、字段名、字段类型；所述字段统计信息包括字段行数、字段最大长度、字段取值范围、字段各取值的频数及占比；数据结构信息为建立结构映射关系提供支持；字段统计信息为映射性能优化提供支持；该模块利用结构化查询语言逐一对表进行查询，将查询结果汇总形成报表。进一步地，所述映射关系生成与设计模块：在得到扫描后的源数据库和目标数据库的数据结构后，根据预设的近义词字典，对字段名进行模糊匹配，生成初始数据结构映射关系，并展示可视化页面供用户完成数据结构映射关系的确认；所述可视化具体为：利用带有指向性的图形，反映表与表之间，字段与字段之间一对一关系、一对多关系、多对一关系；所述映射关系生成与设计模块支持文本注释及设计文档导出。进一步地，所述映射代码生成与修订模块：根据用户确认后的数据结构映射关系，按照代码框架生成数据结构映射脚本并保存，同时向用户提供修改数据结构映射脚本的权限。进一步地，所述数据缓存模块建立的缓存层在源数据结构的基础上添加修改时间字段，用以记录每条数据的最近修改时间；所述映射处理模块将映射脚本应用于缓存层，进行数据结构标准化映射，数据结构映射结果保存至目标数据库，并在日志中记录最近映射操作时间。进一步地，所述异常处理模块：当根据数据结构映射关系提取数据时出现包括“非空字段存在空值”，“数据长度超出范围”在内的错误时，拒绝这些数据的结构映射，并将这些错误记录到日志，错误数据记录至临时表，待用户确认删除或清洗处理。进一步地，所述增量缓存模块通过CDC技术捕获源数据库中的数据变化，在缓存层中更新增量数据，并在修改时间字段中记录修改时间。进一步地，所述增量映射模块将日志中的最近映射操作时间与缓存层中数据的修改时间进行对比，对修改时间晚于最近映射操作时间的数据进行映射；首先对缓存数据库中的增量数据结构和目标数据库结构进行扫描，若与存在于缓存数据库中的已有数据结构映射关系相同，则进行数据结构映射处理和质量控制；若与已有数据结构映射关系不符，则更新数据结构映射关系之后再进行数据结构映射处理和质量控制。进一步地，所述质量控制单元还包括质量评估模块，所述质量评估模块用于在映射处理模块映射处理完成后形成一份针对当次数据结构映射处理的质量评估报告。本专利技术的有益效果如下：本专利技术改进了医疗数据结构映射关系设计流程，有利于信息技术人员与医护人员协作，提高工作效率，具体如下：1、将数据结构映射所需数据由源数据库迁移至缓存数据库建立缓存层，将数据结构映射处理与源数据库隔离，避免影响正常业务；在缓存层上进行数据结构映射转换操作，将结果存至目标数据库。2、支持对多种类型的数据库进行自动化扫描，返回数据库内数据结构信息本文档来自技高网...

【技术保护点】
1.一种基于通用数据模型的多中心医疗数据结构标准化系统，其特征在于，该系统包括源数据库、缓存数据库、目标数据库、数据连接管理模块、数据结构扫描模块、映射构建单元、映射执行单元、增量更新单元和质量控制单元；所述源数据库为各医疗数据中心执行医疗业务流程的数据库；所述缓存数据库与目标数据库均部署于各医疗数据中心的专属前置服务器；所述缓存数据库用于存储该医疗数据中心源数据库的原始数据，作为缓存层将数据结构映射处理与源数据库隔离；所述目标数据库存储所属医疗数据中心通过数据结构映射关系及缓存数据进行数据结构映射后得到的符合通用数据模型数据结构的医疗数据；各医疗数据中心的目标数据库均与云端服务器连接，实现多中心医疗数据之间的协同分析；所述数据连接管理模块用于管理数据库访问所需信息，对访问源数据库、缓存数据库和目标数据库提供支持；所述数据结构扫描模块用于对源数据库和目标数据库的数据结构进行扫描，返回数据结构信息及字段统计信息报表；所述映射构建单元包括映射关系生成与设计模块和映射代码生成与修订模块；所述映射关系生成与设计模块生成初始数据结构映射关系，并展示可视化页面供用户完成数据结构映射关系的确认，确认完成之后由映射代码生成与修订模块生成数据结构映射脚本；所述映射执行单元包括数据缓存模块和映射处理模块；所述数据缓存模块将数据结构映射所需数据由源数据库迁移至缓存数据库建立缓存层，将数据结构映射处理与源数据库隔离，避免影响正常业务；所述映射处理模块在用户确认映射构建单元生成的数据结构映射脚本后，将数据从缓存数据库提取，执行数据结构映射并导入目标数据库；所述质量控制单元包括异常处理模块，所述异常处理模块用于记录映射处理模块处理过程中的异常信息；所述增量更新单元包括增量缓存模块和增量映射模块，所述增量缓存模块用于捕获源数据库中的数据变化，在缓存层中更新增量数据；所述增量映射模块用于对增量更新的数据进行数据结构标准化映射，将数据从缓存数据库提取，执行数据结构映射并导入目标数据库。...

【技术特征摘要】
1.一种基于通用数据模型的多中心医疗数据结构标准化系统，其特征在于，该系统包括源数据库、缓存数据库、目标数据库、数据连接管理模块、数据结构扫描模块、映射构建单元、映射执行单元、增量更新单元和质量控制单元；所述源数据库为各医疗数据中心执行医疗业务流程的数据库；所述缓存数据库与目标数据库均部署于各医疗数据中心的专属前置服务器；所述缓存数据库用于存储该医疗数据中心源数据库的原始数据，作为缓存层将数据结构映射处理与源数据库隔离；所述目标数据库存储所属医疗数据中心通过数据结构映射关系及缓存数据进行数据结构映射后得到的符合通用数据模型数据结构的医疗数据；各医疗数据中心的目标数据库均与云端服务器连接，实现多中心医疗数据之间的协同分析；所述数据连接管理模块用于管理数据库访问所需信息，对访问源数据库、缓存数据库和目标数据库提供支持；所述数据结构扫描模块用于对源数据库和目标数据库的数据结构进行扫描，返回数据结构信息及字段统计信息报表；所述映射构建单元包括映射关系生成与设计模块和映射代码生成与修订模块；所述映射关系生成与设计模块生成初始数据结构映射关系，并展示可视化页面供用户完成数据结构映射关系的确认，确认完成之后由映射代码生成与修订模块生成数据结构映射脚本；所述映射执行单元包括数据缓存模块和映射处理模块；所述数据缓存模块将数据结构映射所需数据由源数据库迁移至缓存数据库建立缓存层，将数据结构映射处理与源数据库隔离，避免影响正常业务；所述映射处理模块在用户确认映射构建单元生成的数据结构映射脚本后，将数据从缓存数据库提取，执行数据结构映射并导入目标数据库；所述质量控制单元包括异常处理模块，所述异常处理模块用于记录映射处理模块处理过程中的异常信息；所述增量更新单元包括增量缓存模块和增量映射模块，所述增量缓存模块用于捕获源数据库中的数据变化，在缓存层中更新增量数据；所述增量映射模块用于对增量更新的数据进行数据结构标准化映射，将数据从缓存数据库提取，执行数据结构映射并导入目标数据库。2.根据权利要求1所述的一种基于通用数据模型的多中心医疗数据结构标准化系统，其特征在于，所述数据连接管理模块对访问数据库的支持包括：读取连接信息配置文件，根据数据库类型配置信息加载相应的数据库连接驱动，根据ip、账号、密码信息连接至数据库。3.根据权利要求1所述的一种基于通用数据模型的多中心医疗数据结构标准化系统，其特征在于，所述数据结构扫描模块中，所述数据结构信息包括表名、字段名、字段类型；所述字段统计信息包括字段行数、字段最大长度、字段取值范围、字段各取值的频数及占比；数据结构信息为建立结构映射关系提供支持；字段统计信息为映射性能优化提...

【专利技术属性】
技术研发人员：李劲松，叶前呈，田雨，王执晓，陈伟国，
申请(专利权)人：之江实验室，
类型：发明
国别省市：浙江,33