一种基于数据湖的云边协同医疗数据管理方法及平台技术

本发明专利技术公开一种基于数据湖的云边协同医疗数据管理方法及平台，所述方法应用于医疗数据管理平台，平台包括边缘云以及中心云，边缘云和中心云通信连接，方法包括：采集医疗数据，并将医疗数据发送至边缘云或中心云进行数据存储；边缘云以及中心云对医疗数据进行数据治理；中心云根据医疗数据训练数据分析模型，并将训练好的数据分析模型下发至边缘云，边缘云利用训练好的数据分析模型对医疗数据进行数据分析；边缘云以及中心云均采用数据湖技术进行数据存储。本发明专利技术构建云边协同机制，共同对医疗数据进行管理，既保证算力和存储的要求，又能满足时延及安全要求，且使用数据湖技术存储数据，可容纳繁杂的医疗数据，保障医疗数据的全面性和完整性。的全面性和完整性。的全面性和完整性。

【技术实现步骤摘要】
一种基于数据湖的云边协同医疗数据管理方法及平台


[0001]本专利技术涉及医疗信息
，更具体地，涉及一种基于数据湖的云边协同医疗数据管理方法及平台。

技术介绍

[0002]医疗系统中产生的各类医疗数据，对疾病的诊断、治疗及科研起着决定性的作用，具有极其重要的数据价值，因此亟需对医疗数据进行有效管理与规范。目前，随着科学技术的快速发展，医疗机构正在逐步完成向信息化的转变，使用大数据技术搭建医疗数据管理平台，收集不同数据源的数据，对数据进行治理、分析，挖掘潜在数据价值，从而为管理者提供各项业务的管理分析结果，促进医院管理决策科学化、精细化，辅助医院业务正常运行。
[0003]然而，现有的医疗数据管理平台，存在许多问题：
[0004]1、现有平台涉及的数据存储技术，大多仅支持结构化数据的存储与管理，而医疗数据种类繁杂，不仅包括结构化数据，还包括大量非结构化和半结构化数据，现有平台无法直接对该类医疗数据进行存储，故将无法保障医疗数据的全面性与完整性；
[0005]2、现有平台一般需将医疗数据统一传输至数据中心云平台进行存储与处理，而云平台与各医疗系统及用户端间存在一定距离，故在进行数据传输或访问时，数据响应效率慢，数据传输时延高。

技术实现思路

[0006]本专利技术旨在克服上述现有技术的至少一种缺陷(不足)，提供一种基于数据湖的云边协同医疗数据管理方法及平台，用于解决现有技术无法保障医疗数据的全面性与完整性，以及数据响应效率慢、传输时延高的问题。
[0007]本专利技术采取的技术方案是，一种基于数据湖的云边协同医疗数据管理方法，应用于云边协同医疗数据管理平台，所述云边协同医疗数据管理平台包括边缘云以及中心云，所述边缘云和中心云通信连接，方法包括：
[0008]采集医疗数据，并将所述医疗数据发送至所述边缘云或中心云进行数据存储；
[0009]所述边缘云以及中心云对所述医疗数据进行数据治理；
[0010]所述中心云利用所述医疗数据训练数据分析模型，并将训练好的数据分析模型下发至所述边缘云，所述边缘云利用训练好的数据分析模型对所述医疗数据进行数据分析；
[0011]所述边缘云以及中心云均采用数据湖技术对所述医疗数据进行数据存储。
[0012]本专利技术中，除了设置中心云之外，还设置了边缘云，构建云边协同机制，使用边缘云以及中心云共同对医疗数据进行管理。其中，边缘云为靠近数据源或用户端一侧执行边缘运算的云平台，可以提供就近的数据服务，以产生更快的网络服务响应，从而降低数据传输时延，而中心云为位于整个数据中心提供云计算的中心云平台，具有高算力以及大容量数据存储空间。本专利技术中，可以依据数据访问的频率以及访问响应时间的要求，对数据进行分级分类提供冷热数据分层，对访问频率高的数据(比如：近一周的患者电子病历数据和检
查检验数据)和对数据访问速度要求较高的数据(比如：近一周的影像、病理数据和结果数据集合)存储在边缘云，可迅速将数据下沉到用户侧进行访问，从而减少网络延迟对数据处理和访问的影响。此外，通过边缘云机制，数据经过基站到达网关，网关有分流数据的功能，访问专网MEC应用系统的数据分流到专网，这种专网组网方式保障了数据不出院区，同时减少公网对专网的攻击风险，从而加强医疗边缘云的安全性。而全量数据存储至中心云，用于高算力运算和大容量数据存储。因此，通过云边协同机制既能保证医疗数据管理的算力和存储的要求，又能满足数据应用和呈现的时延需求及数据安全要求。
[0013]同时，本专利技术中，边缘云以及中心云采用数据湖技术对医疗数据进行存储，数据湖是一个集中式存储数据库，能够原样存储结构化数据(如关系型数据库中的表)，半结构化数据(如CSV、日志、XML、JSON)，非结构化数据(如电子邮件、文档、PDF)和二进制数据(如图形、音频、视频)，而无需事先对数据进行结构化处理，可有效存储各类医疗数据，保障医疗数据的全面性和完整性。
[0014]进一步的，采集医疗数据，并将所述医疗数据发送至所述边缘云或中心云进行数据存储，具体包括：
[0015]采集医疗数据，当所述医疗数据为大容量文件时，利用切片机制，对所述医疗数据进行文件切分，得到若干切片文件，并将所述若干切片文件并发传输至所述边缘云或中心云进行拼接，将拼接后的文件进行数据存储；
[0016]当所述医疗数据为小容量文件时，利用合并机制，对若干所述医疗数据进行数据合并，得到合并后的文件，将所述合并后的文件发送至所述边缘云或中心云进行数据存储。
[0017]本专利技术中，在进行数据存储时，当数据为大容量文件时，可以利用切片机制形成若干切片文件并行进行任务传输处理，可有效的降低数据传输量和提高数据读写效率，从而提高数据入湖和数据调阅的效率；而当数据为小容量文件时，可以利用合并机制，将小文件合并成大文件，通过减少文件数量来提升元数据的访问和查询效率，减少文件读写的I/O操作次数，可大大提高数据处理效率，节约数据传输的时间。
[0018]进一步的，所述边缘云以及中心云均采用数据湖技术对所述医疗数据进行数据存储，具体包括：
[0019]所述边缘云以及中心云均以Hadoop分布式集群为底座，采用集群异构方式，搭建Hive、MPP数据仓库和Hudi数据湖集群，形成湖仓一体架构，对所述医疗数据进行数据存储。
[0020]本专利技术中，采用集群异构方式，提供基于数据湖的弹性分布式存储层和分布式存储数据仓库，数据湖具备统一的存储系统、存储原始数据、丰富的计算模型等优势，而数仓具备了内置的存储系统，丰富的ETL过程，强调建模和数据管理，有效建设丰富的数据多样性存储层，容纳繁杂的医疗信息数据，可支撑医疗信息的结构化、非结构化和半结构化数据。
[0021]进一步的，所述边缘云以及中心云对所述医疗数据进行数据治理，具体包括：
[0022]所述边缘云以及中心云搭建统一的元数据管理系统，所述元数据管理系统提供数据血缘、数据索引、数据版本和数据路由功能。
[0023]进一步的，所述边缘云以及中心云对所述医疗数据进行数据治理，还包括：
[0024]所述边缘云以及中心云集成标准Sql、离线计算、实时计算、MPP分析和可视化计算引擎，通过所述元数据管理系统的数据服务支撑，获取目标数据位置，进行跨平台计算。
[0025]进一步的，所述边缘云以及中心云对所述医疗数据进行数据治理，还包括：
[0026]所述边缘云以及中心云集成封装消息发布系统，支撑kafka的数据订阅模式，统一数据发布路径。
[0027]进一步的，所述边缘云以及中心云对所述医疗数据进行数据治理，还包括：
[0028]所述边缘云以及中心云集成数据安全、数据质控、数据开发、模型设计、数据标签、任务编排、图形化、可视化模块；
[0029]所述数据质控模块集成kerberos，采用票据鉴权模式，全流程管控数据权限和安全，对所述医疗数据进行数据质控；
[0030]所述数据开发模块搭载离线、实时和AI能力，挖掘医本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于数据湖的云边协同医疗数据管理方法，其特征在于，应用于云边协同医疗数据管理平台，所述云边协同医疗数据管理平台包括边缘云以及中心云，所述边缘云和中心云通信连接，方法包括：采集医疗数据，并将所述医疗数据发送至所述边缘云或中心云进行数据存储；所述边缘云以及中心云对所述医疗数据进行数据治理；所述中心云根据所述医疗数据训练数据分析模型，并将训练好的数据分析模型下发至所述边缘云，所述边缘云利用训练好的数据分析模型对所述医疗数据进行数据分析；所述边缘云以及中心云均采用数据湖技术对所述医疗数据进行数据存储。2.根据权利要求1所述的一种基于数据湖的云边协同医疗数据管理方法，其特征在于，采集医疗数据，并将所述医疗数据发送至所述边缘云或中心云进行数据存储，具体包括：采集医疗数据，当所述医疗数据为大容量文件时，利用切片机制，对所述医疗数据进行文件切分，得到若干切片文件，并将所述若干切片文件并发传输至所述边缘云或中心云进行拼接，将拼接后的文件进行数据存储；当所述医疗数据为小容量文件时，利用合并机制，对若干所述医疗数据进行数据合并，得到合并后的文件，将所述合并后的文件发送至所述边缘云或中心云进行数据存储。3.根据权利要求1所述的一种基于数据湖技术的云边协同医疗数据管理方法，其特征在于，所述边缘云以及中心云均采用数据湖技术对所述医疗数据进行数据存储，具体包括：所述边缘云以及中心云均以Hadoop分布式集群为底座，采用集群异构方式，搭建Hive、MPP数据仓库和Hudi数据湖集群，形成湖仓一体架构，对所述医疗数据进行数据存储。4.根据权利要求1所述的一种基于数据湖技术的云边协同医疗数据管理方法，其特征在于，所述边缘云以及中心云对所述医疗数据进行数据治理，具体包括：所述边缘云以及中心云搭建统一的元数据管理系统，所述元数据管理系统提供数据血缘、数据索引、数据版本和数据路由功能。5.根据权利要求4所述的一种基于数据湖技术的云边协同医疗数据管理方法，其特征在于，所述边缘云以及中心云对所述医疗数据进行数据治理，还包括：所述边缘云以及中心云集成...

【专利技术属性】
技术研发人员：刘子锋，高伟，邱述洪，岳强，郑宇浩，吴诗韵，李永宏，洪驹发，方莹，覃琳，胡泽康，鄞乐炜，师雯琦，陈强，
申请(专利权)人：中山大学附属第三医院，
类型：发明
国别省市：