【技术实现步骤摘要】
本专利技术属于医疗数据处理，具体涉及一种基于超算平台的医疗数据并行集成处理方法及系统。
技术介绍
1、电子健康记录(ehr)存储了患者的体检报告、处方以及诊断记录等的信息，ehr的出现促进了数据提取和数据处理的方法发展。
2、传统技术中，现有her数据提取技术没有包含并行化的问题，导致数据提取等待期长，多核cpu利用率低；并且大型数据库操作复杂性高，计算机基础薄弱的研究人员难以使用，进一步导致庞大复杂的多模态医疗数据库提取和整合的低效性。
技术实现思路
1、为此，本专利技术提供一种基于超算平台的医疗数据并行集成处理方法及系统，解决传统技术数据提取等待期长，多核cpu利用率低，专业度要求高及处理效率低的问题。
2、为了实现上述目的，本专利技术提供如下技术方案：基于超算平台的医疗数据并行集成处理方法，包括：
3、调用交互模块通过web用户界面或sdk组件获取用户的任务需求数据，将获取的任务需求数据发送到通信模块；
4、调用通信模块接收所述交互模块发送的任务需求数据，采用任务管理组件对接收的任务需求数据进行解码以转换为任务指令；将转换的任务指令采用负载均衡的方式分配到提取模块；
5、调用提取模块接收所述通信模块发送的任务指令，利用分布式内存数据库检索任务指令对应的任务需求数据，并对检索后的任务需求数据进行集成操作；
6、当提取模块完成任务需求数据的提取和集成后，通过所述通信模块中的数据中继组件定时轮询以获得返回结果，
7、作为基于超算平台的医疗数据并行集成处理方法优选方案，调用交互模块通过web用户界面或sdk组件获取用户的任务需求数据过程中：
8、将用户在web用户界面或sdk组件填写的病患姓名，项目id，涉及的静态变量，时间序列信息作为输入的任务需求数据进行提交；
9、当完成任务需求数据提取后，跳转到提取完成界面，并通过提取完成界面供用户下载对应任务需求数据的提取结果。
10、作为基于超算平台的医疗数据并行集成处理方法优选方案，所述通信模块的控制进程组件，通过mpi中的集体通信方式将任务分配到指定提取进程上，提取进程完成数据提取和集成后得到提取结果，所述控制进程组件通过轮询的方式从指定提取进程中获取对应的提取结果。
11、作为基于超算平台的医疗数据并行集成处理方法优选方案，通过所述通信模块中的数据中继组件定时轮询以获得返回结果包括以下步骤：
12、根据任务需求数据从内存数据库查询所有数据，缓存病历id的所有原始数据；
13、将病历id的所有原始数据作为所述通信模块的数据集成组件的输入，所述通信模块的数据集成组件对输入的原始数据进行处理，处理方式包括计算检查项的时间差、处理静态变量、处理时间序列变量、计算药品的有效时间和处理医生的注释信息；
14、将处理完成后的数据插入到指定的观测点，将放入指定观测点的数据最终形成多模态的时间序列数据表。
15、作为基于超算平台的医疗数据并行集成处理方法优选方案，所述内存数据库由结构化数据、半结构化数据及非结构化数据所构成的多模态数据集；将多模态数据集中的结构化数据、半结构化数据及非结构化数据对齐后采用数据碎片化的方式将数据分片并存储到超算集群上；
16、所述内存数据库构建过程中，利用提取id过滤当前进程所需的数据，并将匹配id的表进行合并，将对应表的索引存储在哈希表中。
17、本专利技术还提供一种基于超算平台的医疗数据并行集成处理系统，包括：
18、交互模块，用于通过web用户界面或sdk组件获取用户的任务需求数据，将获取的任务需求数据发送到通信模块；
19、通信模块，用于接收所述交互模块发送的任务需求数据，采用任务管理组件对接收的任务需求数据进行解码以转换为任务指令；将转换的任务指令采用负载均衡的方式分配到提取模块；
20、提取模块，用于接收所述通信模块发送的任务指令，利用分布式内存数据库检索任务指令对应的任务需求数据，并对检索后的任务需求数据进行集成操作；
21、检索模块，用于当提取模块完成任务需求数据的提取和集成后，通过所述通信模块中的数据中继组件定时轮询以获得返回结果，并将返回结果以文件或数据流的形式返回给用户。
22、作为基于超算平台的医疗数据并行集成处理系统优选方案，所述交互模块中：
23、将用户在web用户界面或sdk组件填写的病患姓名，项目id，涉及的静态变量，时间序列信息作为输入的任务需求数据进行提交；
24、当完成任务需求数据提取后，跳转到提取完成界面，并通过提取完成界面供用户下载对应任务需求数据的提取结果。
25、作为基于超算平台的医疗数据并行集成处理系统优选方案，所述通信模块包括控制进程组件，所述控制进程组件通过mpi中的集体通信方式将任务分配到指定提取进程上，提取进程完成数据提取和集成后得到提取结果，所述控制进程组件通过轮询的方式从指定提取进程中获取对应的提取结果。
26、作为基于超算平台的医疗数据并行集成处理系统优选方案，所述提取模块中：
27、根据任务需求数据从内存数据库查询所有数据，缓存病历id的所有原始数据；
28、将病历id的所有原始数据作为所述通信模块的数据集成组件的输入，所述通信模块的数据集成组件对输入的原始数据进行处理，处理方式包括计算检查项的时间差、处理静态变量、处理时间序列变量、计算药品的有效时间和处理医生的注释信息；
29、将处理完成后的数据插入到指定的观测点，将放入指定观测点的数据最终形成多模态的时间序列数据表。
30、作为基于超算平台的医疗数据并行集成处理系统优选方案，所述内存数据库由结构化数据、半结构化数据及非结构化数据所构成的多模态数据集；将多模态数据集中的结构化数据、半结构化数据及非结构化数据对齐后采用数据碎片化的方式将数据分片并存储到超算集群上；
31、所述内存数据库构建过程中，利用提取id过滤当前进程所需的数据，并将匹配id的表进行合并，将对应表的索引存储在哈希表中。
32、本专利技术具有如下优点：调用交互模块通过web用户界面或sdk组件获取用户的任务需求数据，将获取的任务需求数据发送到通信模块；调用通信模块接收所述交互模块发送的任务需求数据，采用任务管理组件对接收的任务需求数据进行解码以转换为任务指令；将转换的任务指令采用负载均衡的方式分配到提取模块；调用提取模块接收所述通信模块发送的任务指令，利用分布式内存数据库检索任务指令对应的任务需求数据，并对检索后的任务需求数据进行集成操作；当提取模块完成任务需求数据的提取和集成后，通过所述通信模块中的数据中继组件定时轮询以获得返回结果，并将返回结果以文件或数据流的形式返回给用户。本专利技术可有效地提高数据提取和集成的处理速度，特别是针对大型的多模态医疗数据集；可以匹配并行化本文档来自技高网...
【技术保护点】
1.基于超算平台的医疗数据并行集成处理方法，其特征在于，包括：
2.根据权利要求1所述的基于超算平台的医疗数据并行集成处理方法，其特征在于，调用交互模块通过WEB用户界面或SDK组件获取用户的任务需求数据过程中：
3.根据权利要求1所述的基于超算平台的医疗数据并行集成处理方法，其特征在于，所述通信模块的控制进程组件，通过MPI中的集体通信方式将任务分配到指定提取进程上，提取进程完成数据提取和集成后得到提取结果，所述控制进程组件通过轮询的方式从指定提取进程中获取对应的提取结果。
4.根据权利要求1所述的基于超算平台的医疗数据并行集成处理方法，其特征在于，通过所述通信模块中的数据中继组件定时轮询以获得返回结果包括以下步骤：
5.根据权利要求4所述的基于超算平台的医疗数据并行集成处理方法，其特征在于，所述内存数据库由结构化数据、半结构化数据及非结构化数据所构成的多模态数据集；将多模态数据集中的结构化数据、半结构化数据及非结构化数据对齐后采用数据碎片化的方式将数据分片并存储到超算集群上；
6.基于超算平台的医疗数据并行集成处理系
7.根据权利要求6所述的基于超算平台的医疗数据并行集成处理系统，其特征在于，所述交互模块中：
8.根据权利要求6所述的基于超算平台的医疗数据并行集成处理系统，其特征在于，所述通信模块包括控制进程组件，所述控制进程组件通过MPI中的集体通信方式将任务分配到指定提取进程上，提取进程完成数据提取和集成后得到提取结果，所述控制进程组件通过轮询的方式从指定提取进程中获取对应的提取结果。
9.根据权利要求6所述的基于超算平台的医疗数据并行集成处理系统，其特征在于，所述提取模块中：
10.根据权利要求9所述的基于超算平台的医疗数据并行集成处理系统，其特征在于，所述内存数据库由结构化数据、半结构化数据及非结构化数据所构成的多模态数据集；将多模态数据集中的结构化数据、半结构化数据及非结构化数据对齐后采用数据碎片化的方式将数据分片并存储到超算集群上；
...【技术特征摘要】
1.基于超算平台的医疗数据并行集成处理方法，其特征在于，包括：
2.根据权利要求1所述的基于超算平台的医疗数据并行集成处理方法，其特征在于，调用交互模块通过web用户界面或sdk组件获取用户的任务需求数据过程中：
3.根据权利要求1所述的基于超算平台的医疗数据并行集成处理方法，其特征在于，所述通信模块的控制进程组件，通过mpi中的集体通信方式将任务分配到指定提取进程上，提取进程完成数据提取和集成后得到提取结果，所述控制进程组件通过轮询的方式从指定提取进程中获取对应的提取结果。
4.根据权利要求1所述的基于超算平台的医疗数据并行集成处理方法，其特征在于，通过所述通信模块中的数据中继组件定时轮询以获得返回结果包括以下步骤：
5.根据权利要求4所述的基于超算平台的医疗数据并行集成处理方法，其特征在于，所述内存数据库由结构化数据、半结构化数据及非结构化数据所构成的多模态数据集；将多模态数据集中的结构化数据、半结构化数据及非结构化数据对齐后采用数据碎片化...
【专利技术属性】
技术研发人员：彭绍亮，窦钰涛，郑杨涛，刘达政，潘良睿，许建邦，邹海涛，
申请(专利权)人：湖南大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。