【技术实现步骤摘要】
本专利技术涉及数据处理，具体涉及一种影像云数据共享方法和系统。
技术介绍
1、随着现代医学成像技术的快速发展,医学影像已经成为重要的辅助诊疗技术。医学影像云是以医学影像信息的云存储为数据基础，以医学影像云计算应用服务为核心，以虚拟化和大数据技术为支撑，通过云传输方式，为医疗机构、医疗保险部门、质控部门和被检者个人提供多种形式的、基于医学影像的在线云服务模式。
2、在医学影像云中，存在大量的医学影像相关的基础性数据，包括患者数据、医技人员数据、医疗设备数据、医疗机构数据、行政监管机构数据、影像检查模态字典、影像检查科室字典等等。上述基础性数据超越部门、超越流程、超越主题、超越系统；基础性数据经过清洗、加工和整合后形成医学影像云内的主数据。
3、为充分利用主数据资源，主数据的管理就尤为重要，因此，如何实时采集主数据并存储、以及针对性地共享分发主数据仍然是需要克服的问题。
技术实现思路
1、本专利技术的目的在于克服
技术介绍
中存在的上述缺陷或问题，第一方面，本申请提供一种影像云数据共享方法，应用于数据处理方包括
2、依据共享请求采集更新第一数据并连接数据湖表；
3、对所采集的所述第一数据进行预处理，以形成第二数据；
4、通过数据管理方法将预处理后的所述第二数据存储至数据湖中；
5、根据所述共享请求，基于消息队列中间件向数据需求方共享所述第二数据。
6、可选地，所述数据管理方法包括建立数据目录，以对所述数据湖
7、其中，所述第一数据为基础性数据，所述第二数据为医学影像主数据。
8、可选地，利用数据湖网关接收共享请求，所述数据湖网关通过分布式消息队列、api接口或jdbc接口接收所述共享请求；所述数据湖网关采用去中心化分布式架构，所述数据湖网关集群中的节点对等并对etl提供访问所述数据湖网关的sdk，采用zookeeper维护所述数据湖网关集群中的节点列表。
9、可选地，将预处理后的所述第二数据通过etl存储至数据湖的源端原始层；所述预处理包括，
10、使用适配器将采集更新的所述第一数据进行格式转换，以转换为数据湖表格式；
11、对重复性、相似性较多的数据或错误数据进行清洗删除，并对不完整数据进行补充填充；
12、对清洗后的数据标注，添加元数据信息，以描述医学影像主数据内容和来源。
13、可选地，所述数据湖表元数据的数据组织格式为json格式。
14、可选地，所述数据管理方法还包括所述数据管理方法还包括建立资源搜索，通过搜索引擎输入关键词或标签选择搜索定位医学影像主数据；配置医学影像主数据的访问权限、设定医学影像主数据的生命周期、统计医学影像主数据的使用情况，并建立所述医学影像主数据的备份和容灾。
15、可选地，消息队列中间件接收存储于所述数据湖内的所述第二数据，并将其数据路由给数据需求方；当所述数据需求方收到与所述共享请求匹配的所述第二数据时，消息队列中间件将此数据删除；当所述数据需求方接收所述第二数据发生故障时，消息队列中间件持续发送此数据或将此数据发送至错误队列。
16、可选地，配置数据路由权限，当接收所述共享请求时，动态匹配对应的权限策略，控制并确定所述数据需求方访问请求的数据范围；所述权限策略包括角色、属性标签和权限集合，所述属性标签用于描述或分类数据的敏感程度、数据类型，根据所述角色和所述属性标签配置对应的所述权限集合。
17、第二方面，本申请提供一种影像云数据共享系统，包括
18、采集模块，用于依据共享请求采集更新第一数据并连接数据湖表；
19、整合模块，用于对所采集的所述第一数据进行预处理，以形成第二数据；
20、存储模块，用于通过数据管理方法将预处理后的所述第二数据存储至数据湖中；所述数据管理方法包括建立数据目录，以对所述数据湖中的所述第二数据进行组织分类；建立数据标签，以对所述第二数据进行搜索和分类；元数据简化，对所述第二数据的冗余信息进行清理，所述元数据包括所述第二数据的基本信息；其中，所述第一数据为基础性数据，所述第二数据为医学影像主数据；
21、共享模块，用于根据所述共享请求，基于消息队列中间件向数据需求方共享所述第二数据。
22、第三方面，本申请提供一种电子设备，包括：处理器，以及与所述处理器通信连接的存储器；所述存储器存储计算机执行指令；所述处理器执行所述存储器存储的计算机执行指令，以实现如第一方面中任一项所述的方法。
23、第四方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如第一方面中任一项所述的方法。
24、综上所述，本申请提供一种影像云数据共享方法，通过采用数据湖网关接收共享请求，数据湖网关作为数据入湖的统一工作界面，将碎片化的入湖操作全部收敛到数据湖网关中统一处理，通过数据湖网关保障数据入湖的稳定性、高性能和数据入湖安全，解决了从不同数据源实时采集原始数据的问题，并以统一标准、格式进行存储，数据湖网关作为安全屏障，可以集中处理安全性问题，还提高了数据共享是实时性，同时还可以实施请求缓冲和限流策略，确保数据湖不会过载和崩溃；同时，向数据需求方共享数据时，各类数据动态更新，并保持一致性。
本文档来自技高网...【技术保护点】
1.一种影像云数据共享方法，其特征在于：应用于数据处理方包括
2.如权利要求1所述的影像云数据共享方法，其特征在于：所述数据管理方法包括：
3.如权利要求1所述的影像云数据共享方法，其特征在于：利用数据湖网关接收共享请求，所述数据湖网关通过分布式消息队列、API接口或JDBC接口接收所述共享请求；所述数据湖网关采用去中心化分布式架构，所述数据湖网关集群中的节点对等并对ETL提供访问所述数据湖网关的SDK，采用Zookeeper维护所述数据湖网关集群中的节点列表。
4.如权利要求1所述的影像云数据共享方法，其特征在于：将预处理后的所述第二数据通过ETL存储至数据湖的源端原始层；所述预处理包括，
5.如权利要求4所述的影像云数据共享方法，其特征在于：所述数据湖表元数据的数据组织格式为JSON格式。
6.如权利要求1所述的影像云数据共享方法，其特征在于：所述数据管理方法还包括所述数据管理方法还包括建立资源搜索，通过搜索引擎输入关键词或标签选择搜索定位医学影像主数据；配置医学影像主数据的访问权限、设定医学影像主数据的生命周期、统
7.如权利要求1所述的影像云数据共享方法，其特征在于：消息队列中间件接收存储于所述数据湖内的所述第二数据，并将其数据路由给数据需求方；当所述数据需求方收到与所述共享请求匹配的所述第二数据时，消息队列中间件将此数据删除；当所述数据需求方接收所述第二数据发生故障时，消息队列中间件持续发送此数据或将此数据发送至错误队列。
8.如权利要求7所述的影像云数据共享方法，其特征在于：配置数据路由权限，当接收所述共享请求时，动态匹配对应的权限策略，控制并确定所述数据需求方访问请求的数据范围；所述权限策略包括角色、属性标签和权限集合，所述属性标签用于描述或分类数据的敏感程度、数据类型，根据所述角色和所述属性标签配置对应的所述权限集合。
9.一种影像云数据共享系统，其特征在于：包括
10.一种电子设备，其特征在于，处理器，以及与所述处理器通信连接的存储器；所述存储器存储计算机执行指令；所述处理器执行所述存储器存储的计算机执行指令，以如权利要求1-8任一所述的影像云数据共享方法。
11.一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，能实现如权利要求1-8任一所述的影像云数据共享方法。
...【技术特征摘要】
1.一种影像云数据共享方法，其特征在于：应用于数据处理方包括
2.如权利要求1所述的影像云数据共享方法，其特征在于：所述数据管理方法包括：
3.如权利要求1所述的影像云数据共享方法，其特征在于：利用数据湖网关接收共享请求，所述数据湖网关通过分布式消息队列、api接口或jdbc接口接收所述共享请求；所述数据湖网关采用去中心化分布式架构，所述数据湖网关集群中的节点对等并对etl提供访问所述数据湖网关的sdk，采用zookeeper维护所述数据湖网关集群中的节点列表。
4.如权利要求1所述的影像云数据共享方法，其特征在于：将预处理后的所述第二数据通过etl存储至数据湖的源端原始层；所述预处理包括，
5.如权利要求4所述的影像云数据共享方法，其特征在于：所述数据湖表元数据的数据组织格式为json格式。
6.如权利要求1所述的影像云数据共享方法，其特征在于：所述数据管理方法还包括所述数据管理方法还包括建立资源搜索，通过搜索引擎输入关键词或标签选择搜索定位医学影像主数据；配置医学影像主数据的访问权限、设定医学影像主数据的生命周期、统计医学影像主数据的使用情况，并建立所述医学影像主数据的备份和容灾。
7...
【专利技术属性】
技术研发人员：郑军，徐辉，吴鹏，
申请(专利权)人：中电通商数字技术上海有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。