一种实现分布式异构数据共享的云平台及其数据共享方法技术

本发明专利技术涉及多源数据处理技术领域，具体涉及一种实现分布式异构数据共享的云平台及其数据共享方法。所述系统由共享数据云应用层、云共享数据服务层、系统桥接层和业务系统层组成；采用三层数据共享访问控制技术，数据拥有者利用运行在前置机中的适配器软件和云端运行的数据资源管理软件分别对共享数据的同步方式和共享方式进行设置，并通过设置一定的操作流程，对共享数据的交换进行二次确认的方法；同时，对共享的数据通过转换格式进行云端备份。本发明专利技术解决了异构数据的共享问题；可以应用于多源异构数据的共享处理上。

【技术实现步骤摘要】
一种实现分布式异构数据共享的云平台的数据共享方法
本专利技术涉及多源数据处理
，具体涉及一种实现分布式异构数据共享的云平台的数据共享方法。
技术介绍
当前，各电子政务应用平台都是各自建设，数据系统的实现方法和采用的标准均不统一，因此形成了一个个信息孤岛，为信息的共享和充分利用带来了极大的难度。当前发展是大数据时代，信息的融合和挖掘将为数据带来增量价值；因此迫切需要在保证数据安全的情况下，将各种数据汇集起来。由于应用的需求，各种信息交换系统随着建立起来，但由于不同的应用系统，所采用的数据不同，需要联合的各分系统也不同，导致一个分系统可能要连接很多数据交换系统，各数据交换系统间，又重新形成了新的信息孤岛。
技术实现思路
本发专利技术解决的技术问题在于提供一种实现分布式异构数据共享的云平台的数据共享方法，实现在充分保障用户对数据访问权限控制的情况下，对数据进行云端存储、格式转换；使得共享数据访问的安全性、高效性和数据交换接口的一致性均得到一定程度的保证。本专利技术解决上述技术问题的技术方案是：所述云平台由共享数据云应用层、云共享服务层、系统桥接层和业务系统层组成，所述的云共享服务层负责对共享数据库进行数据注册管理、数据标准检测、数据的转换管理、数据质量管理、数据分发管理和数据运行监控；负责对交换的数据进行云存储，及其相关管理；是系统的核心层，部署在云计算服务器上；所述的系统桥接层完成各分布式子系统与云中心共享系统间的数据交换，实现各分布式子系统与云中心共享系统间的数据一致性；包括前置机和安装在前置机上适配器；主要步骤是：1)为分布式异构系统布置前置机，前置机也可以由原系统中的某台空闲机器代替；2)在前置机上部署适配器软件，根据现有系统的数据提供方法，对适配器软件进行设置，并进行连通性测试；适配器软件除了包含保证数据通信和连通的设置外，还有数据更新方法，数据读、写、修改权限的设置，数据使用用户限制；3)利用数据共享云平台提供的数据接入账户，完成数据的接入工作；4)数据拥有者通过云端账户进行登陆，对共享的数据进行维护，重要的维护包括为数据分享指定用户、设置数据的分享方式；5)共享数据使用方，通过共享云平台账户进行登陆，查询到分享给自己的数据共享目录；对需要获取的共享数据向数据拥有者提出数据分享请求；6)数据拥有者对数据共享请求进行审核、确认，并设置共享权限有效时间范围；7)共享数据使用方在共享权限有效时间范围内应用共享数据。适配器支持的数据格式分为：关系数据库，包括Oracle、DB2、MSSQLServer、Sybase、MySQL主流数据库；非关系型数据源，包括文本文件、XML、Excel、消息；数据采集支持对各种异构数据的抽取，提供实时、定时，批量、增量的灵活抽取策略，支持多表联合抽取，并能够设置抽取过滤条件；可以对数据使用权限设置，包括读取权限、写入权限、删除权限、修改权限进行设置；可以对数据的使用指定用户，并指定使用权限；数据经过采集、加工、转换、传输一系列处理过程后，最终装载入库或以文件的形式保存在数据共享云平台共享库中；提供数据库数据装载和文件的目录存储两种数据装载机制；文件传输到中心后，文件的目录存储分为以文件方式继续保存，或者把文件数据解析装载入口；支持将数据装载到数据库，也支持将数据存储成相应的XML、Excel、文本、或二进制文件，也可以将数据转给其他应用系统。数据共享云平台基于数据访问控制权限数据和已同步的数据情况，进行数据访问；数据之间的交换采用消息中间件技术实现。所述的消息中间件处理是：消息由消息描述头和消息内容组成，消息描述头设计为:{优先级、消息类型、消息名称、接收队列名、目的节点名、生命周期、发送消息可靠性标识}；消息描述头为消息长度消息属性信息；消息内容为用户需要真正传输的数据信息，它的格式由该消息的提供者及接收者协商而定；消息内容包括字符流和文件两种消息格式，用户可根据应用系统的需要选择任何一种方式；用户使用字符流消息格式时，将消息的内容、标识、长度信息传递给消息中间件；用户使用文件消息时，将文件名和路径告知消息中间件即可，消息中间件将根据用户提交的文件名对文件内容进行处理和传输，最终提交到云存储空间中。所述的数据访问控制权限是具有时间有效性的三层数据共享权限控制机制，三层数据共享权限控制包括：数据出站权限控制、数据可使用用户权限分配，以及，数据使用方使用数据时，需要得到数据拥有者对数据访问权限的再次确认；数据访问权限的时间有效性是：数据拥有者对数据访问者申请数据访问请求进行确认时，对数据访问者数据访问有效时间范围进行设置，只有在规定的时间内，数据访问申请者对数据访问权限才有效，超出了数据访问权限控制时间，则访问权限自动消失；如果再需要访问数据，则需要重新进行访问权限的申请，并得到数据拥有者的权限确认过程。每个数据拥有者至少对应两个数据权限表，分别为本地数据出站控制表和云端数据访问控制表；并执行一次完整的数据访问权限请求确认过程；本地数据出站控制表由{共享的数据名、访问权限类别、数据交换方式}字段组成；其中共享的数据名指要共享的数据及其存储位置，访问权限类别包括{读取、写入、修改、删除}，数据交换方式包括{实时、定时、手动}；云端数据访问控制表由{共享的数据名、访问权限类别，共享用户列表、数据使用申请列表、数据使用确认信息、数据使用有效性时间}字段组成；其中共享的数据名指要共享的数据及其存储位置；访问权限类别指针对该共享数据，开放给数据使用者的访问权限{读取、写入、修改、删除}，该权限的开放程度不应高于数据出站控制表中针对该数据设置的访问权限；共享用户列表是指该数据由用户拥有者主动开放给的数据用户；数据使用申请列表是指对该数据要求访问的用户列表；数据使用者确认信息指数据拥有者对数据访问者的数据访问请求的确认情况{已确认、未确认、拒绝}；数据使用有效时间指数据访问申请者的申请，在得到数据拥有者可以访问确认的情况下，数据可以访问的时间段；并且，设定：1)其他数据共享用户只有在数据拥有者对其开放某项数据的访问权限的情况下，才能看到该数据的名称信息，进而才能提出数据访问申请；2)数据拥有者即使赋予某个其他数据共享用户设置了可以访问权限，其也仅能看到共享数据名，并不能真正的访问数据；如果要真正的访问数据，必须经过提出访问申请，数据拥有者对数据申请进行确认的过程；然后，按如下步骤进行数据访问权限请求确认:用户利用适配器软件，配置用户数据共享权限，形成数据出站控制表，该表存储在前置机中；适配器软件按照数据拥有者用数据权限表数据存取策略，将数据同步到云端数据共享中心；数据云端共享中心经过对数据的转换处理，存放在用户私人存储空间中；此时的数据存放态势根据云端的数据要求会发生变化；数据拥有者登录云端个人分享维护系统，对自己分享的数据进行权限维护，包括数据分享的人员，形成云端数据访问控制表；其他数据访问者依照云端数据访问控制表，获取自己可以访问的共享数据项；其他数据访问者如果需要访问该数据的具体内容，则需要向数据拥有者提交数据访问申请；数据拥有者审核数据访问请求，然后确认并分配权限，分配数据的访问权限具有时间特性，只有在有效的时间范围内，数据访问才有效，否则就无效；数据访问者在数据访问权限有本文档来自技高网...

【技术保护点】
一种实现分布式异构数据共享的云平台，其特征在于：所述系统由共享数据云应用层、云共享数据服务层、系统桥接层和业务系统层组成，所述的云共享服务层负责对共享数据库进行数据注册管理、数据标准检测、数据的转换管理、数据质量管理、数据分发管理和数据运行监控；负责对交换的数据进行云存储，及其相关管理；是系统的核心层，部署在云计算服务器上；所述的系统桥接层完成各分布式子系统与云中心共享系统间的数据交换，实现各分布式子系统与云中心共享系统间的数据一致性；包括前置机和安装在前置机上适配器；其中前置机也可以由原有的系统硬件代替。

【技术特征摘要】
1.一种实现分布式异构数据共享的云平台的数据共享方法，所述云平台由共享数据云应用层、云共享服务层、系统桥接层和业务系统层组成，所述的云共享服务层负责对共享数据库进行数据注册管理、数据标准检测、数据的转换管理、数据质量管理、数据分发管理和数据运行监控；负责对交换的数据进行云存储，及其相关管理；是系统的核心层，部署在云计算服务器上；所述的系统桥接层完成各分布式子系统与云中心共享系统间的数据交换，实现各分布式子系统与云中心共享系统间的数据一致性；包括前置机和安装在前置机上适配器；主要步骤是：1)为分布式异构系统布置前置机，前置机也可以由原系统中的某台空闲机器代替；2)在前置机上部署适配器软件，根据现有系统的数据提供方法，对适配器软件进行设置，并进行连通性测试；适配器软件除了包含保证数据通信和连通的设置外，还有数据更新方法，数据读、写、修改权限的设置，数据使用用户限制；3)利用数据共享云平台提供的数据接入账户，完成数据的接入工作；4)数据拥有者通过云端账户进行登陆，对共享的数据进行维护，重要的维护包括为数据分享指定用户、设置数据的分享方式；5)共享数据使用方，通过共享云平台账户进行登陆，查询到分享给自己的数据共享目录；对需要获取的共享数据向数据拥有者提出数据分享请求；6)数据拥有者对数据共享请求进行审核、确认，并设置共享权限有效时间范围；7)共享数据使用方在共享权限有效时间范围内应用共享数据。2.根据权利要求1所述的数据共享方法，其特征在于：适配器支持的数据格式分为：关系数据库，包括Oracle、DB2、MSSQLServer、Sybase、MySQL主流数据库；非关系型数据源，包括文本文件、XML、Excel、消息；数据采集支持对各种异构数据的抽取，提供实时、定时，批量、增量的灵活抽取策略，支持多表联合抽取，并能够设置抽取过滤条件；可以对数据使用权限设置，包括读取权限、写入权限、删除权限、修改权限进行设置；可以对数据的使用指定用户，并指定使用权限；数据经过采集、加工、转换、传输一系列处理过程后，最终装载入库或以文件的形式保存在数据共享云平台共享库中；提供数据库数据装载和文件的目录存储两种数据装载机制；文件传输到中心后，文件的目录存储分为以文件方式继续保存，或者把文件数据解析装载入口；支持将数据装载到数据库，也支持将数据存储成相应的XML、Excel、文本、或二进制文件，也可以将数据转给其他应用系统。3.根据权利要求1或2所述的数据共享方法，其特征在于：数据共享云平台基于数据访问控制权限数据和已同步的数据情况，进行数据访问；数据之间的交换采用消息中间件技术实现。4.根据权利要求3所述的数据共享方法，其特征在于：所述的消息中间件处理是：消息由消息描述头和消息内容组成，消息描述头设计为:{优先级、消息类型、消息名称、接收队列名、目的节点名、生命周期、发送消息可靠性标识}；消息描述头为消息长度消息属性信息；消息内容为用户需要真正传输的数据信息，它的格式由该消息的提供者及接收者协商而定；消息内容包括字符流和文件两种消息格式，用户可根据应用系统的需要选择任何一种方式；用户使用字符流消息格式时，将消息的内容、标识、长度信息传递给消息中间件；用户使用文件消息时，将文件名和路径告知消息中间件即可，消息中间件将根据用户提交的文件名对文件内容进行处理和传输，最终提交到云存储空间中。5.根据权利要求3所述的数据共享方法，其特征在于：所述的数据访问控制权限是具有时间有效性的三层数据共享权限控制机制，三层数据共享权限控制包括：数据出站权限控制、数据可使用用户权限分配，以及，数据使用方使用数据时，需要得到数据拥有者对数据访问权限的再次确认；数据访问权限的时间有效性是：数据拥有者对数据访问者申请数据访问请求进行确认时，对数据访问者数据访问有效时间范围进行设置，只有在规定的时间内，数据访问申请者对数据访问权限才有效，超出了数据访问权限控制时间，则访问权限自动消失；如果再需要访问数据，则需要重新进行访问权限的申请，并得到数据拥有者的权限确认过程。6.根据权利要求4所述的数据共享方法，其特征在于：所述的数据访问控制权限是具有时间有效性的三层数据共享权限控制机制，三层数据共享权限控制包括：数据出站权限控制、数据可使用用户权限分配，以及，数据使用方使用数据时，需要得到数据拥有者对数据访问权限的再次确认；数据访问权限的时间有效性是：数据拥有者对数据访问者申请数据访问请求进行确认时，对数据访问者数据访问有效时间范围进行设置，只有在规定的时间内，数据访问申请者对数据访问权限才有效，超出了数据访问权限控制时间，则访问权限自动消失；如果再需要访问数据，则需要重新进行访问权限的申请，并得到数据拥有者的权限确认过程。7.根据权利要求5所述的数据共享方法，其特征在于：每个数据拥有者至少对应两个数据权限表，分别为本地数据出站控制表和云端数据访问控制表；并执行一次完整的数据访问权限请求确...

【专利技术属性】
技术研发人员：韩宏哲，李新安，李智勇，赵锋伟，温志强，
申请(专利权)人：东莞中国科学院云计算产业技术创新与育成中心，
类型：发明
国别省市：