基于大数据的数据共享交换系统与方法技术方案

本发明专利技术提供了一种基于大数据的数据共享交换方法，包含以下步骤：数据共享步骤：在门户端定义数据共享服务与申请数据共享服务实例，根据用户输入参数进行事件处理；数据交换步骤：在门户端定义数据交换服务与申请数据交换服务实例，根据用户输入参数进行事件处理。相应地，本发明专利技术还提供了一种基于大数据的数据共享交换系统。本发明专利技术同时提供了数据共享功能的服务与数据交换功能的服务，同时可以将各类型异构服务按照统一的方式集成，并且通过一致的方式对外发布，降低集成成本。

【技术实现步骤摘要】
基于大数据的数据共享交换系统与方法
本专利技术涉及大数据领域、数据共享交换领域以及云服务领域，具体地，涉及一种基于大数据的数据共享交换系统与方法。
技术介绍
大数据指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据共享合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。云服务是基于互联网的相关服务的增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。云是网络、互联网的一种比喻说法。过去往往用云来表示电信网，后来也用来表示互联网和底层基础设施的抽象。云服务指通过网络以按需、易扩展的方式获得所需服务。这种服务可以是IT和软件、互联网相关，也可是其他服务。它意味着计算能力也可作为一种商品通过互联网进行流通。随着社会的发展，人们对数据的查询获求越来越大，数据共享交换是人们迫切需要的。专利文献CN102006245B公开了一种数据交换和共享平台，包括：数据服务总线：使用消息机制来完成异构系统和跨网络的应用之间的协作；所述数据服务总线包括：消息服务端点：把应用通过接口连接到数据服务总线来发送和接收消息，使数据本文档来自技高网...

【技术保护点】
1.一种基于大数据的数据共享交换方法，其特征在于，包含以下步骤：数据共享步骤：在门户端定义数据共享服务与申请数据共享服务实例，根据用户输入参数进行事件处理；数据交换步骤：在门户端定义数据交换服务与申请数据交换服务实例，根据用户输入参数进行事件处理。

【技术特征摘要】
1.一种基于大数据的数据共享交换方法，其特征在于，包含以下步骤：数据共享步骤：在门户端定义数据共享服务与申请数据共享服务实例，根据用户输入参数进行事件处理；数据交换步骤：在门户端定义数据交换服务与申请数据交换服务实例，根据用户输入参数进行事件处理。2.根据权利要求1所述的基于大数据的数据共享交换方法，其特征在于，所述数据共享步骤包含以下步骤：步骤S1：在门户端定义数据共享服务，定义规格，所述规格包含以下任一个或任多个信息：--数据源；--数据库；--表；--列；步骤S2：在门户端申请数据共享服务实例，所述数据共享服务实例包含以下任一个或任多个内容：--选择多个规格中任一个规格的子规格；--填写查询SQL的条件；--填写查询SQL的条数；步骤S3：门户根据Isv提供的接入地址，处理事件；所述步骤S3包含以下步骤：步骤S3.1：申请事件：Isv根据输入参数生成能够供用户下载的cav文件，并上传至HDFS；步骤S3.2：回收事件：Isv将HDFS上的文件删除，返回给用户反应回收成功的信息；所述步骤S3还包含以下步骤：查询事件步骤：Isv重复执行Isv根据输入参数生成能够供用户下载的cav文件，并上传至HDFS的步骤，将HDFS上存储的在先文件删除，返回给用户反应查询成功的信息。3.根据权利要求2所述的基于大数据的数据共享交换方法，其特征在于，所述步骤S3.1包含以下任一个或全部步骤：--步骤S3.1.1：Isv根据输入参数，组装SQL到对应的大数据，查询所有数据共享中的数据，将查询到的数据写入一个csv文件并上传至HDFS，然后返回给用户上传给HDFS的文件下载地址以及查询到的数据部分给用户用于预览，实例申请成功后，用户能够在对用的数据共享服务实例详情中看到用户预览数据与能够下载的csv文件；--步骤S3.1.2：对Isv根据输入参数到大数据查询JDBC的信息与Isv根据自身组装好的SQL进行自身分页查询数据共享的信息，进行每页数据写一个csv文件的操作，每个文件有个下载地址，将HDFS的文件集下载地址以及查询到的数据部分给用户进行预览，实例申请成功后，用户能够在对用的数据共享服务实例详情中看到用户预览数据与能够下载的csv文件。4.根据权利要求1所述的基于大数据的数据共享交换方法，其特征在于，所述数据交换步骤包含以下步骤：步骤E1：在门户端定义数据共享服务，定义规格，所述规格包含以下任一个或任多个信息：--来源的数据源；--来源的数据库；--来源的表；--来源的列；--目标的数据源；--目标的数据库；--目标的表；步骤E2：在门户端申请数据交换服务实例，所述数据交换服务实例包含以下任一个或任多个内容：--选择多个规格中任一个规格的子规格；--填写查询SQL的条件；--填写查询SQL的条数；步骤E3：门户根据Isv提供的接入地址，处理事件；所述步骤E3包含以下步骤：步骤E3.1：申请事件：Isv根据输入参数，组装SQL到对应的大数据，查询所有数据并给到指定的数据库，返回作业相关信息给用户用于预览，实例申请成功后，用户能够在对应的数据交换服务实例详情中看到作业的情况；步骤E3.2：回收事件：Isv将大数据上的作业删除，返回给用户反应回收成功的信息；步骤E3.3：查询事件：Isv查询作业的执行日志。5.根据权利要求1所述的基于大数据的数据共享交换方法，其特征在于，还包含同步集成步骤与异步集成步骤：所述同步集成步骤包含以下步骤：步骤T1：门户端发送用户触发的事件并通知到Isv，赋予该事件一个唯一确定的获取事件数据Url，用于对应该事件的事件数据；所述事件包含以下任一个或任多个内容：--申请事件；--回收事件；--变更事件；--查询事件；步骤T2：Isv从参数中读取获取事件数据Url，并发送HttpGet请求，来从门户端获取特定事件的事件数据；步骤T3：Isv处理事件完毕后，将事件处理结果返回给用户；所述异步集成步骤包含以下步骤：步骤Y1：门户端发送用户触发的事件并通知到Isv，赋予该事件一个唯一确定的获取事件数据Url，用于对应该事件的事件数据；所述事件包含以下任一个或任多个内容：--申请事件；--回收事件；--变更事件；--通知事件；步骤Y2：Isv从参数中读取获取事件数据Url，并发送HttpGet请求，来从门户端获取特定事件的事件数据；步骤Y3：Isv返回反应已收到获取特定事件的事件数据的通知；步骤Y4：当Isv正在处理事件时，将事件状态设置为正在执行中；当Isv处理事件完毕后，将事件处理结果返回给用户。...

【专利技术属性】
技术研发人员：张晋伟，丁星，武静，王一之，王鼎华，王伟，
申请(专利权)人：中电科华云信息技术有限公司，
类型：发明
国别省市：上海,31