一种大数据交换方法及装置、系统制造方法及图纸

本发明专利技术公开了一种大数据交换方法，包括：大数据源单元与大数据目标单元通过搜集接口交换初始数据和初始元数据；和/或，所述大数据源单元与所述大数据目标单元通过互连接口交换加工数据和加工元数据；和/或，所述大数据源单元与所述大数据目标单元通过消费接口交换加工数据和加工元数据数据提供者模块大数据业务提供者模块大数据业务提供者模块大数据业务消费者模块。相应的，本发明专利技术还公开一种大数据交换装置及系统，能够有效解决大数据的开放共享和互联互通等问题。

A large data exchange method, device and system

The invention discloses a data exchange method, including: big data and big data source unit target unit by collecting initial data exchange interface and initial metadata; and / or, the data source unit and the data processing unit according to the number of target exchange and processing of metadata through the interconnection interface; and / or the data source unit and the data exchange module and data processing unit processing data provider data metadata service provider module data service provider module data service module interface through the consumption of consumers. Accordingly, the invention also discloses a large data exchange device and system, which can effectively solve the problems of open sharing and interconnection of big data.

【技术实现步骤摘要】
一种大数据交换方法及装置、系统
本专利技术涉及通讯
，尤指一种大数据交换方法及装置、系统。
技术介绍
目前大数据成为当前业界的技术热点，特别是随着云计算业务的部署，大数据作为其最重要的业务应用，其发展前景被寄予厚望。大数据的主要特点是体量大(Volume)、种类多(Variety)、速度快(Velocity)以及价值高(Value)等特点，并同时伴随着多源、异构以及海量的数据特征。大数据所涉及的数据类型包括结构化(Structured)、半结构化(Semi-Structured)以及非结构化(Un-Structured)等类型，这要求大数据交换系统可以针对这些不同数据类型进行区分和处理，比如对于结构化的数据库数据的采集、异常数据清理以及ETL(数据提取、数据转换以及数据加载)等，对于半结构化数据以及非结构化数据的增量实时采集、解析、注释、异常数据清理、数据分割、特征提取、存储和/或缓存以及批量非实时处理等。大数据所涉及的数据对象包括文字、语音、视频、图像、网页、传感器数据等，这也就要求大数据交换系统可以有针对性地区分和处理不同数据对象所对应的数据承载格式，比如：文本文件、音频文件、适配文件、图像文件、网页文件、传感器数据文件以及相应的实时/准实时流媒体数据等不同格式。尽管目前大数据正在逐步应用于各个行业，但是随着数据体量的逐步增加，所涉及数据种类的日益繁杂，所生成速度的迅速提升以及对于其潜在价值利用的需求增强，当前大数据正遭遇一些新的困境以及面临新的挑战，特别是：1)大数据的孤岛性导致大数据无法开放、共享以及互联，从而降低了大数据用户共享不同产业甚至相同产业不同部门数据的可能性；2)对于具有巨大潜在价值的大体量的大数据缺乏价值衡量手段和货币化手段，从而削弱了数据拥有者开放数据的积极性；3)已有公共数据的开放不足阻碍了公共社会资源对于可能的社会生活以及经济活动的贡献性；4)缺乏有效的商业模式，特别是高效的数据交换机制，阻止了数据拥有者和数据用户之间安全有效地进行数据交换；5)互连互通标准的缺乏也无法保障大数据提供商和大数据业务提供商之间进行互连。为从大体量的、种类繁多的、高速变化的大数据中充分挖掘出大数据巨大的潜在价值，以上所遭遇的各种问题以及相关挑战，均需要通过有效的方法以及相应的系统架构来有针对性地给予解决。在国际上，早前国际电信联盟(ITU)以及国际标准化组织(ISO|IEC)都已经或者即将发布大数据需求和框架标准，但在这些标准中均尚未涉及如何解决因大数据的孤岛性而导致大数据无法开放共享和互联互通的问题。相应地，目前国际电信联盟(ITU)正在开展的大数据交换需求和框架标准(ITU-TY.BigDataEX-reqts)旨在解决该问题。因此，需要一种大数据直接交换模型及其实现方法，以至少解决大数据应用中的开放共享和互联互通的问题，以加速该方面的课题研究及其国际标准化进程，从而实现大数据的开放性、互联性以及共享性，并充分调动孤立且不活跃的大数据参与到大数据交易活动中，为生产和生活所用以及创造大数据所应有的价值。
技术实现思路
为了解决上述技术问题，本专利技术提供了一种大数据交换方法及装置、系统，能够有效的解决大数据的开放共享和互联互通等问题。为了达到本专利技术目的，本专利技术提供了一种大数据交换方法，包括：大数据源单元与大数据目标单元通过搜集接口交换初始数据和初始元数据；和/或，所述大数据源单元与所述大数据目标单元通过互连接口交换加工数据和加工元数据；和/或，所述大数据源单元与所述大数据目标单元通过消费接口交换加工数据和加工元数据；所述大数据源单元包括：数据提供者模块和/或第一大数据业务提供者模块；所述大数据目标单元包括：第二大数据业务提供者模块和/或大数据业务消费者模块；所述数据提供者模块用于提供所述初始数据和初始元数据；所述第一大数据业务提供者模块和所述第二大数据业务提供者模块用于进行大数据处理得到所述加工数据和加工元数据；所述大数据业务消费者模块用于使用所述加工数据和加工元数据。其中，所述交换初始数据和初始元数据，包括：所述大数据源单元将数据提供者模块产生的初始数据以及初始元数据提供给大数据目标单元中的第二大数据业务提供者模块；大数据目标单元的第二大数据业务提供者模块接收并存储和/或缓存所述初始数据以及初始元数据并对所述初始数据进行大处理。其中，所述大数据源单元与大数据目标单元通过搜集接口交换初始数据和初始元数据，包括：所述数据提供者模块接收来自所述第二大数据业务提供者模块的搜集请求；所述数据提供者模块根据所述搜集请求携带的搜集请求信息检索本地数据；如果检索到与所述搜集请求信息匹配的本地数据，所述数据提供者模块发送搜集响应消息给所述第二大数据业务提供者模块，所述搜集响应消息中携带搜索到的初始数据和初始元数据；如果未检索到与所述搜集请求信息匹配的本地数据，所述数据提供者模块发送搜集响应消息给所述第二大数据业务提供者模块，所述搜集响应消息中携带数据请求失败的信息；所述数据提供者模块接收所述第二大数据业务提供者模块返回的搜集确认消息。其中，所述大数据源单元与大数据目标单元通过搜集接口交换初始数据和初始元数据，包括：所述第二大数据业务提供者模块向所述数据提供者模块发送搜集请求；所述第二大数据业务提供者模块接收并存储和/或缓存所述数据提供者模块提供的所述初始数据和初始元数据，并对所述初始数据和初始元数据进行大数据处理得到加工数据和加工元数据；或者，所述第二大数据业务提供者模块接收来自所述数据提供者模块的搜集请求失败信息；在接收到所述搜集请求失败信息之后和/或处理完所述初始数据之后，所述第二大数据业务提供者模块返回搜集确认消息给所述数据提供者模块。其中，所述大数据源单元与所述大数据目标单元通过互连接口交换加工数据和加工元数据，包括：所述大数据源单元将经过第一大数据业务提供者模块处理所述初始数据后得到的加工数据以及加工元数据提供给大数据目标单元的第二大数据业务提供者模块；大数据目标单元中的第二大数据业务提供者模块接收并存储和/或缓存所述加工数据以及加工元数据，并对所述加工数据进行进一步地大数据处理以得到更新的加工数据和更新的加工元数据。其中，所述大数据源单元与所述大数据目标单元通过互连接口交换加工数据和加工元数据，包括：所述第一大数据业务提供者模块接收来自所述第二大数据业务提供者模块的互连请求，根据所述互连请求携带的互连请求信息检索本地加工数据；如果检索到与所述互连请求信息匹配的加工数据和加工元数据，所述第一大数据业务提供者模块发送互连响应消息给所述第二大数据业务提供者模块，所述互连响应消息中携带与所述互连请求信息匹配的加工数据和加工元数据；如果未检索到与所述互连请求信息匹配的数据，所述第一大数据业务提供者模块发送互连响应消息给所述第二大数据业务提供者模块，所述互连响应消息携带互连请求失败信息；所述第一大数据业务提供者模块接收所述第二大数据业务提供者模块返回的互连确认消息。其中，所述大数据源单元与所述大数据目标单元通过互连接口交换加工数据和加工元数据，包括：所述第二大数据业务提供者模块向所述第一大数据业务提供者模块发送互连请求；所述第二大数据业务提供者模块接收并存储和/或缓存所述第一大数据业务提供者模块提供的本文档来自技高网...

【技术保护点】
一种大数据交换方法，其特征在于，包括：大数据源单元与大数据目标单元通过搜集接口交换初始数据和初始元数据；和/或，所述大数据源单元与所述大数据目标单元通过互连接口交换加工数据和加工元数据；和/或，所述大数据源单元与所述大数据目标单元通过消费接口交换加工数据和加工元数据；所述大数据源单元包括：数据提供者模块和/或第一大数据业务提供者模块；所述大数据目标单元包括：第二大数据业务提供者模块和/或大数据业务消费者模块；所述数据提供者模块用于提供所述初始数据和初始元数据；所述第一大数据业务提供者模块和所述第二大数据业务提供者模块用于进行大数据处理得到所述加工数据和加工元数据；所述大数据业务消费者模块用于使用所述加工数据和加工元数据。

【技术特征摘要】
1.一种大数据交换方法，其特征在于，包括：大数据源单元与大数据目标单元通过搜集接口交换初始数据和初始元数据；和/或，所述大数据源单元与所述大数据目标单元通过互连接口交换加工数据和加工元数据；和/或，所述大数据源单元与所述大数据目标单元通过消费接口交换加工数据和加工元数据；所述大数据源单元包括：数据提供者模块和/或第一大数据业务提供者模块；所述大数据目标单元包括：第二大数据业务提供者模块和/或大数据业务消费者模块；所述数据提供者模块用于提供所述初始数据和初始元数据；所述第一大数据业务提供者模块和所述第二大数据业务提供者模块用于进行大数据处理得到所述加工数据和加工元数据；所述大数据业务消费者模块用于使用所述加工数据和加工元数据。2.根据权利要求1所述的方法，其特征在于，所述交换初始数据和初始元数据，包括：所述大数据源单元将数据提供者模块产生的初始数据以及初始元数据提供给大数据目标单元中的第二大数据业务提供者模块；大数据目标单元的第二大数据业务提供者模块接收并存储和/或缓存所述初始数据以及初始元数据并对所述初始数据进行大处理。3.根据权利要求1所述的方法，其特征在于，所述大数据源单元与大数据目标单元通过搜集接口交换初始数据和初始元数据，包括：所述数据提供者模块接收来自所述第二大数据业务提供者模块的搜集请求；所述数据提供者模块根据所述搜集请求携带的搜集请求信息检索本地数据；如果检索到与所述搜集请求信息匹配的本地数据，所述数据提供者模块发送搜集响应消息给所述第二大数据业务提供者模块，所述搜集响应消息中携带搜索到的初始数据和初始元数据；如果未检索到与所述搜集请求信息匹配的本地数据，所述数据提供者模块发送搜集响应消息给所述第二大数据业务提供者模块，所述搜集响应消息中携带数据请求失败的信息；所述数据提供者模块接收所述第二大数据业务提供者模块返回的搜集确认消息。4.根据权利要求1所述的方法，其特征在于，所述大数据源单元与大数据目标单元通过搜集接口交换初始数据和初始元数据，包括：所述第二大数据业务提供者模块向所述数据提供者模块发送搜集请求；所述第二大数据业务提供者模块接收并存储和/或缓存所述数据提供者模块提供的所述初始数据和初始元数据，并对所述初始数据和初始元数据进行大数据处理得到加工数据和加工元数据；或者，所述第二大数据业务提供者模块接收来自所述数据提供者模块的搜集请求失败信息；在接收到所述搜集请求失败信息之后和/或处理完所述初始数据之后，所述第二大数据业务提供者模块返回搜集确认消息给所述数据提供者模块。5.根据权利要求1所述的方法，其特征在于，所述大数据源单元与所述大数据目标单元通过互连接口交换加工数据和加工元数据，包括：所述大数据源单元将经过第一大数据业务提供者模块处理所述初始数据后得到的加工数据以及加工元数据提供给大数据目标单元的第二大数据业务提供者模块；大数据目标单元中的第二大数据业务提供者模块接收并存储和/或缓存所述加工数据以及加工元数据，并对所述加工数据进行进一步地大数据处理以得到更新的加工数据和更新的加工元数据。6.根据权利要求1所述的方法，其特征在于，所述大数据源单元与所述大数据目标单元通过互连接口交换加工数据和加工元数据，包括：所述第一大数据业务提供者模块接收来自所述第二大数据业务提供者模块的互连请求，根据所述互连请求携带的互连请求信息检索本地加工数据；如果检索到与所述互连请求信息匹配的加工数据和加工元数据，所述第一大数据业务提供者模块发送互连响应消息给所述第二大数据业务提供者模块，所述互连响应消息中携带与所述互连请求信息匹配的加工数据和加工元数据；如果未检索到与所述互连请求信息匹配的数据，所述第一大数据业务提供者模块发送互连响应消息给所述第二大数据业务提供者模块，所述互连响应消息携带互连请求失败信息；所述第一大数据业务提供者模块接收所述第二大数据业务提供者模块返回的互连确认消息。7.根据权利要求1所述的方法，其特征在于，所述大数据源单元与所述大数据目标单元通过互连接口交换加工数据和加工元数据，包括：所述第二大数据业务提供者模块向所述第一大数据业务提供者模块发送互连请求；所述第二大数据业务提供者模块接收并存储和/或缓存所述第一大数据业务提供者模块提供的所述加工数据和加工元数据，并对所述加工数据和加工元数据进行大数据处理得到更新的加工数据和更新的加工元数据；或者，所述第二大数据业务提供者模块接收来自所述第一大数据业务提供者模块的互连请求失败信息；在接收到所述互连请求失败信息之后和/或处理完所述加工数据之后，所述第二大数据业务提供者模块返回所述互连确认消息给所述第一大数据业务提供者模块。8.根据权利要求1所述的方法，其特征在于，所述大数据源单元与所述大数据目标单元通过消费接口交换加工数据和加工元数据，包括：所述大数据源单元将经过其第一大数据业务提供者模块对初始数据处理后得到的加工数据提供给所述大数据目标单元的大数据业务消费者模块使用。9.根据权利要求1所述的方法，其特征在于，所述大数据源单元与所述大数据目标单元通过消费接口交换加工数据和加工元数据，包括：所述第一大数据业务提供者模块接收来自所述大数据业务消费者模块的业务请求，根据所述业务请求携带的业务请求信息检索本地加工数据；如果检索到与所述业务请求信息匹配的加工数据和加工元数据，所述第一大数据业务提供者模块发送业务响应消息给所述大数据业务消费者模块，所述互连响应消息中携带与所述业务请求信息匹配的加工数据和加工元数据；如果未检索到与所述业务请求信息匹配的数据，所述第一大数据业务提供者模块发送业务响应消息给所述大数据业务消费者模块，所述业务响应消息携带业务请求失败信息；所述第一大数据业务提供者模块接收所述大数据业务消费者模块返回的业务确认消息。10.根据权利要求1所述的方法，其特征在于，所述大数据源单元与所述大数据目标单元通过消费接口交换加工数据和加工元数据，包括：所述大数据业务消费者模块向所述第一大数据业务提供者模块发送业务请求；所述大数据业务消费者模块接收并存储和/或缓存所述第一大数据业务提供者模块提供的所述加工数据和加工元数据，并使用所述加工数据和加工元数据；或者，所述大数据业务消费者模块接收来自所述第一大数据业务提供者模块的业务请求失败信息；在接收到所述业务请求失败信息之后和/或接收所述加工数据和加工元数据之后，所述大数据业务消费者模块返回所述业务确认消息给所述第一大数据业务提供者模块。11.根据权利要求1至10任一项所述的方法，其特征在于，所述大数据处理包括：数据搜集、数据准备、数据分析和/或数据可视化。12.一种大数据交换方法，其特征在于，包括：大数据源单元接收大数据目标单元发送的数据交换请求；大数据源单元根据所述数据交换请求检索本地数据；在检索到相匹配的数据时，所述大数据源单元发送响应消息给所述大数据目标单元，所述响应消息携带与所述数据交换请求相匹配的数据；在未检索到相匹配的数据时，所述大数据源单元发送响应消息给所述大数据目标单元，所述响应消息携带交换请求失败的信息；大数据源单元接收所述大数据目标单元返回的确认消息。13.根据权利要求12所述的方法，其特征在于，所述数据交换请求为携带搜集请求信息的搜集...

【专利技术属性】
技术研发人员：王东，
申请(专利权)人：中兴通讯股份有限公司，
类型：发明
国别省市：广东,44