面向大数据架构与区块链的多源数据处理方法及装置制造方法及图纸

本发明专利技术提供了一种面向大数据架构与区块链的多源数据处理方法、装置及系统，其中的方法包括：对多种数据源进行数据采集并将采集到的数据转化成具有统一格式的数据流；实现对所述数据流的分类缓存并提供数据流输出接口；经数据流输出接口获取数据流并调用大数据开源算法对获取到的数据流进行消费；经数据流输出接口获取数据流并将获取的数据流转存至区块链。本发明专利技术提供了一个统一的、轻量级的、能够满足多种实际业务场景的数据处理平台，其实现了对不同数据源的数据采集，并将采集到的数据转换成具有统一格式的数据流，以方便各种数据查询、分析工具的快速读取。此外，分类存储的数据流能够被快速、方便地转存至区块链上，从而满足区块链应用。

【技术实现步骤摘要】
面向大数据架构与区块链的多源数据处理方法及装置
本专利技术涉及通信
，尤其涉及一种面向大数据架构与区块链的多源数据处理方法及装置。
技术介绍
近年来，随着科技的迅猛发展和信息化建设的推进，小到移动终端上的各个应用程序后台的用户缓存，大到服务器集群上存储的记录用户访问及自身运行状态的日志数据，数据在无时不刻以PB级别地产生、积累。数据量的增大带来了数据价值的增大，大量的数据在用户行为分析、系统安全告警等领域有着至关重要的作用，在各项大数据分析技术的加持下，以往被丢弃、不被重视的众多数据开始体现出新的价值。但另一方面，由于早期企业开发生产环境下，数据格式不规范，数据存储较为随意，缺乏集中的存储手段，也给目前的大数据处理带来了难度。众多的数据散落在未经整理的、格式不统一的各种类型的数据库中，开发人员获取数据时需要重复多次在服务器或本地主机上搭建数据管道、清洗数据才能使用，这极大的增加了开发难度、开发的时间、人力消耗。因此，如何对散落的、不统一的、数据来源复杂的数据进行采集和处理，是摆在数据管理人员和开发人员面前的难题。基于此问题，国内外许多大型的公司企业选择建设数据仓库或数据中台，将公司内部的数据以统一的格式集中存储在数据仓库或数据中台，作为实际开发中统一的数据来源。但是，数据仓库或数据中台的开发时间长、人力成本高，集群搭建困难，架构复杂，且需要大量的实际业务数据进行支撑，广大的中小企业并不具备建设数据仓库或数据中台的条件。鉴于此，一个统一的、轻量级、能够应用多种实际业务场景的数据平台才是更符合实际的技术方案。数据量的增多也带来了另一个问题：即数据安全的问题。传统的数据库运行在单一节点的服务器或若干台服务器组成的集群上，对于数据维护的成本很高，并且安全性不是很好。而区块链技术是一种分布式账本技术，通过密码学的原理将交易记录串联，并在节点间通过共识机制进行确认，保证交易记录不被篡改、公开透明。这就给重要数据加密提供了一条新的思路，也即将重要数据上链，通过共识加密的方式对数据进行加密存储，可以得到比以往传统数据库加密方式更好的性能和安全性保证。但数据上链的过程中同样的存在数据转换的问题，由于区块链数据库服务器通常只开放特定端口并要求以特定HTTP请求格式发送数据，这与数据库中数据存储的格式并不直接相符，因此数据库中存储的数据格式与区块链服务器开放通信的请求中所需数据格式的转换问题也是急需解决的问题。
技术实现思路
为了解决上述技术问题，本专利技术第一方面提供了一种面向大数据架构与区块链的多源数据处理方法，该方法能够实现对来自不同数据源的异构数据采集，并将采集到的数据转换成具有统一格式的数据流。本专利技术的具体技术方案如下：一种面向大数据架构与区块链的多源数据处理方法，包括：对多种数据源进行数据采集并将采集到的数据转化成具有统一格式的数据流；实现对所述数据流的分类缓存并提供数据流输出接口；经所述数据流接口获取数据流并对获取到的数据流进行消费；和/或经所述数据流输出接口获取数据流并将获取的数据流转存至区块链。在一些实施例中，所述多种数据源至少包括关系型数据库和非关系型数据库，所述数据流为JSON格式的数据流。在一些实施例中，所述从所述数据缓存及传输模块中获取数据流并将数据转存至区块链包括：将数据流解析成数据字段；提取目标数据字段并将提取到的目标数据字段封装进报文；将封装有目标数据字段的报文转存至区块链。本专利技术的第二方面提供了一种面向大数据架构与区块链的多源数据处理装置，所述处理装置包括：数据采集模块，用于对多种数据源进行数据采集并将采集到的数据转化成具有统一格式的数据流；数据缓存及传输模块，实现对数据流的分类缓存并提供数据流输出接口；数据消费模块，经所述数据流接口获取数据流并对获取到的数据流进行消费；和/或区块链上链模块，经所述数据流接口获取数据流并将获取的数据流转存至区块链。在一些实施例中，所述多种数据源至少包括关系型数据库和非关系型数据库，所述数据采集模块包括可并行运行的若干数据采集组件，所述若干数据采集组件经JDBC接口与所述多种数据源连接，所述若干数据采集组件包括Kafka组件、Logstash组件、Canal组件及Maxwell组件，所述数据流为JSON格式的数据流。在一些实施例中，所述数据缓存及传输模块包括Kafka开源平台，数据流被分类缓存在所述Kafka开源平台的Topic内。在一些实施例中，所述数据消费模块包括数据查询工具Hive、Impala和数据分析工具Spark、Storm。在一些实施例中，所述区块链上链模块包括：解析子模块，将数据流解析成数据字段；封装子模块，提取目标数据字段并将提取到的目标数据字段封装进报文；上链子模块，将封装有目标数据字段的报文转存至区块链。在一些实施例中，所述区块链为预先布置好的私有链、联盟链或公有链。本专利技术提供了一个统一的、轻量级的、能够满足多种实际业务场景的数据处理平台，其能够实现对来自不同数据源的异构数据的采集，并将采集到的数据转换成具有统一格式的数据流进行分类存储，方便各种数据查询、分析工具的快速读取。此外，分类存储的数据流能够被快速、方便地转存至区块链上。附图说明图1为本专利技术实施例提供的面向大数据架构与区块链的多源数据处理方法的流程示意图；图2为本专利技术实施例提供的面向大数据架构与区块链的多源数据处理方法的流程示意图；图3为本专利技术实施例提供的面向大数据架构与区块链的多源数据处理装置的流程示意图；图4为本专利技术实施例提供的面向大数据架构与区块链的多源数据处理装置的流程示意图；图5为可用于执行本专利技术的实施方式的环境示例；图6为本专利技术实施例提供的面向大数据架构与区块链的多源数据处理方法的一个应用例的实施流程图；图7为本专利技术实施例提供的面向大数据架构与区块链的多源数据处理方法的另一个应用例的实施流程图。具体实施方式为使本专利技术的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本专利技术作进一步详细的说明。虽然本专利技术提供了如下述实施例或附图所示的方法操作步骤或装置结构，但基于常规或者无需创造性的劳动在所述方法或装置中可以包括更多或者更少的操作步骤或模块单元。在逻辑性上不存在必要因果关系的步骤或结构中，这些步骤的执行顺序或装置的模块结构不限于本专利技术实施例或附图所示的执行顺序或模块结构。所述的方法或模块结构的在实际中的装置或终端产品应用时，可以按照实施例或者附图所示的方法或模块结构进行顺序执行或者并行执行。为了实现对散落的、不统一的、数据来源复杂的数据的采集和处理，一般需要建设数据仓库或数据中台，数据仓库或数据中台开发时间长、人力成本高，集群搭建困难，架构复杂，且需要大量的实际业务数据进行支撑。针对现有技术中在多源数据采集、处理中的缺陷，本专利技术提供一种面向大数据架构与区块链的多源数据本文档来自技高网...

【技术保护点】
1.一种面向大数据架构与区块链的多源数据处理方法，其特征在于，所述多源数据处理方法包括：/n对多种数据源进行数据采集并将采集到的数据转化成具有统一格式的数据流；/n实现对所述数据流的分类缓存并提供数据流输出接口；/n经所述数据流接口获取数据流并对获取到的数据流进行消费；和/或/n经所述数据流输出接口获取数据流并将获取的数据流转存至区块链。/n

【技术特征摘要】
1.一种面向大数据架构与区块链的多源数据处理方法，其特征在于，所述多源数据处理方法包括：
对多种数据源进行数据采集并将采集到的数据转化成具有统一格式的数据流；
实现对所述数据流的分类缓存并提供数据流输出接口；
经所述数据流接口获取数据流并对获取到的数据流进行消费；和/或
经所述数据流输出接口获取数据流并将获取的数据流转存至区块链。


2.如权利要求1所述的多源数据处理方法，其特征在于，所述多种数据源至少包括关系型数据库和非关系型数据库，所述数据流为JSON格式的数据流。


3.如权利要求1所述的多源数据处理方法，其特征在于，所述从所述数据缓存及传输模块中获取数据流并将数据转存至区块链包括：
将数据流解析成数据字段；
提取目标数据字段并将提取到的目标数据字段封装进报文；
将封装有目标数据字段的报文转存至区块链。


4.一种面向大数据架构与区块链的多源数据处理装置，其特征在于，所述处理装置包括：
数据采集模块，用于对多种数据源进行数据采集并将采集到的数据转化成具有统一格式的数据流；
数据缓存及传输模块，实现对数据流的分类缓存并提供数据流输出接口；
数据消费模块，经所述数据流接口获取数据流并对获取到的数据流进行消费；和/或
区块链上链模...

【专利技术属性】
技术研发人员：孙圣力，赖凯庭，李青山，司华友，
申请(专利权)人：博雅正链北京科技有限公司，南京博雅区块链研究院有限公司，北京大学，
类型：发明
国别省市：北京;11