面向大数据架构与区块链的多源数据处理方法及装置制造方法及图纸

本发明专利技术提供了一种面向大数据架构与区块链的多源数据处理方法、装置及系统，其中的方法包括：对多种数据源进行数据采集并将采集到的数据转化成具有统一格式的数据流；实现对所述数据流的分类缓存并提供数据流输出接口；经数据流输出接口获取数据流并调用大数据开源算法对获取到的数据流进行消费；经数据流输出接口获取数据流并将获取的数据流转存至区块链。本发明专利技术提供了一个统一的、轻量级的、能够满足多种实际业务场景的数据处理平台，其实现了对不同数据源的数据采集，并将采集到的数据转换成具有统一格式的数据流，以方便各种数据查询、分析工具的快速读取。此外，分类存储的数据流能够被快速、方便地转存至区块链上，从而满足区块链应用。

【技术实现步骤摘要】
面向大数据架构与区块链的多源数据处理方法及装置
本专利技术涉及通信
，尤其涉及一种面向大数据架构与区块链的多源数据处理方法及装置。
技术介绍
近年来，随着科技的迅猛发展和信息化建设的推进，小到移动终端上的各个应用程序后台的用户缓存，大到服务器集群上存储的记录用户访问及自身运行状态的日志数据，数据在无时不刻以PB级别地产生、积累。数据量的增大带来了数据价值的增大，大量的数据在用户行为分析、系统安全告警等领域有着至关重要的作用，在各项大数据分析技术的加持下，以往被丢弃、不被重视的众多数据开始体现出新的价值。但另一方面，由于早期企业开发生产环境下，数据格式不规范，数据存储较为随意，缺乏集中的存储手段，也给目前的大数据处理带来了难度。众多的数据散落在未经整理的、格式不统一的各种类型的数据库中，开发人员获取数据时需要重复多次在服务器或本地主机上搭建数据管道、清洗数据才能使用，这极大的增加了开发难度、开发的时间、人力消耗。因此，如何对散落的、不统一的、数据来源复杂的数据进行采集和处理，是摆在数据管理人员和开发人员面前的难题。基于此问题本文档来自技高网...

【技术保护点】
1.一种面向大数据架构与区块链的多源数据处理方法，其特征在于，所述多源数据处理方法包括：/n对多种数据源进行数据采集并将采集到的数据转化成具有统一格式的数据流；/n实现对所述数据流的分类缓存并提供数据流输出接口；/n经所述数据流接口获取数据流并对获取到的数据流进行消费；和/或/n经所述数据流输出接口获取数据流并将获取的数据流转存至区块链。/n

【技术特征摘要】
1.一种面向大数据架构与区块链的多源数据处理方法，其特征在于，所述多源数据处理方法包括：
对多种数据源进行数据采集并将采集到的数据转化成具有统一格式的数据流；
实现对所述数据流的分类缓存并提供数据流输出接口；
经所述数据流接口获取数据流并对获取到的数据流进行消费；和/或
经所述数据流输出接口获取数据流并将获取的数据流转存至区块链。


2.如权利要求1所述的多源数据处理方法，其特征在于，所述多种数据源至少包括关系型数据库和非关系型数据库，所述数据流为JSON格式的数据流。


3.如权利要求1所述的多源数据处理方法，其特征在于，所述从所述数据缓存及传输模块中获取数据流并将数据转存至区块链包括：
将数据流解析成数据字段；
提取目标数据字段并将提取到的目标数据字段封装进报文；
将封装有目标数据字段的报文转存至区块链。


4.一种面向大数据架构与区块链的多源数据处理装置，其特征在于，所述处理装置包括：
数据采集模块，用于对多种数据源进行数据采集并将采集到的数据转化成具有统一格式的数据流；
数据缓存及传输模块，实现对数据流的分类缓存并提供数据流输出接口；
数据消费模块，经所述数据流接口获取数据流并对获取到的数据流进行消费；和/或
区块链上链模...

【专利技术属性】
技术研发人员：孙圣力，赖凯庭，李青山，司华友，
申请(专利权)人：博雅正链北京科技有限公司，南京博雅区块链研究院有限公司，北京大学，
类型：发明
国别省市：北京;11