【技术实现步骤摘要】
本专利技术涉及数据处理，特别涉及一种面向大数据架构与区块链的多源数据处理方法。
技术介绍
1、传统大数据架构主要是用于解决传统bi的问题，简单来说，数据分析的业务没有发生任何变化，但是因为数据量、性能等问题导致系统无法正常使用，需要进行升级改造，区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式，区块链是比特币的一个重要概念，它本质上是一个去中心化的数据库，同时作为比特币的底层技术，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次比特币网络交易的信息，用于验证其信息的有效性和生成下一个区块，随着科学技术的快速发展，小到移动终端上的各个应用程序后台的用户缓存，大到服务器集群上存储的记录用户访问及自身运行状态的日志数据，数据在无时无刻以pb级别地产生和积累，在面向大数据架构与区块链结合时需要用到多源数据处理。
2、目前，双碳优化在即，现有的多源数据处理已能够实现将采集到的数据转化成具有统一格式的数据流，但是在数据转化的过程中无法实时检测转化过程中存在的异常，影响数据流转化的精准度，...
【技术保护点】
1.一种面向大数据架构与区块链的多源数据处理方法，其特征在于，所述多源数据处理方法包括以下步骤：
2.根据权利要求1所述的多源数据处理方法，其特征在于，所述步骤一中的多种数据源包括关系型数据库和非关系型数据库；
3.根据权利要求1所述的多源数据处理方法，其特征在于，所述处理单元包括Kafka、LOGSTACH、Canal和Maxwell组件，所述Kafka组件用于实现对数据库中的源数据的采集和输入，所述LOGSTACH组件用于实现对数据库日志的采集及输送，所述Canal组件和Maxwell组件则用于解析数据库日志以实现对数据的读取和输出；>
4.根据权利...
【技术特征摘要】
1.一种面向大数据架构与区块链的多源数据处理方法，其特征在于，所述多源数据处理方法包括以下步骤：
2.根据权利要求1所述的多源数据处理方法，其特征在于，所述步骤一中的多种数据源包括关系型数据库和非关系型数据库；
3.根据权利要求1所述的多源数据处理方法，其特征在于，所述处理单元包括kafka、logstach、canal和maxwell组件，所述kafka组件用于实现对数据库中的源数据的采集和输入，所述logstach组件用于实现对数据库日志的采集及输送，所述canal组件和maxwell组件则用于解析数据库日志以实现对数据的读取和输出；
4.根据权利要求1所述的多源数据处理方法，其特征在于，所述步骤二中的经过数据流输出接口获取数据流并将获取的数据流转存至区块链上的步骤如下：
5...
【专利技术属性】
技术研发人员：沈宇辰，元渊，李岩，李阳，侯贵法，
申请(专利权)人：河南恒宇电气集团有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。