一种基于P2P技术的海量日志数据溯源与存储装置制造方法及图纸

本发明专利技术提供一种基于P2P技术的海量日志数据溯源与存储装置，属于数据处理领域。包括日志收集模块、日志分布模块、数据存储模块、数据传输模块、展示模块，上述模块相互形成数据交互，日志收集模块通过数据收集装置进行日志数据的采集，日志分布模块通过内部存在的过滤器进行日志分类，数据存储模块用于全量数据、过滤数据的存储，数据传输模块为分布式存储系统，使用区块链存储文件位置hash，各个区块链节点之间通过P2P通讯，使用分布式存储系统存储文件，使用区块链系统存储文件位置hash，实现海量日志数据溯源与存储的方式。现海量日志数据溯源与存储的方式。现海量日志数据溯源与存储的方式。

【技术实现步骤摘要】
一种基于P2P技术的海量日志数据溯源与存储装置


[0001]本专利技术提供一种基于P2P技术的海量日志数据溯源与存储装置，属于数据处理领域。

技术介绍

[0002]目前，在进行数据存储时，涉及大数据库，大数据常用的数据库包括MongoDB、Redis、Elasticsearch、Hbase、Hive等，每种存储技术均有各自的特点，例如Hbase支持海量数据，具有极强的横向扩展能力，在涉及多个列项，或无法获取查询数据的key时，查询效率低下，适用于数据量极大、查询条件简单、列与列之间联系不大的轻查询应用场景；又或者Elasticsearch数据库，支持全文搜索，自动为所有字段建立索引，支持复杂聚合查询，字段类型无法修改，写入性能较低，高硬件资源消耗，适用于构建搜索引擎和用来做数据分析。但是无论哪种存储方式，均不能算作分布式存储方案，数据存储中心化，无法保证数据的真实性，数据溯源也就难以实现，数据溯源有追踪数据的起源和重现数据的历史状态的能力，但前提就是提供的数据是可信数据，当前数据实现溯源的代表技术就是区块链技术，区块链技术的产出物如以太坊，以太坊可以记录并找到在系统中发生的每笔交易，并且有重现历史数据的能力。以太坊的节点分布在全球各地，通过点对点网络传输和独特的共识机制，让每个节点都有提供可信数据的能力。
[0003]现有的数据的存储方案中，无法保证数据的真实性，更难保证数据溯源的可信度，此外，现有的数据通过对应区块链存储在本地数据上，存储数据量受到本地容量限制，不能够进行横向扩容。

技术实现思路
r/>[0004]本专利技术一种基于P2P技术的海量日志数据溯源与存储装置，提供的使用分布式存储系统存储文件，使用区块链系统存储文件位置hash，实现海量日志数据溯源与存储的装置。结构简单，使用方便。
[0005]本专利技术一种基于P2P技术的海量日志数据溯源与存储装置是这样实现的，本专利技术一种基于P2P技术的海量日志数据溯源与存储装置：包括日志收集模块、日志分布模块、数据存储模块、数据传输模块、展示模块，上述模块相互形成数据交互，日志收集模块通过数据收集装置进行日志数据的采集，日志分布模块通过内部存在的过滤器进行日志分类，数据存储模块用于全量数据、过滤数据的存储，数据传输模块为分布式存储系统，使用区块链存储文件位置hash，各个区块链节点之间通过P2P通讯；
[0006]所述日志收集模块通过日志底层Filebeat日志收集模块将日志采集后，通过日志分布模块发送到logstash日志过滤器的input模块后，进行日志数据的分类，通过将全量日志输出到全量原始数据存储器IPFS分布式部署中，通过filter根据不同需求清洗数据，后将清洗后的数据输出到热数据存储器ES集群中，全量历史数据存储会将日志的来源信息存入区块链节点，以做溯源操作，区块链节点之间会进行P2P通讯，以保证节点数据统一，热数
据存储ES集群可以将存储的数据，进行筛选展示；
[0007]所述数据收集装置收集数据，收集装置采集的数据发送到数据处理装置，数据处理装置负责将满足条件(比如文件数量达标、文件大小达标)的文件A/B/C(这里假如A/B/C三个文件被打包)进行打包处理，计算MD5值作为文件名；分布式文件存储系统可以存储海量文件，将打包好的文件通过接口形式存储进文件存储系统，存储系统返回一个打包文件在存储文件中的存储位置hash值：A
‑
hash；数据处理装置通过接口的形式请求链系统A
‑
hash上链，链系统只保存A
‑
hash，占用空间更小；链系统返回交易hash：T
‑
hash，将T
‑
hash赋予给文件A/B/C，然后将文件发送给清洗装置进行数据处理过滤，最后上层应用进行展示；
[0008]所述在对数据进行溯源时，将文件展示层查看文件原始信息；
[0009]文件展示层携带文件的T
‑
hash通过接口请求链系统；
[0010]链系统返回文件在分布式存储系统中的位置hash：A
‑
hash；
[0011]文件展示层携带A
‑
hash通过接口访问分布式存储系统；
[0012]分布式存储系统下载带有该文件的包。
[0013]有益效果：
[0014]一、热点数据快速反馈响应；
[0015]二、使用分布式存储系统存储文件，使用区块链系统存储文件位置hash，实现海量日志数据溯源与存储的方式；
[0016]三、数据真实性可靠，能够追溯任意节点的历史数据状态。
[0017]四、现有分布式存储系统可以存储海量数据但是无法实现数据溯源；区块链技术可以实现数据可信溯源但是不能保存海量数据；通过结合海量数据存储和区块链可信溯源技术，实现海量日志数据溯源与存储装置。
附图说明
[0018]图1为本专利技术一种基于P2P技术的海量日志数据溯源与存储装置的系统框架图。
[0019]图2为本专利技术一种基于P2P技术的海量日志数据溯源与存储装置的系统流程图。
具体实施方式
[0020]下面结合附图对本专利技术进一步说明。
[0021]根据图1
‑
2所示：本专利技术一种基于P2P技术的海量日志数据溯源与存储装置是这样实现的，本专利技术一种基于P2P技术的海量日志数据溯源与存储装置：包括日志收集模块、日志分布模块、数据存储模块、数据传输模块、展示模块，上述模块相互形成数据交互，日志收集模块通过数据收集装置进行日志数据的采集，日志分布模块通过内部存在的过滤器进行日志分类，数据存储模块用于全量数据、过滤数据的存储，数据传输模块设置有多个区块链，各个区块链节点之间通过P2P通讯；
[0022]所述日志收集模块通过日志底层Filebeat日志收集模块将日志采集后，通过日志分布模块发送到logstash日志过滤器的input模块后，进行日志数据的分类，通过将全量日志输出到全量原始数据存储器IPFS分布式部署中，通过filter根据不同需求清洗数据，后将清洗后的数据输出到热数据存储器ES集群中，全量历史数据存储会将日志的来源信息存入区块链节点，以做溯源操作，区块链节点之间会进行P2P通讯，以保证节点数据统一，热数
据存储ES集群可以将存储的数据，进行筛选展示；
[0023]所述数据收集装置收集数据，收集装置采集的数据发送到数据处理装置，数据处理装置负责将满足条件(比如文件数量达标、文件大小达标)的文件A/B/C(这里假如A/B/C三个文件被打包)进行打包处理，计算MD5值作为文件名；分布式文件存储系统可以存储海量文件，将打包好的文件通过接口形式存储进文件存储系统，存储系统返回一个打包文件在存储文件中的存储位置hash值：A
‑
hash；数据处理装置通过接口的形式请求链系统A
‑
hash上链，链系统只保存A
‑
hash，占用空间更小；链系统返回交易hash：本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于P2P技术的海量日志数据溯源与存储装置，其特征在于：包括日志收集模块、日志分布模块、数据存储模块、数据传输模块、展示模块，上述模块相互形成数据交互，日志收集模块通过数据收集装置进行日志数据的采集，日志分布模块通过内部存在的过滤器进行日志分类，数据存储模块用于全量数据、过滤数据的存储，数据传输模块为分布式存储系统，使用区块链存储文件位置hash，各个区块链节点之间通过P2P通讯。2.根据权利要求1所述的一种基于P2P技术的海量日志数据溯源与存储装置，其特征在于：所述日志收集模块通过日志底层Filebeat日志收集模块将日志采集后，通过日志分布模块发送到logstash日志过滤器的input模块后，进行日志数据的分类，通过将全量日志输出到全量原始数据存储器IPFS分布式部署中，通过filter根据不同需求清洗数据，后将清洗后的数据输出到热数据存储器ES集群中，全量历史数据存储会将日志的来源信息存入区块链节点，以做溯源操作，区块链节点之间会进行P2P通讯，以保证节点数据统一，热数据存储ES集群可以将存储的数据，进行筛选展示。3.根据权利要求1所述的一种基于P2P技术的海量日志数据溯源与存储装置，其特征在于：所述数据收集装置收集数据，收集装置采集的数据发送到数据处理装置，数据处理装...

【专利技术属性】
技术研发人员：张宇，杨莉莉，隆文喜，韩珺，马国雷，李楠芳，袁学斌，李宗容，
申请(专利权)人：国网青海省电力公司电力科学研究院国网青海省电力公司国家电网有限公司，
类型：发明
国别省市：