应用于一网统管的区块链和IPFS舆情共享方法及系统技术方案

本发明专利技术提供一种应用于一网统管的区块链和IPFS舆情共享方法及系统，该方法包括：搭建基于区块链和IPFS的舆情共享平台并获取舆情信息以形成舆情文本。将舆情文本存储于IPFS网络内且每一舆情文本对应有唯一的IPFS地址，并将每一舆情文本的IPFS地址存储至区块链内。预处理获取的舆情文本并将舆情文本中的关键词转化为向量表示；基于关键词的向量表示通过计算相似度以进行主题识别并将每一舆情文本表示为其所包含的关键词的向量平均值，使用聚类算法将舆情文本进行分类。分析预处理后的舆情文本，基于舆情文本的关键词呈现该舆情文本的摘要信息。基于每一舆情信息的IPFS地址将其主题和摘要信息广播至区块链内的每一节点。题和摘要信息广播至区块链内的每一节点。题和摘要信息广播至区块链内的每一节点。

【技术实现步骤摘要】
应用于一网统管的区块链和IPFS舆情共享方法及系统


[0001]本专利技术涉及数据处理
，其特别涉及一种应用于一网统管的区块链和IPFS舆情共享方法及系统。

技术介绍

[0002]一网统管是以物联网、大数据、人工智能、5G移动通信等前沿技术为支撑来整合城市运行管理服务相关信息的城市运行管理服务平台，其主要对城市运行管理服务状况的实时监测、动态分析以及统筹协调。随着互联网技术的不断发展，大量的舆情数据被产生并在城市的各个领域内广泛快速传播。现有舆情信息的难追溯性导致大量对民生产生错误引导的虚假信息在互联网上迅速传播，给一网统管的舆论监控预警、分析研判以及舆论引导带来了很大的困难；而信息的可篡改性这会导致数字存证所存储的舆论信息无法作为司法证据而影响事实判断的可能。
[0003]为实现舆情信息的监管，当前主要采用中心化平台进行数据的共享和分析；例如政府或企业内部的数据共享平台、数据仓库等。这些平台需要统一的管理和授权且数据流转也比较固定，难以满足具有大量舆情信息场景需求。而现有的中心化共享平台由于数据的集中式管理，不仅数据的传输能力较差且往往还面临着数据存储有限、需要定期维护以及数据存在被修改，被窃取等安全性问题。此外，随着大量互联网网络平台的涌现，舆情信息分散在不同的平台和数据源而导致数据分散和不完整，这亦会给舆情的分析带来和管理带来很大的难度。

技术实现思路

[0004]本专利技术为了克服现有技术的至少一个不足，提供一种应用于一网统管的区块链和IPFS舆情共享方法及系统。
[0005]为了实现上述目的，本专利技术提供一种应用于一网统管的区块链和IPFS舆情共享方法，其包括：
[0006]搭建基于区块链和IPFS的舆情共享平台并获取舆情信息以形成舆情文本；
[0007]将舆情文本存储于IPFS网络内且每一舆情文本对应有唯一的IPFS地址，通过调用智能合约将每一舆情文本的IPFS地址存储至区块链内；
[0008]预处理获取的舆情文本；
[0009]采用词向量模型将预处理后的舆情文本中的关键词转化为向量表示；
[0010]基于关键词的向量表示，计算舆情文本内每一关键词与预设主题词之间的相似度以进行主题识别；并将每一舆情文本表示为其所包含的关键词的向量平均值，使用聚类算法将所获取的所有舆情文本的向量平均值聚成若干个簇，每个簇代表一个主题以进行舆情信息的主题分类；
[0011]分析预处理后的舆情文本，基于舆情文本的关键词呈现该舆情文本的摘要信息；
[0012]基于每一舆情信息的IPFS地址将其主题和摘要信息广播至区块链内的每一节点；
该步骤包括：在区块链上创建一个新的智能合约，用于存储和管理舆情信息和关键词信息；智能合约定义舆情信息的结构，包括舆情文本、关键词、主题以及摘要并同时定义相应的存储和查询方法；在区块链上创建一个新的交易，新的交易关联当前所处理的舆情信息的IPFS地址并将舆情文本、摘要、关键词以及主题打包；将交易提交到区块链网络中并等待网络中的节点确认和处理交易；一旦交易被确认并写入区块链中，舆情信息和关键词信息将与该条舆情信息相关联，将其主题和摘要信息广播至区块链内的每一节点。
[0013]根据本专利技术的一实施例，使用k
‑
means聚类算法将所获取的所有舆情文本的向量平均值聚成若干个簇，每一舆情文本的向量平均值的计算公式如下：
[0014]其中，表示舆情文本t的向量平均值，N(t)表示舆情文本t中的关键词的数量，表示舆情文本t中第i个关键词的向量表示。
[0015]根据本专利技术的一实施例，基于舆情文本的关键词呈现该舆情文本的摘要信息包括：
[0016]以预处理后所获得的舆情文本的关键词为节点，词与词之间的共现关系为边构建有向加权图；
[0017]将关键词节点的初始权重设置为1并迭代计算每个节点的权重直到收敛；
[0018]计算每个节点的入度权重之和并将其作为该节点的初始权重。
[0019]对于节点v，遍历所有指向其的节点u并计算每一节点u对节点v的贡献值，将所有贡献值相加以得到节点v的新权重值；将每个节点的权重值除以所有节点权重值之和以归一化所有节点的权重值；
[0020]其中节点u对节点v的贡献值计算公式为：
[0021]其中，表示从节点u指向节点v的边的权重，是节点u指向所有外部节点的集合，表示从节点u指向节点k的边的权重；
[0022]计算每个节点的得分，对于节点v其得分表示为：
[0023][0024]其中，表示节点v的得分，u
→
v表示所有指向节点v的节点集合；为上一次迭代出的节点u的得分；d为阻尼系数，取值范围为[0,1]代表从有向加权图中的一点指向其它任意点的概率；
[0025]对所有节点的得分进行排序并选取前N个节点所对应的关键词形成该舆情文本的摘要信息。
[0026]根据本专利技术的一实施例，根据关键词构建有向加权图后，基于主题识别过程中的关键词向量表示来计算每个节点的权重。
[0027]根据本专利技术的一实施例，在预处理舆情文本和词向量转化后，以并行的方式同步执行舆情文本的主题分类识别以及摘要信息的呈现；
[0028]或者，在完成主题分类识别后分析每一主题下的所有舆情信息以呈现每一舆情信息摘要和该主题下所有舆情信息的总摘要。
[0029]根据本专利技术的一实施例，预处理舆情文本包括对舆情文本进行分词和去除停用词处理。
[0030]根据本专利技术的一实施例，在获取到舆情文本后调用智能合约将舆情文本进行打包加密并产生该舆情文本对应的唯一IPFS地址；
[0031]智能合约将基于IPFS网络内节点的身份信息和分发能力对所有可用的网络节点进行匹配以得到分发节点；
[0032]将打包加密的舆情文本和对应的IPFS地址分发至匹配到的分发节点；
[0033]分发节点将打包加密的舆情文本以链下的形式同步至网络内的其它节点同时将该舆情文本对应的IPFS地址存储入链上的区块内。
[0034]另一方面，本专利技术还提供一种应用于一网统管的区块链和IPFS舆情共享系统，其包括信息获取模块、上链存储模块、预处理模块、向量转换模块、主题分类识别模块、摘要分析模块以及反馈模块。信息获取模块获取舆情信息以形成舆情文本。上链存储模块将舆情文本存储于IPFS网络内且每一舆情文本对应有唯一的IPFS地址，通过调用智能合约将每一舆情文本的IPFS地址存储至区块链内。预处理模块预处理获取的舆情文本。向量转换模块采用词向量模型将预处理后的舆情文本中的关键词转化为向量表示。主题分类识别模块基于关键词的向量表示，计算舆情文本内每一关键词与预设主题词之间的相似度以进行主题识别；并将每一舆情文本表示为其所包含的关键词的向量平均值，使用聚类算法将所获取的所有舆情文本的向量平均值聚成若干个簇，每个簇代表一个主题以进行舆情信息的主题分类。摘要分析模块分析预处理后的舆情文本，基于舆情文本的关键词呈现该舆情文本的摘要信息本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种应用于一网统管的区块链和IPFS舆情共享方法，其特征在于，包括：搭建基于区块链和IPFS的舆情共享平台并获取舆情信息以形成舆情文本；将舆情文本存储于IPFS网络内且每一舆情文本对应有唯一的IPFS地址，通过调用智能合约将每一舆情文本的IPFS地址存储至区块链内；预处理获取的舆情文本；采用词向量模型将预处理后的舆情文本中的关键词转化为向量表示；基于关键词的向量表示，计算舆情文本内每一关键词与预设主题词之间的相似度以进行主题识别；并将每一舆情文本表示为其所包含的关键词的向量平均值，使用聚类算法将所获取的所有舆情文本的向量平均值聚成若干个簇，每个簇代表一个主题以进行舆情信息的主题分类；分析预处理后的舆情文本，基于舆情文本的关键词呈现该舆情文本的摘要信息；基于每一舆情信息的IPFS地址将其主题和摘要信息广播至区块链内的每一节点；该步骤包括：在区块链上创建一个新的智能合约，用于存储和管理舆情信息和关键词信息；智能合约定义舆情信息的结构，包括舆情文本、关键词、主题以及摘要并同时定义相应的存储和查询方法；在区块链上创建一个新的交易，新的交易关联当前所处理的舆情信息的IPFS地址并将舆情文本、摘要、关键词以及主题打包；将交易提交到区块链网络中并等待网络中的节点确认和处理交易；一旦交易被确认并写入区块链中，舆情信息和关键词信息将与该条舆情信息相关联，将其主题和摘要信息广播至区块链内的每一节点。2.根据权利要求1所述的应用于一网统管的区块链和IPFS舆情共享方法，其特征在于，使用k
‑
means聚类算法将所获取的所有舆情文本的向量平均值聚成若干个簇，每一舆情文本的向量平均值的计算公式如下：其中，表示舆情文本t的向量平均值，N(t)表示舆情文本t中的关键词的数量，表示舆情文本t中第i个关键词的向量表示。3.根据权利要求1所述的应用于一网统管的区块链和IPFS舆情共享方法，其特征在于，基于舆情文本的关键词呈现该舆情文本的摘要信息包括：以预处理后所获得的舆情文本的关键词为节点，词与词之间的共现关系为边构建有向加权图；将关键词节点的初始权重设置为1并迭代计算每个节点的权重直到收敛；计算每个节点的入度权重之和并将其作为该节点的初始权重；对于节点v，遍历所有指向其的节点u并计算每一节点u对节点v的贡献值，将所有贡献值相加以得到节点v的新权重值；将每个节点的权重值除以所有节点权重值之和以归一化所有节点的权重值；其中节点u对节点v的贡献值计算公式为：；表示从节点u指向节点v的边的权重，是节点u指向所有外部节点的集合，表示从节点u指向节点k的边的权重；计算每个节点的得分，对于节点v其得分表示为：其中，表示节点v的得分，u
→
v表示所有指向节点v的节点集合；为上一次迭代出的节点u的得分；；d为阻尼系数，取值范围为[0,1]代表从有向加权图中的一点指向其它任意点的概率；对所有节点的得分进行排序并选取前N个节点所对应的关键词形成该舆情文本的摘要信息。4.根据权利要求3所述的应用于一网统管的区块链和IPFS舆情共享方法，其特征在于，根据关键词构建有向加权图后，基于主题识别过程中的关键词向量表示来计算每个节点的权重。
5.根据权利要求1所述的应用于一网统管的区块链和IPFS舆情共享方法，其特征在于，在预处理舆情文本和词向量转化后，以并行的方式同步...

【专利技术属性】
技术研发人员：申永生，程天煜，杨威，陈冲杰，于航，尤会敏，
申请(专利权)人：杭州城市大脑有限公司，
类型：发明
国别省市：