【技术实现步骤摘要】
一种基于大数据的数据采集方法和系统
本专利技术涉及数据采集领域，尤其是一种基于大数据的数据采集方法和系统。
技术介绍
随着科学、技术和工程的迅猛发展，近20年来，许多领域(如光学观测、光学监控、健康医护、传感器、用户数据、互联网和金融公司以及供应链系统)都产生了海量的数据(更恰当的描述或许是“无限”的数据，例如，在光学观测和监控等应用中，数据都是源源不断而来的，形成了“数据灾难”)，大数据的概念也随之再次引起重视。与传统的数据相比，除了大容量等表象特点，大数据还具有其他独特的特点，例如大数据通常是无结构的，并且需要得到实时分析，因此大数据的发展需要全新的体系架构，用于处理大规模数据的获取、传输、存储和分析。大数据的概念自2008年提出以来就受到各行各业的重视。经过近10年的发展，大数据已经从一个模糊的概念逐渐演变为实际生产力。尤其在金融预警、舆情监控以及互联网用户偏好分析等以数据为中心的情报分析领域，其日常的情报活动产生的海量数据，蕴含着该领域的特殊活动规律，这些规律可用于分析相应领域的数据—信息—情报的演化过程中，...
【技术保护点】
1.一种基于大数据的数据采集方法，其特征在于，包括以下步骤：/nS1：利用网络爬虫抓取待采集的数据源的URL集合，获取所述URL对应的网页；/nS2：基于PageRank算法与HITS算法分别计算所述网页的评分，并对计算结果进行加权，获得所述网页的总价值分并按所述总价值分排序；/nS3：响应于所述总价值分大于预定的第一阈值，按所述网页的所述总价值分的优先级解析并获取所述网页中的图片和/或文字，基于文本信息抽取方法获取所述网页中包含的关键词；/nS4：计算所述关键词与所述关键词对应的网页的相关度，并基于所述相关度向共识节点发送共识请求，响应于所述相关度大于预设的第二阈值且共识...
【技术特征摘要】
1.一种基于大数据的数据采集方法，其特征在于，包括以下步骤：
S1：利用网络爬虫抓取待采集的数据源的URL集合，获取所述URL对应的网页；
S2：基于PageRank算法与HITS算法分别计算所述网页的评分，并对计算结果进行加权，获得所述网页的总价值分并按所述总价值分排序；
S3：响应于所述总价值分大于预定的第一阈值，按所述网页的所述总价值分的优先级解析并获取所述网页中的图片和/或文字，基于文本信息抽取方法获取所述网页中包含的关键词；
S4：计算所述关键词与所述关键词对应的网页的相关度，并基于所述相关度向共识节点发送共识请求，响应于所述相关度大于预设的第二阈值且共识程度大于预设的第三阈值，将所述关键词存储至对应类别的区块链中，所述网页存储至设置于所述区块链的节点上的数据库中，并建立所述网页与所述关键词映射关系。
2.根据权利要求1所述的基于大数据的数据采集方法，其特征在于，所述步骤S1中还包括利用布隆过滤器对所述URL去重。
3.根据权利要求1所述的基于大数据的数据采集方法，其特征在于，所述步骤S2中PageRank算法的计算公式具体为：
其中，PRj表示第j个网页的PageRank值、N表示网页数、Ii，j是零一变量(若网页i引用了网页j，则其值为1，反之为0)、ni表示网页i中链向其它页面的链接数量、d为衰减因子；HITS算法的计算公式具体为：
其中，网页i的Authority值为Ai，Hub值为Hi，E表示网页j指向网页i的链接，所述PageRank算法和所述HITS算法的权重值相同且均为50％。
4.根据权利要求1所述的基于大数据的数据采集方法，其特征在于，所述步骤S3中的文本信息抽取方法包括基于语言规则模板的信息抽取方法、基于统计方法的信息抽取方法、基于统计机器学习的信息抽取方法和基于图的信息抽取方法。
5.根据权利要求4所述的基于大数据的数据采集方法，其特征在于，所述步骤S3中所述关键词的获取方式具体为：利用所述基于语言规则模板的信息抽取方法、所述基于统计方法的信息抽取方法、所述基于统计机器学习的信息抽取方法和所述基于图的信息抽取方法分别确定所述网页的关键词，并将结果相同的关键词确定为所述网页的关键词，所述基于统...
【专利技术属性】
技术研发人员：罗水芳，邵州华，楼未吉，
申请(专利权)人：杭州拾贝知识产权服务有限公司，
类型：发明
国别省市：浙江;33
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。