一种基于网络爬虫的文本信息爬取方法技术

本发明专利技术提供了一种基于网络爬虫的文本信息爬取方法，通过服务器获取网络爬虫任务的配置文件和第一文本；所述服务器根据所述配置文件开启网络URL信息爬取，并将爬取的信息整合为待处理信息；所述服务器对所述待处理信息进行查重及删除重复内容处理后，得到第二文本；所述服务器计算第一文本与第二文本之间的相似度，若相似度超出预设阈值，则输出第二文本。本发明专利技术基于网络爬虫进行信息获取，并针对第一文本和第二文本的相似度判定本次爬取的信息是否符合要求，所以提高了信息爬取的效率。

【技术实现步骤摘要】
一种基于网络爬虫的文本信息爬取方法
本专利技术数据处理领域，尤其涉及一种基于网络爬虫的文本信息爬取方法。
技术介绍
现代社会是信息爆炸的社会，互联网上存在着海量的数据。现有技术中，用户可能根据一个文本的内容从网络的海量数据中进行比较的需求，例如出版社收到一份投稿之后，需要比对一下该稿件是否为抄袭的稿件，比如从大量信息中获取所需要信息。现有技术中的比较方法一般是由人工将稿件阅读完后总结出该稿件的核心思想，然后归纳出关键词，使用这些关键词在互联网上进行爬取，但是，如果稿件中的信息量较大，阅读需要花费大量的时间，影响了工作效率。因此，现有技术有待于进一步的改进。
技术实现思路
鉴于上述现有技术中的不足之处，本专利技术的目的在于为用户提供一种基于网络爬虫的文本信息爬取方法，克服现有技术中从网络的海量数据中获取信息效率低的缺陷。本专利技术公开了一种基于网络爬虫的文本信息爬取方法，其中，所述方法包括：服务器获取网络爬虫任务的配置文件和第一文本；所述配置文件含有的任务为：获取网络中与第一文本所含内容相似度超出预定第一阈值的信息；所述服务器根据所述配置文件开启网络URL信息爬取，并将爬取的信息整合为待处理信息；所述服务器对所述待处理信息进行查重及删除重复内容处理后，得到第二文本；所述服务器计算第一文本与第二文本之间的相似度，若相似度低于第二预设阈值，则重新根据所述配置文件开启网络URL信息爬取，若相似度超出第二预设阈值，则输出第二文本。可选的，所述服务器计算第一文本与第二文本之间的相似度的步骤包括:所述服务器对所述第一文本进行拆解得到若干候选句子；所述服务器确定各候选句子的重要性分数；所述服务器提取重要性分数大于预设值的目标句子作为所述第一文本的关键信息；所述服务器将所述第一文本的关键信息与第二文本的关键信息进行对比得出相似度。可选的，所述服务器对所述第一文本进行拆解得到若干候选句子的步骤中，对第一文本进行拆分的方法为：按照标点符号进行拆解；其中，所述标点符号为分号、逗号、句号时，进行拆解，当标点符号为顿号、冒号、引号时，不进行拆解。可选的，所述服务器确定各候选句子的重要性分数的步骤包括：判断所述候选句子中是否包含中文句子和/或网页链接地址；若仅仅含有中文句子，则将中文句子中各词组的权值之和作为所述候选句子的重要性分数；若仅仅含有网页链接地址，则将所述网页链接地址对应网页中所含页面元素的权值之和作为所述候选句子的重要性分数；若同时含有中文句子和网页链接地址，则将中文句子中各词组的权值之和和网页链接地址所对应网页中所含页面元素的权值之和的加权平均值作为所述候选句子的重要性分数。可选的，所述将中文句子中各词组的权值之和作为所述候选句子的重要性分数的步骤包括：按照语义分析的方式再将每个候选句子拆分为若干个词组；进行全文检索，计算各词组出现的次数；按照出现次数由高到低的顺序对各词组进行排序，每个词组按照出现次数赋予相应的权值，出现次数越高，权值越高；根据各词组的权值，计算各候选句子的重要性分数，该重要性分数即为该候选句子中各词组的权值之和。可选的，所述将所述网页链接地址对应网页中所含页面元素的权值之和作为所述候选句子的重要性分数步骤包括：服务器后台开启该网页链接地址对应的目标网页；服务器根据该目标网页中所含页面元素确定所述目标网页的重要性分数。可选的，所述服务器根据该目标网页中所含页面元素确定所述目标网页的重要性分数的步骤包括：使用下面的公式确定目标网页的重要性分数；其中，S(Vi)是目标网页的重要性分数，d是阻尼系数，一般设置为0.85，In(Vi)是存在指向目标网页的链接的网页集合。out(Vj)是网页j中的链接存在的链接指向的网页集合，out(Vj)取绝对值是用以表示该网页集合中元素的个数，S(Vj)是网页j的重要性分数。可选的，所述服务器将所述第一文本的关键信息与第二文本的关键信息进行相似度对比的步骤包括：计算第一文本的关键信息中的第一句子与第二文本的关键信息中的第二句子的余弦相似度；若余弦相似度高于预设值，则确定第一文本与第二文本近似。可选的，所述余弦相似度的计算方法为：将第一句子拆分为若干个词组；将第二句子拆分为若干个词组；将两组词组进行逐一对比，若存在，则记录为1，若不存在，则记录为0，得到第一序列和第二序列；计算第一序列和第二序列之间的余弦相似度，并作为第一句子和第二句子之间的余弦相似度。可选的，使用以下公式所述计算第一序列和第二序列之间的余弦相似度的计算：其中，ab表示a序列的中元素与b序列中相应的元素相乘后整体相加，分母表示a序列中所有元素的平方和开根号后乘以a序列中所有元素的平方和开根号。有益效果，本专利技术提供了一种基于网络爬虫的文本信息爬取方法，通过服务器获取网络爬虫任务的配置文件和第一文本；所述服务器根据所述配置文件开启网络URL信息爬取，并将爬取的信息整合为待处理信息；所述服务器对所述待处理信息进行查重及删除重复内容处理后，得到第二文本；所述服务器计算第一文本与第二文本之间的相似度，若相似度超出预设阈值，则输出第二文本。本专利技术基于网络爬虫进行信息获取，并针对第一文本和第二文本的相似度判定本次爬取的信息是否符合要求，提高了信息爬取的效率。附图说明图1为本专利技术所公开的一种基于网络爬虫的文本信息爬取方法的步骤流程图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术公开了一种基于网络爬虫的文本信息爬取方法，如图1所示，所述方法包括：步骤S101、服务器获取网络爬虫任务的配置文件和第一文本；所述配置文件含有的任务为：获取网络中与第一文本所含内容相似度超出预定第一阈值的信息。本步骤中为从网络中爬取与第一文本内容相似的信息，做预先的设置。具体的，在服务器中设置配置文件，所述配置文件含有爬取信息的任务，也即基于第一文本的内容从网络中获取相似的内容。所述配置文件在具体实施时，可以通过页面脚本的方式，进行运行。步骤S102、所述服务器根据所述配置文件开启网络URL信息爬取，并将爬取的信息整合为待处理信息。服务器根据上述步骤S101中设置的配置文件开启网络URL信息爬取，并将爬取到的信息整合为待处理信息。本步骤可以首先将爬取到的信息存储在服务器中，为了得到更有效的信息，先将爬取到的信息进行存储，可以分布存储。步骤S103、所述服务器对所述待处理信息进行查重及删除重复内容处理后，得到第二文本。对上述步骤S102中获取到的待处理信息进行处理，查找出其中重复的部分，并将其中重复内容删除掉，得到删减后的第二文本。步骤S104、所述服务器计算第一文本与第二文本之间的相似度，若相似度低于第二预设阈值，则重新根据所述配置文件开启网络URL信息爬取，若相似度超出第二预设阈值，则输出第二文本。所述服务器计算第一文本与第二文本之间的相似度，若两者之间的相似度低于第二预设阈值，则判定当前获取到的第二文本不符合要求，则返回步骤S101重新爬取信息。在具体实施时，在进行信息的重新爬取之前，还可以对配置文件进行修改，以使得获取到本文档来自技高网...

【技术保护点】
1.一种基于网络爬虫的文本信息爬取方法，其特征在于，所述方法包括：服务器获取网络爬虫任务的配置文件和第一文本；所述配置文件含有的任务为：获取网络中与第一文本所含内容相似度超出预定第一阈值的信息；所述服务器根据所述配置文件开启网络URL信息爬取，并将爬取的信息整合为待处理信息；所述服务器对所述待处理信息进行查重及删除重复内容处理后，得到第二文本；所述服务器计算第一文本与第二文本之间的相似度，若相似度低于第二预设阈值，则重新根据所述配置文件开启网络URL信息爬取，若相似度超出第二预设阈值，则输出第二文本。

【技术特征摘要】
1.一种基于网络爬虫的文本信息爬取方法，其特征在于，所述方法包括：服务器获取网络爬虫任务的配置文件和第一文本；所述配置文件含有的任务为：获取网络中与第一文本所含内容相似度超出预定第一阈值的信息；所述服务器根据所述配置文件开启网络URL信息爬取，并将爬取的信息整合为待处理信息；所述服务器对所述待处理信息进行查重及删除重复内容处理后，得到第二文本；所述服务器计算第一文本与第二文本之间的相似度，若相似度低于第二预设阈值，则重新根据所述配置文件开启网络URL信息爬取，若相似度超出第二预设阈值，则输出第二文本。2.根据权利要求1所述的基于网络爬虫的文本信息爬取方法，其特征在于，所述服务器计算第一文本与第二文本之间的相似度的步骤包括:所述服务器对所述第一文本进行拆解得到若干候选句子；所述服务器确定各候选句子的重要性分数；所述服务器提取重要性分数大于预设值的目标句子作为所述第一文本的关键信息；所述服务器将所述第一文本的关键信息与第二文本的关键信息进行对比得出相似度。3.根据权利要求2所述的基于网络爬虫的文本信息爬取方法，其特征在于，所述服务器对所述第一文本进行拆解得到若干候选句子的步骤中，对第一文本进行拆分的方法为：按照标点符号进行拆解；其中，所述标点符号为分号、逗号、句号时，进行拆解，当标点符号为顿号、冒号、引号时，不进行拆解。4.根据权利要求3所述的基于网络爬虫的文本信息爬取方法，其特征在于，所述服务器确定各候选句子的重要性分数的步骤包括：判断所述候选句子中是否包含中文句子和/或网页链接地址；若仅仅含有中文句子，则将中文句子中各词组的权值之和作为所述候选句子的重要性分数；若仅仅含有网页链接地址，则将所述网页链接地址对应网页中所含页面元素的权值之和作为所述候选句子的重要性分数；若同时含有中文句子和网页链接地址，则将中文句子中各词组的权值之和和网页链接地址所对应网页中所含页面元素的权值之和的加权平均值作为所述候选句子的重要性分数。5.根据权利要求4所述的基于网络爬虫的文本信息爬取方法，其特征在于，所述将中文句子中各词组的权值之和作为所述候选句子的重要性分数的步骤包括：按照语义分析的方式再将每个候选句子拆分为若干个词组...

【专利技术属性】
技术研发人员：向湘杰，
申请(专利权)人：东莞市华睿电子科技有限公司，
类型：发明
国别省市：广东,44