【技术实现步骤摘要】
一种文章查重方法及系统
本专利技术涉及计算机搜索领域，尤其涉及一种互联网重复信息筛选方法及系统。
技术介绍
目前大学毕业生都必须完成一篇合格的毕业文章才能够顺利的从大学毕业，导师们需要对毕业文章进行检查评估，在这个过程中查重就是其中最重要，工作量也是做大的一项任务。目前文章查重方法主要有三种：基于字符串匹配的方法，基于文档指纹的方法和基于语义知识的方法。基于字符串匹配的方法是一种基于数理统计的方法。它先通过字符串匹配算法，找出待检测文档与数据库中的文档相匹配的字符串数目，随后利用相似性计算公式求出结果。这种方法对字符串的选取要求很高，同时字符串匹配算法的时间复杂度较高，需要较大的资源开销和较长的计算时间。基于文档指纹的方法通过将代表文档语义的文本作为“指纹”，通过比较“指纹”从而达到判别抄袭的目的。在选取“指纹”的过程中可能受到文章的层次结构的影响而造成漏判。基于语义知识的方法是通过分析比较待检测文章与数据库文章的自然语义相似程度从而达到判别抄袭的目的。该方法依赖于自然语言相似性的计算，由于中文语言的复杂性，基于语义知识的判断结果正确性很难得到保证。针对目前的查重...
【技术保护点】
1.一种文章查重方法，其特征在于，所述方法包括：根据上传的文章的关键字，获取相关文本信息；从所述文本信息中选取对比样本；分别对该文章和对比样本进行分解；根据分解后的所述文章和所述对比样本，计算文本相似度；具体方式如下：将分解后的所述文章的句子，与分解后的所述对比样本的句子进行遍历比对，得出每个句子中相同词语数量和不同词语数量；根据所述相同词语数量和不同词语数量的比值，得出文章中句子与对比样本中的每个句子的相似度，将这些相似度的最大值作为对比样本的正文内容的总相似度；将文章中的余下的句子进行一一比对后得出每个句子与对比样本正文内容的总相似度，将总相似度加权平均得到文章的正文内...
【技术特征摘要】
1.一种文章查重方法，其特征在于，所述方法包括：根据上传的文章的关键字，获取相关文本信息；从所述文本信息中选取对比样本；分别对该文章和对比样本进行分解；根据分解后的所述文章和所述对比样本，计算文本相似度；具体方式如下：将分解后的所述文章的句子，与分解后的所述对比样本的句子进行遍历比对，得出每个句子中相同词语数量和不同词语数量；根据所述相同词语数量和不同词语数量的比值，得出文章中句子与对比样本中的每个句子的相似度，将这些相似度的最大值作为对比样本的正文内容的总相似度；将文章中的余下的句子进行一一比对后得出每个句子与对比样本正文内容的总相似度，将总相似度加权平均得到文章的正文内容与对比样本的正文内容的文本相似度；对所述文章的整体相似度进行校验，校验方法包括：通过指定所述文章中的核心句子，与对比样本中每个句子进行遍历比对，得到句子相似度；当所述句子相似度与所述文本相似度之差超过预设值时，以所述句子相似度替代所述文本相似度呈现结果；其中，通过记录用户对所述文章相似度的评价结果，与计算得到所述文本相似度进行对比，加权综合超过一定阈值数量的记录用户相似度的评价结果，然后与所述文本相似度平均后得到结果并呈现出来。2.根据权利要求1所述的文章查重方法，其特征在于：所述根据上传的文章的关键字，获取文本信息，具体包括：通过网络爬虫在相关网站上获取含有所述关键字的文本信息。3.根据权利要求1所述的文章查重方法，其特征在于，从所述文本信息中选取对比样本，具体包括：从所述文本信息中任取一条信息，作为对比样本。4...
【专利技术属性】
技术研发人员：刘德彬，陈玮，孙世通，
申请(专利权)人：重庆誉存大数据科技有限公司，
类型：发明
国别省市：重庆,50
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。