基于情报数据的文本检索分类方法、系统及存储介质技术方案

本发明专利技术公开一种基于情报数据的文本检索分类方法、系统及存储介质，方法包括：对OCR识别出来的文档进行采集，得到非结构化文档，并将文档存入数据库；通过人工或机器自动生成关键词字典，并对关键词字典进行归类；使用已分类的关键词字典对文档进行处理，基于关键词生成倒排索引，其中，在生成倒排索引时，增加每个所述关键词所在的位置信息；根据关键词所在的分类对文档进行分类标注，并将得到的分类结果存入数据库；对分类结果通过机器学习和/或人工标注方式生成新的词汇，并对新的词汇重新进行分类，将新的词汇存入所述关键词字典。本发明专利技术在生产索引的时候，增加每个关键字所在的位置信息，因加入了位置相关度信息，使得分类更准确。

Text retrieval classification method, system and storage medium based on information data

【技术实现步骤摘要】
基于情报数据的文本检索分类方法、系统及存储介质
本专利技术涉及情报检索
，尤其涉及一种基于情报数据的文本检索分类方法、系统及存储介质。
技术介绍
目前文本分类的方法有很多，基于统计的分类方法是通过模型对文本数据进行分类，分类性能比较好的方法有KNN、SVM等，但是这类方法有局限性，比如语料不全、训练样本的数量不够或者质量不佳等都会影响文本的分类效果。此外，在资料搜索引擎中，目前lucene搜索引擎的核心文档打分算法没有考虑关键词在文档中的位置，当用户搜索多个关键词组合时，这个算法不会考虑关键词的顺序，比如“中国北京”两个关键词，它只要出现次数多打分就越高，但实际的文档出现了大量的“中国”关键词，而且“北京”只出现少量，而且都跟“中国”这个关键词离得很远,这样的文档打分高，反而连续出现“北京中国”，但频次不高的文档打分低，结果就不符合用户的期望，因此，现有的检索分类方法不准确。
技术实现思路
本专利技术的目的是提出了一种基于情报数据的文本检索分类方法、系统及存储介质，以解决原有打分算法位置不相关的问题，提高检索分类的准确本文档来自技高网...

【技术保护点】
1.一种基于情报数据的文本检索分类方法，其特征在于，包括以下步骤：/n对OCR识别出来的文档进行采集，得到非结构化文档，并将所述文档存入数据库；/n通过人工或机器自动生成关键词字典，并对所述关键词字典进行归类；/n使用已分类的关键词字典对所述文档进行处理，基于关键词生成倒排索引，其中，在生成倒排索引时，增加每个所述关键词所在的位置信息；/n根据所述关键词所在的分类对所述文档进行分类标注，并将得到的分类结果存入数据库；/n对所述分类结果通过机器学习和/或人工标注方式生成新的词汇，并对新的词汇重新进行分类，将所述新的词汇存入所述关键词字典。/n

【技术特征摘要】
1.一种基于情报数据的文本检索分类方法，其特征在于，包括以下步骤：
对OCR识别出来的文档进行采集，得到非结构化文档，并将所述文档存入数据库；
通过人工或机器自动生成关键词字典，并对所述关键词字典进行归类；
使用已分类的关键词字典对所述文档进行处理，基于关键词生成倒排索引，其中，在生成倒排索引时，增加每个所述关键词所在的位置信息；
根据所述关键词所在的分类对所述文档进行分类标注，并将得到的分类结果存入数据库；
对所述分类结果通过机器学习和/或人工标注方式生成新的词汇，并对新的词汇重新进行分类，将所述新的词汇存入所述关键词字典。


2.根据权利要求1所述的基于情报数据的文本检索分类方法，其特征在于，所述方法还包括：
在接收到用户基于待查询关键词的查询请求时，基于所述关键词字典计算所述待查询关键词的相关度，将所述待查询关键词的相关度乘以位置相关的权重，所述位置相关的权重基于所述待查询关键词所在的位置信息获得；
根据乘以位置相关的权重后的待查询关键词的相关度，并基于预设的打分公式对数据库中的文档进行全文检索排序，并将检索结果归类到所述待查询关键词所在的类别；
将检索结果呈现给用户。


3.根据权利要求2所述的基于情报数据的文本检索分类方法，其特征在于，所述打分公式为：
score(q,d)＝distance(q,d)×queryNorm(q)×∑tinq(t∫(tind)×idf(t)2×t.getBost()×norm(t,d)；
其中，distance(q,d)为打分参数；
queryNorm(q)为计算每个查询条目的方差和；
t∫(tind)为Termt在文档d中出现的词频；
idf(t)为Termt在几篇文档中出现过；
t.getBost()为查询...

【专利技术属性】
技术研发人员：廖宏，杨程，覃琳，梁晖，陈国南，黄云，
申请(专利权)人：广西计算中心有限责任公司，
类型：发明
国别省市：广西;45