【技术实现步骤摘要】
具有明显类别划分的非结构化电子文档的检索方法和系统
本专利技术涉及一种具有明显类别划分的非结构化电子文档的检索方法和系统。
技术介绍
数字资产是企业中最具价值的无形资产之一。数字资产通常可以分为结构化数据和非结构化数据，所谓结构化数据是指具有良好定义的结构，能够被方便解析，并可以在关系数据库中存储的数据；非结构化数据是相对于结构化数据而言不便于采用二维表结构表示的数据类型。大型企业的各业务应用系统中，非结构化文档格式多样化、文档内容多样化、相关流程多样化的非结构化数据文档全面覆盖了公司经营管理的方方面面，但其具有 明显类别划分的特点。通常，非结构化数据通常是由若干具有业务相关性的非结构化数据按照国家相关标准进行封装后而形成，是由企业在长时间、耗费了大量的人力、物力、财力的基础上形成的，含有大量可挖掘的、有助于提升企业经营效益的重要信息。随着企业信息化程度的逐渐深化，非结构化数据文档的数量呈不断上升的趋势。根据相关统计数据，在现代大型企业中，非结构化数据占比达80%以上，而其中最有价值的、可被进行二次加工的非结构化数据是以电子文档。作为电子文档使用的入口，电子文档检...
【技术保护点】
具有明显类别划分的非结构化电子文档的检索方法，其特征在于：包括文档分类和类型关键词识别阶段：文档分类是将特定集合的文档，按照各文档内容之间存在的关系进行分类；类型关键词识别是将所有类型的关键词识别出来；实时搜索阶段：根据用户输入的搜索词，查询符合搜索结果的文档，并按照文档相关性从高到低返回搜索结果，该阶段所采用的实时搜索相关性算法公式如下：Σ1N(TwTalog(DDw)(DCw*cn)12)公式中，N代表一共输入的检索词的个数；Tw是一个检索词在该文档中出现的次数；Ta是该文档的总词数；D是文档的数目；Dw代表该检索词在搜索文档集合中的多少个文档中出现过；Cw...
【技术特征摘要】
1.具有明显类别划分的非结构化电子文档的检索方法，其特征在于包括 文档分类和类型关键词识别阶段文档分类是将特定集合的文档，按照各文档内容之间存在的关系进行分类；类型关键词识别是将所有类型的关键词识别出来； 实时搜索阶段根据用户输入的搜索词，查询符合搜索结果的文档，并按照文档相关性从高到低返回搜索结果，该阶段所采用的实时搜索相关性算法公式如下2.根据权利要求1所述的具有明显类别划分的非结构化电子文档的检索方法，其特征在于所述文档分类采用“特征向量比较法”，其具体包括如下步骤 步骤11、根据文档内容，计算文档的特征向量准备一个字典库，通过分析文档中是否包含字典库的某个词，以及词出现的频率，得到文档的特征向量，特征向量的维数和字典库中词的个数一致； 步骤12、通过余弦定理，计算两两文档之间的余弦夹角，判断文档的类型相关性采用数学中的余弦定理计算每两个文档对应的特征向量之间的夹角，夹角用弧度表示，数值越小，代表文档内容越接近，越有可能被归为同一类； 步骤13、通过“自底向上、不断合并”的方法，将余弦夹角小的文档归为同一类本步骤是一个迭代的计算过程，在每一次迭代确定一个“阈值”数，将余弦夹角小于该“阈值”的两个文档归为同一类，而后进入下一次迭代；后面执行的迭代的“阈值”大于之前迭代的“阈值”，通过这个步骤，可以使得文档分别被归类，且类别越来越少，而每一个类的文档越来越大，当类别的数目到达一个预设值时，迭代终止。3.根据权利要求2所述的具有明显类别划分的非结构化电子文档的检索方法，其特征在于所述类型关键词识别采用“特征向量比较法”，其是将字典库中的词和类别的平均特征向量进行余弦比较，如果和某个类别的夹角数值小于一个特定阈值，则就可以认为该关键词属于该类别，是该类别的关键词。4.具有明显类别划分的非结构化电子文档的检索系统，其特征在于包括 文档分类模块将特定集合的文档，...
【专利技术属性】
技术研发人员：倪时龙，宋立华，余深田，郑映，洪顺淋，
申请(专利权)人：福建亿榕信息技术有限公司，国家电网公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。