一种基于语义的文本分类方法技术

本发明专利技术提出了一种基于语义的文本分类方法，根据文本的语义对文本进行分类，包括以下步骤：A、根据文本集选择预设词典组合构建本体库；B、将文本集统一格式并分解为基本单元，根据本体库将文本集转化为概念；C、抽取文本集的特征项，并计算特征项的权重；D、根据预设训练集构建分类器，并根据预设测试集对分类器进行测试和调整；E、根据分类器对文本集进行分类。本发明专利技术提出的基于语义的文本分类方法，根据文本的语义对文本进行分类，可达到理想的分类效果，而且效率高。

【技术实现步骤摘要】
【专利摘要】本专利技术提出了，根据文本的语义对文本进行分类，包括以下步骤：A、根据文本集选择预设词典组合构建本体库；B、将文本集统一格式并分解为基本单元，根据本体库将文本集转化为概念；C、抽取文本集的特征项，并计算特征项的权重；D、根据预设训练集构建分类器，并根据预设测试集对分类器进行测试和调整；E、根据分类器对文本集进行分类。本专利技术提出的基于语义的文本分类方法，根据文本的语义对文本进行分类，可达到理想的分类效果，而且效率高。【专利说明】
本专利技术涉及文本信息智能检索
，尤其涉及。
技术介绍
文本分类技术在很多领域都有应用，例如，将文本进行分类，分类后的文本用于指导机器翻译中翻译模型的训练，可见，文本分类的精度很重要，精度高的分类文本，可以在其应用领域带来有益效果，而如果文本分类的精度不够，就会给使用这些分类文本的应用带来不利影响。 在现有的文本分类方法中，通常采用训练语料进行分类器训练，然后用训练后的分类器对文本进行分类的方式进行。这种方式下，首先，获取大量标注的训练语料存在困难，如果采用大规模手工标注，则效率低下，其次，由于训练语料有可能存在类别偏见(例如有的标记为新闻的语料，可能更适合标记为娱乐)，会导致分类器也带有类别偏见，因此最终会导致分类精度的降低。另外，现有技术也有用聚类的方法将文本分为若干类别的，但是由于在聚类时对聚出的各个类别无法控制，所以如果只采用聚类的方法将文本分为若干类别，可能存在无法得到真正需要的类的情况。
技术实现思路
基于
技术介绍
存在的问题，本专利技术提出了基于语义的文本分类方法，根据文本的语义对文本进行分类，可达到理想的分类效果，而且效率高。 本专利技术提出的，根据文本的语义对文本进行分类，包括以下步骤: A、根据文本集选择预设词典组合构建本体库； B、将文本集统一格式并分解为基本单元，根据本体库将文本集转化为概念； C、抽取文本集的特征项，并计算特征项的权重； D、根据预设训练集构建分类器，并根据预设测试集对分类器进行测试和调整； E、根据分类器对文本集进行分类。 优选地，预设词典包括实体词典和特征词典。 优选地，实体词典和特征词典由人工设置，并可根据文本集进行修改。 优选地，文本集根据实体词典进行概念转换。 优选地，文本集根据特征词典抽取特征项。 优选地，特征项权值的计算公式为:η W = tf X idf = / X ln(— +1) m 其中，W为特征项t在文档d中的权重值，tf表示t在d内出现的频率，idf表示t的反比文本频率，η表示训练集的文档总数，m表示训练集中包含t的文档数。 优选地，训练集由人工设置，并可根据文本集进行修改。 优选地，测试集根据训练集进行设置。 优选地，分类器采用SVM算法。 本专利技术根据文本的语义对文本进行分类，直接将文本集转换为概念，即去除了没有实际意义的冗余信息，节约了文本处理的时间，又提高了文本信息的清晰程度，尤其避免了一词多义和多词一义的干扰。本专利技术中直接抽取特征项并计算权重，作为文本分类的参考依据，使得分类结果更加合理、精确。本专利技术提供的，分类精度理想，效率高，能够满足大多数场景的需要。 【专利附图】【附图说明】 图1为本专利技术提供的的流程图。 【具体实施方式】 本专利技术提出的，根据文本的语义对文本进行分类，将文本集概念化处理使得文本信息表达更加清晰简练，使得分类结果更加理想的同时，也大大提高分类效率。 参照图1，本实施方式提供的分类方法包括以下步骤: A、根据文本集选择预设词典组合构建本体库； B、将文本集统一格式并分解为基本单元，根据本体库将文本集转化为概念； C、抽取文本集的特征项，并计算特征项的权重； D、根据预设训练集构建分类器，并根据预设测试集对分类器进行测试和调整； E、根据分类器对文本集进行分类。 本实施方式的步骤A中，预设词典包括实体词典和特征词典，实体词典和特征词典根据文本集所属行业由人工进行设定，并可根据文本集的内容进行修改，提高实体词典和特征词典的针对性，从而提高文本分类的精确度。 本实施方式的步骤B中，实体词典作为文本集提取实体的依据，文本集根据实体词典进行概念转换，放弃不含实体的内容，对文本信息进行提炼，使得文本信息更加清晰和简练，节约后续处理时间。 本实施方式的步骤C中，特征词典包含文本集中所有待识别的特征项，文本集根据特征词典抽取特征项，效率高，而且不容易遗漏。特征项权值的计算采用tf-1df算法，具体的计算公式为:η W = tfx idf = / X ln(— +1) m 其中，w为特征项t在文档d中的权重值；tf (Term Frequency,词频)表示t在d内出现的频率；idf (Inverse Document Frequency,逆向文件频率)表示t的反比文本频率，是反应t在文本集中按文本统计出现的频率的指标；n表示训练集的文档总数;m表示训练集中包含t的文档数。tf-1df算法在现有的算法中已经相当成熟，该算法的采用使得本分类方法更加稳定可靠。 本实施方式的步骤D中，训练集由人工设置，并可根据文本集进行修改，测试集根据训练集进行设置。如此，具体实施时，可通过人工选择训练集和测试集来实现最适合待分类文本集的分类器，进一步确保分类结果理想化。 本实施方式中的分类器采用SVM算法(Support Vector Machine,支持向量机)。 以上所述，仅为本专利技术较佳的【具体实施方式】，但本专利技术的保护范围并不局限于此，任何熟悉本
的技术人员在本专利技术揭露的技术范围内，根据本专利技术的技术方案及其专利技术构思加以等同替换或改变，都应涵盖在本专利技术的保护范围之内。【权利要求】1.，其特征在于，根据文本的语义对文本进行分类，包括以下步骤: A、根据文本集选择预设词典组合构建本体库； B、将文本集统一格式并分解为基本单元，根据本体库将文本集转化为概念； C、抽取文本集的特征项，并计算特征项的权重； D、根据预设训练集构建分类器，并根据预设测试集对分类器进行测试和调整； E、根据分类器对文本集进行分类。2.如权利要求1所述的基于语义的文本分类方法，其特征在于，预设词典包括实体词典和特征词典。3.如权利要求2所述的基于语义的文本分类方法，其特征在于，实体词典和特征词典由人工设置，并可根据文本集进行修改。4.如权利要求2所述的基于语义的文本分类方法，其特征在于，文本集根据实体词典进行概念转换。5.如如权利要求2所述的基于语义的文本分类方法，其特征在于，文本集根据特征词典抽取特征项。6.如权利要求1所述的基于语义的文本分类方法，其特征在于，特征项权值的计算公式为:w = tf X idf = / X ln(— +1) ' m 其中，W为特征项t在文档d中的权重值，tf表示t在d内出现的频率，idf表示t的反比文本频率，η表示训练集的文档总数,m表示训练集中包含t的文档数。7.如权利要求1所述的基于语义的文本分类方法，其特征在于，训练集由人工设置，并可根据文本集进行修改。8.如权利要求1或7所述的基于语义的文本分类方法，其特征在于，测试集根据训练集进行设置。9.如权利要求1本文档来自技高网...

【技术保护点】
一种基于语义的文本分类方法，其特征在于，根据文本的语义对文本进行分类，包括以下步骤：A、根据文本集选择预设词典组合构建本体库；B、将文本集统一格式并分解为基本单元，根据本体库将文本集转化为概念；C、抽取文本集的特征项，并计算特征项的权重；D、根据预设训练集构建分类器，并根据预设测试集对分类器进行测试和调整；E、根据分类器对文本集进行分类。

【技术特征摘要】

【专利技术属性】
技术研发人员：贾岩，
申请(专利权)人：安徽华贞信息科技有限公司，
类型：发明
国别省市：安徽;34