一种文本分类的方法及系统技术方案

技术编号:6049699 阅读:257 留言:0更新日期:2012-04-11 18:40
本申请公开了一种文本分类的方法,用于实现文本的文类,并提高分类的准确度和简化过程。所述方法包括:对获得的文本内容进行分词,得到多个词汇;确定得到的多个词汇在向量空间群的第一级向量空间中的词汇向量和;其中,向量空间由树形类目结构中非叶子类目的直接子类目构成,向量空间群由所有向量空间组成,第一级向量空间由树形类目结构中最顶层类目构成,词汇向量包括词汇在向量空间中各类目下的词频向量;将文本分入词汇向量和与第一级向量空间的各类目的距离中最短距离对应的类目下。本申请还公开了用于实现所述方法的系统。

Method and system for text classification

The invention discloses a method for text classification, which is used for realizing text classes, and improving the accuracy of classification and simplifying the process. The method comprises the following steps: segmentation of the text of multiple words; determining a plurality of words in the first stage of vector space vector space group in the vocabulary of the vector and a vector space structure; wherein, the tree structure in the category of non leaf category directly sub categories, vector space by all vector group the composition of space, constitute the first level vector space by category tree structure in the top category, including lexical frequency word vector vector of each category in vector space; the shortest distance will be divided into text vocabulary vector and the first vector space distance corresponding to various objective category. A system for implementing the method is also disclosed.

【技术实现步骤摘要】

本申请涉及计算机和通信领域,特别是涉及文本分类的方法及系统
技术介绍
文本分类是文本挖掘的一个重要内容,是指按照预先定义的主题类别,为文档集 合中的每个文档确定一个类别。通过自动文本分类系统把文档进行归类,可以帮助人们更 好地寻找需要的信息和知识。在人们看来,分类是对信息的一种最基本的认知形式。传统的 文献分类研究有着丰富的研究成果和相当的实用水平。但随着文本信息的快速增长,特别 是互联网(Internet)上在线文本信息的激增,文本自动分类已经成为处理和组织大量文 档数据的关键技术。现在,文本分类正在各个领域得到广泛的应用。但是,随着信息量日趋 丰富,人们对于内容搜索的准确率,查全率等方面的要求会越来越高,因而对文本分类技术 需求大为增加,如何构造一个有效的文本分类系统仍然是文本挖掘的一个主要研究方向。现有技术中进行文本分类的过程包括预先建立多个类目;基于统计和学习,确 定每个词汇在每个类目中的词频值;当获得某个文本时,对文本中的内容进行分词,得到多 个词汇;计算得到的多个词汇在各类目中的词频值之和;最大求和结果对应的类目即为该 文本对应的类目。但是可能存在某种情况,如图1所本文档来自技高网...

【技术保护点】
1.一种文本分类的方法,其特征在于,包括以下步骤:对获得的文本内容进行分词,得到多个词汇;确定得到的多个词汇在向量空间群的第一级向量空间中的词汇向量和;其中,向量空间由树形类目结构中非叶子类目的直接子类目构成,向量空间群由所有向量空间组成,第一级向量空间由树形类目结构中最顶层类目构成;将文本分入词汇向量和与第一级向量空间的各类目向量的距离中最短距离对应的类目下。

【技术特征摘要】

【专利技术属性】
技术研发人员:孙翔
申请(专利权)人:阿里巴巴集团控股有限公司
类型:发明
国别省市:KY[开曼群岛]

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1