文本分类方法及装置制造方法及图纸

技术编号:24683923 阅读:54 留言:0更新日期:2020-06-27 08:06
本发明专利技术公开了一种文本分类方法及装置,该方法包括:获取用于模型训练的文本;根据预设的文字与数字之间的对应关系确定所述用于模型训练的文本中的每个字对应的数字;根据所述用于模型训练的文本中的每个字对应的数字、所述用于模型训练的文本中每个字的位置以及所述用于模型训练的文本的分类生成第一格式数据;将所述第一格式数据作为训练数据采用预设的机器学习算法训练出文本分类模型,以根据训练好的文本分类模型进行文本分类。本发明专利技术的文本分类方法与现有技术方法相比提升了分类精度和分类速度。

Text classification method and device

【技术实现步骤摘要】
文本分类方法及装置
本专利技术涉及机器学习领域,具体而言,涉及一种文本分类方法及装置。
技术介绍
文本分类是NLP领域应用最广的技术之一,就是基于文本信息按一定的分类体系或标准进行自动分类标记。使用场景非常广泛,比如情感分析,信贷客户的舆情分析、行业分类、行外客户公私属性识别等。举个简单例子,如要根据户名识别公私属性,分别输入“茅台酒业、法提合·夏日夫、春城晚报、樊仲芳子、范江宗正、吉锅小米线”,则分类器将分别标记为“法人、个人、法人、个人、个人、法人”。常见的文本分类方法有基于传统机器学习的文本分类,如TF-IDF文本分类等;基于深度学习的文本分类,如FaceBook开源的Fasttext文本分类,Text-CNN文本分类等。现有技术的这些分类算法存在分类精度和速度不够理想的问题。
技术实现思路
本专利技术为了解决上述
技术介绍
中的至少一个技术问题,提出了一种文本分类方法及装置。为了实现上述目的,根据本专利技术的一个方面,提供了一种文本分类方法,该方法包括:获取用于模型训练的文本;根据预设的文字与数字本文档来自技高网...

【技术保护点】
1.一种文本分类方法,其特征在于,包括:/n获取用于模型训练的文本;/n根据预设的文字与数字之间的对应关系确定所述用于模型训练的文本中的每个字对应的数字;/n根据所述用于模型训练的文本中的每个字对应的数字、所述用于模型训练的文本中每个字的位置以及所述用于模型训练的文本的分类生成第一格式数据;/n将所述第一格式数据作为训练数据采用预设的机器学习算法训练出文本分类模型,以根据训练好的文本分类模型进行文本分类。/n

【技术特征摘要】
1.一种文本分类方法,其特征在于,包括:
获取用于模型训练的文本;
根据预设的文字与数字之间的对应关系确定所述用于模型训练的文本中的每个字对应的数字;
根据所述用于模型训练的文本中的每个字对应的数字、所述用于模型训练的文本中每个字的位置以及所述用于模型训练的文本的分类生成第一格式数据;
将所述第一格式数据作为训练数据采用预设的机器学习算法训练出文本分类模型,以根据训练好的文本分类模型进行文本分类。


2.根据权利要求1所述的文本分类方法,其特征在于,还包括:
获取待分类的文本;
根据所述文字与数字之间的对应关系确定所述待分类的文本中的每个字对应的数字;
根据所述待分类的文本中的每个字对应的数字、所述待分类的文本中每个字的位置生成第二格式数据;
将所述第二格式数据输入到训练好的文本分类模型中,得到所述待分类的文本的分类。


3.根据权利要求1所述的文本分类方法,其特征在于,所述将所述第一格式数据作为训练数据采用预设的机器学习算法训练出文本分类模型,包括:
将所述第一格式数据作为训练数据采用LightGBM算法训练出文本分类模型,其中,在训练文本分类模型时将所述第一格式数据中的所述待分类的文本中的每个字对应的数字设置为分类型变量。


4.根据权利要求1所述的文本分类方法,其特征在于,所述第一格式数据中包括:所述用于模型训练的文本的分类编号、所述用于模型训练的文本中每个字的位置序号以及所述用于模型训练的文本中的每个字对应的数字。


5.根据权利要求2所述的文本分类方法,其特征在于,所述第二格式数据中包括:所述待分类的文本中每个字的位置序号以及所述待分类的文本中的每个字对应的数字。


6.一种文本分类装置,其特征在于,包括:
训练文本获取单元,用于获取用于模型训练的文本;
数据字典单元,用于根据预设的文字与数字之间的对应关系确定所述用于模型训练的文本中的每个字对应的数字;
第一格式数据生成单元...

【专利技术属性】
技术研发人员:卢健范奇峰崔月皎
申请(专利权)人:中国工商银行股份有限公司
类型:发明
国别省市:北京;11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1