一种研报正文的文本分类方法技术

技术编号:23161729 阅读:24 留言:0更新日期:2020-01-21 21:59
本发明专利技术涉及一种研报正文的文本分类方法,过程为:首先收集一定数量的研报,对收集的研报段落进行标注形成样本;然后将标注好的样本交给机器学习框架进行训练、得到一个综合的训练模型;最后将需要识别的原始研报文件经过内容提取、文本降噪处理后,由综合训练模型完成对研报内容的提取分类。本方法有效提高对研报段落进行提取与分类的准确度,提高对研报的文本分析能力。

A text classification method of research paper

【技术实现步骤摘要】
一种研报正文的文本分类方法
本专利申请属于机器学习
,更具体地说,是涉及一种研报正文的文本分类方法。
技术介绍
目前现有成熟的自然语言处理技术能够识别出研报中的实体,可以将研报进行分类,比如分成个股研报、行业研报、期货研报等等,但是如果需要对研报中的每个段落进行分类的话,比如个股研报包括核心观点、客观论述、盈利预测、风险提示,那么现有的文本分类技术显然是满足不了需求的。同时目前的深度学习模型主要包括TextCnn、LSTM、FastText等模型,这些模型都是基于神经网络的深度学习模型,擅长单文本分类,但是对段落提取与分类准确度非常的低。
技术实现思路
本专利技术需要解决的技术问题是提供一种研报正文的文本分类方法,有效提高对研报段落进行提取与分类的准确度。为了解决上述问题,本专利技术所采用的技术方案是:一种研报正文的文本分类方法,过程为:a、收集一定数量的研报,对收集的研报段落进行标注形成样本;b、将标注好的样本交给机器学习框架进行训练、从而得到综合训练模型;c、最后将需要识别的原始研报文件经过内容提取、文本降噪处理后,由综合训练模型完成对研报内容的提取分类。本专利技术技术方案的进一步改进在于:a中,对收集的研报段落通过手工进行标注。本专利技术技术方案的进一步改进在于:b中,综合训练模型包括若干个神经网络训练模型,神经网络训练模型包括FastText、LSTM、TextCnn的一种或多种。本专利技术技术方案的进一步改进在于:c中,通过文本解析工具将需要识别的原始研报文件的内容提取出来,文本解析工具为pdf解析工具。本专利技术技术方案的进一步改进在于:降噪处理包括文本文字格式统一、标点符号全角半角统一、文本查漏补缺、灰度处理的一种或多种。本专利技术技术方案的进一步改进在于:综合训练模型通过文章段落规则对需要识别的原始研报文件进行段落提取和分类,文章段落规则为按照段落内容将段落分成若干个子内容,子内容包括摘要、核心观点、客观论述、盈利预测或风险提示的一种或多种。由于采用了上述技术方案,本专利技术取得的有益效果是:本专利技术对段落提取与分类准确度高,研报的解析效率较高,同时准确率得到提升,进而提高对研报的文本分析能力,为研报的深度解析处理提供依据。附图说明图1为本专利技术的流程示意图。具体实施方式下面结合实施例对本专利技术做进一步详细说明。如图1所示,本专利技术公开了一种研报正文的文本分类方法,过程为:a、收集一定数量的研报,对收集的研报段落进行标注形成样本;b、将标注好的样本交给机器学习框架进行训练、从而得到综合训练模型;c、最后将需要识别的原始研报文件经过内容提取、文本降噪处理后,由综合训练模型完成对研报内容的提取分类。a中,对收集的研报段落通过手工进行标注,工作量为几千至上万条。b中,综合训练模型包括若干个神经网络训练模型,神经网络训练模型包括FastText、LSTM、TextCnn的一种或多种,也可以为其他模型。c中,通过文本解析工具将需要识别的原始研报文件的内容提取出来,文本解析工具为pdf解析工具。降噪处理包括文本文字格式统一、标点符号全角半角统一、文本查漏补缺、灰度处理的一种或多种。综合训练模型通过文章段落规则对需要识别的原始研报文件进行段落提取和分类,文章段落规则为按照段落内容将段落分成若干个子内容,子内容包括摘要、核心观点、客观论述、盈利预测或风险提示的一种或多种。通过上述操作,可以有效完成对研报内容段落的提取与分类,文本输出后便于后续的处理操作。本文档来自技高网...

【技术保护点】
1.一种研报正文的文本分类方法,其特征在于过程为:/na、收集一定数量的研报,对收集的研报段落进行标注形成样本;/nb、将标注好的样本交给机器学习框架进行训练、从而得到综合训练模型;/nc、最后将需要识别的原始研报文件经过内容提取、文本降噪处理后,由综合训练模型完成对研报内容的提取分类。/n

【技术特征摘要】
1.一种研报正文的文本分类方法,其特征在于过程为:
a、收集一定数量的研报,对收集的研报段落进行标注形成样本;
b、将标注好的样本交给机器学习框架进行训练、从而得到综合训练模型;
c、最后将需要识别的原始研报文件经过内容提取、文本降噪处理后,由综合训练模型完成对研报内容的提取分类。


2.根据权利要求1所述的研报正文的文本分类方法,其特征在于:a中,对收集的研报段落通过手工进行标注。


3.根据权利要求1所述的研报正文的文本分类方法,其特征在于:b中,综合训练模型包括若干个神经网络训练模型,神经网络训练模型包括FastText、LSTM、TextCnn的一种或多...

【专利技术属性】
技术研发人员:张发恩戴辉辉龚才春
申请(专利权)人:创新奇智南京科技有限公司
类型:发明
国别省市:江苏;32

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1