【技术实现步骤摘要】
基于图卷积网络与多特征融合的事件分类方法与装置
[0001]本专利技术涉及自然语言处理
,尤其涉及一种基于图卷积网络与多特征融合的事件分类方法与装置。
技术介绍
[0002]目前自然语言处理的预训练模型BERT的出现极大的促进了自然语言任务的快速发展,被广泛应用到各个自然语言处理的任务中,例如:智能问答,文本分类,语言翻译等等,但是由于BERT模型是在大规模语料上进行训练的,在下游任务中例如文本分类中存在两个问题:1、针对样本数量较少的情况下,往往对专门领域效果的分类不佳。
[0003]2、目前大多直接利用BERT预训练模型通过一个线性分类器来做文本分类的算法都是在数据集较为干净且类别分布较为均衡上进行的,但是真实的工业数据往往无法满足这种数据分布,因此这种利用BERT预训练模型通过一个线性分类器来做文本分类的算法往往效果不够好。
技术实现思路
[0004]有鉴于此,本专利技术提供一种基于图卷积网络与多特征融合的事件分类方法与装置,提升分类精度。
[0005]第一方面,基于图卷积网络与多 ...
【技术保护点】
【技术特征摘要】
1.一种基于图卷积网络与多特征融合的事件分类方法,其特征在于,所述事件分类方法包括:利用自然语言预训练模型Bert对事件训练样本进行向量抽取,得到事件训练样本的表示向量;并利用预设的依存句法分析算法抽取事件训练样本的句子依存关系图,以及将所述事件训练样本的句子依存关系图送入图卷积网络抽取特征;根据所述事件训练样本的表示向量以及抽取的特征,对稠密连接网络进行训练;利用自然语言预训练模型Bert对待分类事件样本进行向量抽取,得到待分类事件样本的表示向量,利用预设的依存句法分析算法抽取待分类事件样本的句子依存关系图,并将所述待分类事件样本的句子依存关系图送入训练好的图卷积网络抽取特征;根据所述待分类事件样本的表示向量以及抽取的特征,利用训练好的稠密连接网络进行分类得到分类结果。2.根据权利要求1所述的事件分类方法,其特征在于,所述利用自然语言预训练模型Bert对事件训练样本进行向量抽取,得到事件训练样本的表示向量的步骤包括:使用下述公式1对事件训练样本进行向量抽取,得到事件训练样本的表示向量:公式1其中BERT代表自然语言预训练模型,代表文本,代表抽取后的表示向量。3.根据权利要求2所述的事件分类方法,其特征在于,所述利用预设的依存句法分析算法抽取事件训练样本的句子依存关系图的步骤具体根据如下公式2以及公式3进行操作:公式2公式3其中,代表每个表示事件,代表根据依存句法分析算法对句子生成依存图,graph代表根据依存关系图抽取每个词语的特征向量生成句子特征图。4.根据权利要求3所述的事件分类方法,其特征在于,所述根据所述事件训练样本的表示向量以及抽取的特征,对稠密连接网络进行训练的步骤具体包括:根据如下公式5将所述事件训练样本的表示向量以及抽取的特征进行融合,得到加权后的特征:公式5其中,代表的权重,代表的权重,为通过图卷积网络抽取的特征;通过预设的自注意力算法融合加权后的特征和事件分类描述的向量特征组,得到融合后的特征;将融合后的特征送入稠密连接网络进行训练。5.一种基于图卷积网络与多特征融合的事件分类装置,其特征在于,所述事件分类装置包括:训练样本处理模块,用于利用自然语言预训练模型Bert对事件训练样本进行向量抽取,得到事件训练样本的表...
【专利技术属性】
技术研发人员:李鹏飞,
申请(专利权)人:中电云数智科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。