文本数据处理方法、装置、设备、介质及程序产品制造方法及图纸

技术编号:43110725 阅读:20 留言:0更新日期:2024-10-26 09:51
本申请公开了一种文本数据处理方法、装置、设备、介质及程序产品;包括:通过K个事件分类模型对文本数据进行处理,得到K个分类参数;基于第一决策树的第m层学习器的第m输出结果中的第n数据与预设类型之间的第一差异程度,确定第m权重中与第m输出结果的第n数据关联的权重;第n数据与第m层学习器中的第n学习器关联;基于第m权重以及第m输出结果,确定第m+1输入数据;第m+1输入数据用于供第一决策树的第m+1层学习器处理以得到第m+1输出结果;基于第一决策树的第M层学习器的第M输出结果与文本数据的类型标签之间的第二差异程度,调整第一决策树的参数,得到训练完成的第一决策树。

【技术实现步骤摘要】

本申请涉及文本数据处理,尤其涉及一种文本数据处理方法、装置、设备、介质及程序产品


技术介绍

1、在实际应用中,通常通过预先定义的指定领域的事件分类模板,对文本数据比如新闻数据进行分析,从而确定文本数据所表征的事件类型。然而,上述事件分类模板中包含的事件类型以及事件特征相对固定,因此,上述方案无法满足实际应用中多样化的文本数据处理需求。


技术实现思路

1、基于以上技术问题,本申请实施例提供了一种文本数据处理方法、装置、设备、介质及程序产品。

2、本申请实施例首先提供了一种文本数据处理方法,所述方法包括:

3、通过k个事件分类模型对文本数据进行处理,得到k个分类参数;其中,k为大于1的整数;

4、基于第一决策树的第m层学习器的第m输出结果中的第n数据与预设类型之间的第一差异程度,确定第m权重中与所述第m输出结果的所述第n数据关联的权重;其中,所述第一决策树的第一层学习器用于对所述k个分类参数进行处理,得到第一输出结果;m与n均为大于或等于1的整数;所述第n数据与所述第m层学习本文档来自技高网...

【技术保护点】

1.一种文本数据处理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述基于第一决策树的第m层学习器的第m输出结果中的第n数据与预设类型之间的第一差异程度,确定第m权重中与所述第m输出结果的所述第n数据关联的权重,包括:

3.根据权利要求1所述的方法,其特征在于,所述方法还包括:

4.根据权利要求3所述的方法,其特征在于,所述方法还包括:

5.根据权利要求4所述的方法,其特征在于,所述基于所述P个论元参数以及所述样本分类结果对第二决策树进行训练,得到所述训练完成的第二决策树,包括:

>6.根据权利要求4...

【技术特征摘要】

1.一种文本数据处理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述基于第一决策树的第m层学习器的第m输出结果中的第n数据与预设类型之间的第一差异程度,确定第m权重中与所述第m输出结果的所述第n数据关联的权重,包括:

3.根据权利要求1所述的方法,其特征在于,所述方法还包括:

4.根据权利要求3所述的方法,其特征在于,所述方法还包括:

5.根据权利要求4所述的方法,其特征在于,所述基于所述p个论元参数以及所述样本分类结果对第二决策树进行训练,得到所述训练完成的第二决策树,包括:

6.根据权利要求4所述的方法,其特征在于,所述方法还包括:

7.根据权利要求4所述的方法,其特征在于,所述p个论元提取模型中的第p论元提取模型至少包括第一双向提取单元;p为大于或等于1且小于或等于p的整数;所述通过p个论元提取模型对所述文本数据进行处理,得到p个论元参数,包...

【专利技术属性】
技术研发人员:江为强王光涛
申请(专利权)人:中国移动通信集团有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1