新闻数据处理方法、装置、计算机设备、存储介质和计算机程序产品制造方法及图纸

技术编号:42653019 阅读:25 留言:0更新日期:2024-09-06 01:45
本申请涉及数据处理领域,尤其是一种新闻数据处理方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括:获取待处理新闻数据;通过第一线程调用新闻数据处理模型,对所述待处理新闻数据进行多任务文本语义分析,得到各所述任务对应的第一新闻特征;其中,各所述任务为所述新闻数据处理模型中基于提示词工程得到的并行的任务;通过第二线程调用历史新闻数据库,对所述待处理新闻数据进行匹配处理,得到第二新闻特征,其中,所述第二线程与所述第一线程为并行处理线程;综合所述第一新闻特征以及所述第二新闻特征,得到综合新闻特征。采用本方法能够提高新闻数据特征提取准确性。

【技术实现步骤摘要】

本申请涉及数据处理,特别是涉及一种新闻数据处理方法、装置、计算机设备、存储介质和计算机程序产品


技术介绍

1、随着
的发展,人工智能技术开始慢慢进入人们的生活,人们开始接触并使用人工智能技术来更便捷地处理生活中的问题。

2、自然语言处理(nlp),作为人工智能的分支,其目标是使计算机能够理解,解释和生成人类语言。nlp涵盖了诸多任务,包括语言理解,文本生成,情感分析等。现如今大型语言模型横空出世,诸如gpt系列,通过学习大规模文本数据,使计算机能够理解语言的上下文,语法和语义。这使得计算机能够处理非结构化的自然语言文本,从而为新闻领域的信息处理提供了有力的工具。

3、知识库则是一种结构化的信息存储系统,包含有关特定领域或主题的知识。知识库的构建通常涉及人工整理和输入信息,以及定义实体之间的关系。知识库中的信息通常以图形或表格的形式组织,使得计算机能够更容易地理解和检索这些信息。

4、新闻领域的数据具有信息量大而复杂的特点,如何快速有效地筛选关键信息,以对风险判别是新闻领域的数据处理的一个目的。

5、然本文档来自技高网...

【技术保护点】

1.一种新闻数据处理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述方法还包括:

3.根据权利要求2所述的方法,其特征在于,所述通过提示词工程基于各所述任务以及所述历史新闻数据,得到各所述任务对应的训练集,包括:

4.根据权利要求3所述的方法,其特征在于,所述获取各所述任务类型对应的提示词,包括:

5.根据权利要求2至4任意一项所述的方法,其特征在于,所述任务包括实体检测任务、风险分类任务、情感分析任务以及中心句抽取任务。

6.根据权利要求1所述的方法,其特征在于,所述通过第二线程调用历史新闻数据...

【技术特征摘要】

1.一种新闻数据处理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述方法还包括:

3.根据权利要求2所述的方法,其特征在于,所述通过提示词工程基于各所述任务以及所述历史新闻数据,得到各所述任务对应的训练集,包括:

4.根据权利要求3所述的方法,其特征在于,所述获取各所述任务类型对应的提示词,包括:

5.根据权利要求2至4任意一项所述的方法,其特征在于,所述任务包括实体检测任务、风险分类任务、情感分析任务以及中心句抽取任务。

6.根据权利要求1所述的方法,其特征在于,所述通过第二线程调用历史新闻数据库,对所述待处理新闻数据进行匹配处理,得到第二新闻特征,包括:

7.根据权利要求1所述的方法,其特征在于,在所述综合所述第一新闻特征以及所述第二新闻特征,得到综合新闻特征之后,包括:

8.一种新闻数据处理装置,其特征在于,所述装置包括:

9.根据权利要求8所述的装置,其特征在于,所述装置还包括:

10.根据权利要求9所述的装置,其特征在于,所述训练集确定模块还用于确定各所述任务对应的任务类型;获取各所述任务类型对应的提示词;基于所述任务类型确定所述历史新闻数据对应的模型输出;基于所述提示词、...

【专利技术属性】
技术研发人员:李超凡林廷懋
申请(专利权)人:中国建设银行股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1