新闻稿件的生成方法及装置、存储介质、电子装置制造方法及图纸

技术编号:28839225 阅读:17 留言:0更新日期:2021-06-11 23:37
本发明专利技术提供了一种新闻稿件的生成方法及装置、存储介质、电子装置,其中,该方法包括:获取新闻源数据中的关键词,以及抽取所述新闻源数据中的实体信息;从所述实体信息中提取与所述关键词匹配的实体特征信息;提取所述新闻源数据的文本特征信息,并根据所述文本特征信息和所述实体特征信息聚类生成新闻稿件,其中,所述新闻稿件用于通过摘要描述所述新闻源数据的内容。通过本发明专利技术,解决了相关技术中新闻数据聚类效率低的技术问题,提高了多源文本数据的聚类效率,降低了新闻数据的冗余度。

【技术实现步骤摘要】
新闻稿件的生成方法及装置、存储介质、电子装置
本专利技术涉及计算机领域,具体而言,涉及一种新闻稿件的生成方法及装置、存储介质、电子装置。
技术介绍
相关技术中,随着新闻数字化的兴起,网络新闻信息爆炸式增长。网络上存在着海量的新闻内容,在这些新闻之中,因新闻报道者的不同,新闻内容也会存在着差异,但本质上还是同一个新闻主题。同时,网络上的海量新闻以文章的形式呈现居多,人们想要得到一些新闻消息时需要额外花费不少时间。现代信息技术和存储技术的快速发展以及互联网的迅速蔓延,以网络为载体的网络新闻兴起,网络新闻信息爆炸式增长,其中可能存在一些虚假新闻,而如何辨别筛选出可信度高的新闻是一个关键的问题。同时,现代人们工作生活节奏加快,如何使人们在短时间内快速了解新闻信息是一个重要的问题,面对这两个挑战性问题,只依靠人力来解决不仅低效且难以实现,所以能够对海量数据进行智能化处理的人工智能技术成为现在的研究热点,并在近些年得到快速发展,各种基于人工智能技术的系统层出不穷。利用文本摘要抽取技术,根据这些同一主题但不同描述内容的新闻信息得到简短且有可靠性的新闻摘要,人们能通过新闻摘要快速了解新闻内容。相关技术中,信息技术和存储技术的快速发展以及互联网的迅速蔓延,以网络为载体的网络新闻兴起,网络新闻信息爆炸式增长,其中可能存在一些虚假新闻,而如何辨别筛选出可信度高的新闻是一个关键的问题。同时,现代人们工作生活节奏加快,如何使人们在短时间内快速了解新闻信息是一个重要的问题,面对这两个挑战性问题,只依靠人力来解决不仅低效且难以实现,所以能够对海量数据进行智能化处理的人工智能技术成为现在的研究热点,并在近些年得到快速发展,各种基于人工智能技术的系统层出不穷。相关技术中,人工智能应用系统在数据采集环节采取的爬取策略单一,采集到的数据可能会造成后续机器学习的性能影响,尤其比如像新闻信息数据,若在采集的时候没有针对虚假新闻的处理,能可能会导致虚假新闻也进入到了机器学习过程,进而对最终的应用系统造成不良影响。相关技术中的文本聚类是基于文本相似度来进行分类的,但是仅通过文本相似度来判别聚类,会因为数据特征不够丰富造成分类效果不佳。比如像新闻数据这样的信息的聚类时,若有多个不同主题的新闻是由同一个报道方来报道,那很有可能新闻文本描述方式相似,从而造成了不同主题新闻却拥有较高文本相似度的问题。相关技术中的文本摘要是从给定的一个文本文件中得到摘要的,但是面对像新闻数据这种可能存在同一主题却具有多个不同报道方式的数据文本来说,从单一文本文件抽取出摘要的方法没能充分利用上新闻的信息数据,会对最后的新闻摘要结果造成影响。针对相关技术中存在的上述问题,目前尚未发现有效的解决方案。
技术实现思路
本专利技术实施例提供了一种新闻稿件的生成方法及装置、存储介质、电子装置。根据本专利技术的一个实施例,提供了一种新闻稿件的生成方法,包括:获取新闻源数据中的关键词,以及抽取所述新闻源数据中的实体信息;从所述实体信息中提取与所述关键词匹配的实体特征信息;提取所述新闻源数据的文本特征信息,并根据所述文本特征信息和所述实体特征信息聚类生成新闻稿件,其中,所述新闻稿件用于通过摘要描述所述新闻源数据的内容。可选的,获取新闻源数据中的关键词包括:采用限制来源的方式从指定数据源采集目标主题的第一新闻源数据;提取所述第一新闻源数据中的第一关键词集合,并基于所述第一关键词集合采用非限制来源的方式从搜索引擎采集第二新闻源数据;提取所述第二新闻源数据中的第二关键词集合。可选的,抽取所述新闻源数据中的实体信息包括:对所述新闻源数据进行数据标注,生成新闻数据集,其中,所述新闻数据集包括新闻文本分词后的词序列和对应的标签信息;将所述新闻数据集划分为训练集,验证集,以及测试集;采用所述训练集,所述验证集,以及所述测试集迭代训练预设命名实体识别NER模型,直到最新的目标NER模型满足预设条件,并采用所述目标NER模型输出所述新闻数据集的实体信息,其中,所述实体信息包括有效字符序列。可选的,从所述实体信息中提取与所述关键词匹配的实体特征信息包括:将所述实体信息转换为词序列,其中,所述实体信息中的每个字符对应一个字符特征向量;采用所述词序列与所述关键词进行匹配;从所述词序列中选择命中所述关键词的实体词集合,并提取与所述实体词集合对应的实体特征向量集合。可选的,根据所述文本特征信息和所述实体特征信息聚类生成新闻稿件包括:将所述文本特征信息和所述实体特征信息进行拼接,得到混合特征;使用预设聚类算法对所述混合特征进行聚类,得到类簇集合;从所述类簇集合中提取所述新闻稿件。可选的,从所述类簇集合中提取所述新闻稿件包括:以句为单位划分所述类簇集合中每个类簇中的新闻文本,并通过句之间的相邻关系构建文本网络,其中,所述文本网络的每个节点对应一个句;计算所述文本网络上的每个节点的权重值;从所述类簇集合选择权重值最高的P个关键句子,其中,P为正整数;将所述P个关键句子确定为所述新闻源数据的新闻摘要,并采用标题生成算法从所述新闻摘要中提取新闻标题,其中,所述新闻稿件包括所述新闻摘要和所述新闻标题。可选的,在根据所述文本特征和所述实体特征信息聚类生成新闻稿件之后,所述方法还包括:关联存储所述新闻稿件和所述实体信息;在展示页面按照预设新闻模板显示所述新闻稿件和所述实体信息。根据本专利技术的另一个实施例,提供了一种新闻稿件的生成装置,包括:获取模块,用于获取新闻源数据中的关键词,以及抽取所述新闻源数据中的实体信息;提取模块,用于从所述实体信息中提取与所述关键词匹配的实体特征信息;生成模块,用于提取所述新闻源数据的文本特征信息,并根据所述文本特征信息和所述实体特征信息聚类生成新闻稿件,其中,所述新闻稿件用于通过摘要描述所述新闻源数据的内容。可选的,所述获取模块包括:第一采集单元,用于采用限制来源的方式从指定数据源采集目标主题的第一新闻源数据;第二采集单元,用于提取所述第一新闻源数据中的第一关键词集合,并基于所述第一关键词集合采用非限制来源的方式从搜索引擎采集第二新闻源数据;提取单元,用于提取所述第二新闻源数据中的第二关键词集合。可选的,所述获取模块包括:生成单元,用于对所述新闻源数据进行数据标注,生成新闻数据集,其中,所述新闻数据集包括新闻文本分词后的词序列和对应的标签信息;划分单元,用于将所述新闻数据集划分为训练集,验证集,以及测试集;处理单元,用于采用所述训练集,所述验证集,以及所述测试集迭代训练预设命名实体识别NER模型,直到最新的目标NER模型满足预设条件,并采用所述目标NER模型输出所述新闻数据集的实体信息,其中,所述实体信息包括有效字符序列。可选的,所述提取模块包括:转换单元,用于将所述实体信息转换为词序列,其中,所述实体信息中的每个字符对应一个字符特征向量;匹配单元,用于采用所述词序列与所述关键词进行匹配;提取单元,用于从所述词序列中选择命中所述关键词的实体词集合,并提取与所述实体词集合对应的实体特征向量集合。可选的,所述生成模本文档来自技高网
...

【技术保护点】
1.一种新闻稿件的生成方法,其特征在于,包括:/n获取新闻源数据中的关键词,以及抽取所述新闻源数据中的实体信息;/n从所述实体信息中提取与所述关键词匹配的实体特征信息;/n提取所述新闻源数据的文本特征信息,并根据所述文本特征信息和所述实体特征信息聚类生成新闻稿件,其中,所述新闻稿件用于通过摘要描述所述新闻源数据的内容。/n

【技术特征摘要】
1.一种新闻稿件的生成方法,其特征在于,包括:
获取新闻源数据中的关键词,以及抽取所述新闻源数据中的实体信息;
从所述实体信息中提取与所述关键词匹配的实体特征信息;
提取所述新闻源数据的文本特征信息,并根据所述文本特征信息和所述实体特征信息聚类生成新闻稿件,其中,所述新闻稿件用于通过摘要描述所述新闻源数据的内容。


2.根据权利要求1所述的方法,其特征在于,获取新闻源数据中的关键词包括:
采用限制来源的方式从指定数据源采集目标主题的第一新闻源数据;
提取所述第一新闻源数据中的第一关键词集合,并基于所述第一关键词集合采用非限制来源的方式从搜索引擎采集第二新闻源数据;
提取所述第二新闻源数据中的第二关键词集合。


3.根据权利要求1所述的方法,其特征在于,抽取所述新闻源数据中的实体信息包括:
对所述新闻源数据进行数据标注,生成新闻数据集,其中,所述新闻数据集包括新闻文本分词后的词序列和对应的标签信息;
将所述新闻数据集划分为训练集,验证集,以及测试集;
采用所述训练集,所述验证集,以及所述测试集迭代训练预设命名实体识别NER模型,直到最新的目标NER模型满足预设条件,并采用所述目标NER模型输出所述新闻数据集的实体信息,其中,所述实体信息包括有效字符序列。


4.根据权利要求1所述的方法,其特征在于,从所述实体信息中提取与所述关键词匹配的实体特征信息包括:
将所述实体信息转换为词序列,其中,所述实体信息中的每个字符对应一个字符特征向量;
采用所述词序列与所述关键词进行匹配;
从所述词序列中选择命中所述关键词的实体词集合,并提取与所述实体词集合对应的实体特征向量集合。


5.根据权利要求1所述的方法,其特征在于,根据所述文本特征信息和所述实体特征信息聚类生成新闻稿件包括:
将所述...

【专利技术属性】
技术研发人员:程刚张剑
申请(专利权)人:深圳市北科瑞讯信息技术有限公司
类型:发明
国别省市:广东;44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1