用于生成同义文本的方法、装置、电子设备及存储介质制造方法及图纸

技术编号:26531023 阅读:34 留言:0更新日期:2020-12-01 14:11
本申请实施例公开了用于生成同义文本的方法、装置、电子设备及计算机可读存储介质,涉及知识图谱、深度学习、自然语言处理等人工智能技术领域。该方法的一具体实施方式包括:获取初始同义文本;利用预设的概念图谱对初始同义文本进行概念标注,得到标注结果;其中,概念图谱记录有不同文本片段所隶属的不同概念之间的关联关系;确定标注结果中的核心词片段,并将至少一个核心词片段替换为其所属上位概念下的其它下位概念的文本片段,得到增量同义文本。该实施方式提供了一种基于概念图谱的新的生成增量同义文本的方式,无需进行大量向量形式或平行语料的运算,且更加高效和准确。

【技术实现步骤摘要】
用于生成同义文本的方法、装置、电子设备及存储介质
本申请涉及文本处理
,具体涉及知识图谱、深度学习、自然语言处理等人工智能
,尤其涉及用于生成同义文本的方法、装置、电子设备及计算机可读存储介质。
技术介绍
同义短语或同义词在互联网业务上应用十分广泛,特别是在搜索相关的产品上,例如自然结果召回和广告触发等。可通过同义短语提高自然结果或者广告与搜索内容之间的相关性。挖掘大量高质量的同义短语对于提升这些产品效果有至关重要的作用。在同义文本挖掘方面,现有技术通常采用基于向量形式的文本相似度计算的方法来确定同义文本。
技术实现思路
本申请实施例提出了一种用于生成同义文本的方法、装置、电子设备及计算机可读存储介质。第一方面,本申请实施例提出了一种用于生成同义文本的方法,包括:获取初始同义文本;利用预设的概念图谱对初始同义文本进行概念标注,得到标注结果;其中,概念图谱记录有不同文本片段所隶属的不同概念之间的关联关系;确定标注结果中的核心词片段,并将至少一个核心词片段替换为其所属上位概念下的其它下位概念的文本片段本文档来自技高网...

【技术保护点】
1.一种用于生成同义文本的方法,包括:/n获取初始同义文本;/n利用预设的概念图谱对所述初始同义文本进行概念标注,得到标注结果;其中,所述概念图谱记录有不同文本片段所隶属的不同概念之间的关联关系;/n确定所述标注结果中的核心词片段,并将至少一个所述核心词片段替换为其所属上位概念下的其它下位概念的文本片段,得到增量同义文本。/n

【技术特征摘要】
1.一种用于生成同义文本的方法,包括:
获取初始同义文本;
利用预设的概念图谱对所述初始同义文本进行概念标注,得到标注结果;其中,所述概念图谱记录有不同文本片段所隶属的不同概念之间的关联关系;
确定所述标注结果中的核心词片段,并将至少一个所述核心词片段替换为其所属上位概念下的其它下位概念的文本片段,得到增量同义文本。


2.根据权利要求1所述的方法,其中,在利用预设的概念图谱对所述初始同义文本进行概念标注之前,还包括:
利用预设的分类模型将所述初始同义文本按所属类别进行分类,得到各类别下的分类后同义文本;以及
所述利用预设的概念图谱对所述初始同义文本进行概念标注,包括:
利用所述概念图谱分别对每个类别下的分类后同义文本进行概念标注。


3.根据权利要求1所述的方法,其中,所述利用预设的概念图谱对所述初始同义文本进行概念标注,包括:
切分所述初始同义文本,得到各文本片段;
利用所述概念图谱分别对每个所述文本片段所属的上位概念进行标注。


4.根据权利要求3所述的方法,其中,所述确定所述标注结果中的核心词片段,包括:
根据各所述文本片段的含义和所述标注结果对各所述文本片段标注出的上位概念,确定出包括实体片段、限定片段、意图片段中至少一种的核心词片段;以及
所述将至少一个所述核心词片段替换为其所属上位概念下的其它下位概念的文本片段,包括:
将所述标注结果中包含的实体片段、限定片段、意图片段中的至少一个,替换为其所属上位概念下的其它下位概念的文本片段。


5.根据权利要求1所述的方法,其中,所述利用预设的概念图谱对所述初始同义文本进行概念标注,包括:
响应于所述初始同义文本为词汇/短语类同义文本,利用所述概念图谱对所述词汇/短语类同义文本进行成分标注操作。


6.根据权利要求1至5任一项所述的方法,还包括:
根据所述初始同义文本和所述增量同义文本构建同义文本特征库;
根据所述同义文本特征库确定与实际请求中包含的实际文本同义的其它同义文本;
根据所述其它同义文本确定请求目的。


7.一种用于生成同义文本的装置,包括:
初始同义文本获取单元,被配置成获取初始同义文本;
概念标注单元,被配置成利用预设的概念图谱对所述初始同义文本进行概念标注,得到标注结果;其中,所述概念图谱记录有不同文本片段所隶属的不同概念之间的关联关系;
文本片段替换单元,被配置成确定所述标注结果中的核心词片段,并将至少一个所述核心词片段替换为...

【专利技术属性】
技术研发人员:程健一赵岷秦华鹏
申请(专利权)人:北京百度网讯科技有限公司
类型:发明
国别省市:北京;11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1