结合规则和语义的自适应段落切分方法技术

技术编号:41311427 阅读:22 留言:0更新日期:2024-05-13 14:54
本发明专利技术涉及一种结合规则和语义的自适应段落切分方法,包括如下步骤:提供文档文本,对所提供的文档文本进行解析,以获得若干个文本块及与文本块相对应的块属性;依据文本块的块属性构建具有层级关系的文档结构树,将块属性相同的文本块合并成段落;针对文档结构树中大于预设长度的段落,依据分割符将段落划分成若干个句子,基于语义相似度将相邻的句子合并成子段落,从而完成段落的切分。本发明专利技术实现了将段落与标题以层级的关系关联在一起,提升了段落检索的召回率,对于检索段落的语义完整性有显著的提升。针对大于预设长度的段落还进行了进一步的细分,保证了每个检索内容块语义的简洁性,弥补了语义检索技术难以处理复杂场景的缺点。

【技术实现步骤摘要】

本专利技术涉及人工智能领域,特指一种结合规则和语义的自适应段落切分方法


技术介绍

1、在文档智能领域,经常需要根据用户的提问在文档中检索相关的段落,然后基于检索到的段落进行问题的回答。如果检索到的段落太长,则会导致匹配困难,并且回答时无关信息较多,增加了回答难度。如果检索到的段落太短,例如句子粒度,则会导致回答的不全面,所以选择合适的段落切分对于后续文档的检索、问答都非常重要。

2、现有的段落切分方法,如图1所示,主要是将文档文本基于分割符号切分成子句,再依据预设的最大段落长度对子句进行合并形成段落,其中的分割符号例如有:换行符、句号、感叹号等语义截止符号,最大段落长度比如200个字符,根据最长切分长度(最大段落长度)尝试进行句子的合并知道超过预先设定的最长切分长度。现有的段落切分方法存在的缺陷有:根据分割符号切分并不能保证分到同一个段落的句子在语义上有相似性;固定长度的切分在长段落上会破坏段落的完整性;无法将子标题信息和段落进行关联,影响检索效果。


技术实现思路

1、本专利技术的目的在于克服现本文档来自技高网...

【技术保护点】

1.一种结合规则和语义的自适应段落切分方法,其特征在于,包括如下步骤:

2.如权利要求1所述的结合规则和语义的自适应段落切分方法,其特征在于,基于语义相似度将相邻的句子合并成子段落包括如下步骤:

3.如权利要求1所述的结合规则和语义的自适应段落切分方法,其特征在于,基于语义相似度将相邻的句子合并成子段落包括如下步骤:

4.如权利要求1所述的结合规则和语义的自适应段落切分方法,其特征在于,对所提供的文档文本进行解析包括如下步骤:

5.如权利要求1所述的结合规则和语义的自适应段落切分方法,其特征在于,对所提供的文档文本进行解析包括如下步骤:...

【技术特征摘要】

1.一种结合规则和语义的自适应段落切分方法,其特征在于,包括如下步骤:

2.如权利要求1所述的结合规则和语义的自适应段落切分方法,其特征在于,基于语义相似度将相邻的句子合并成子段落包括如下步骤:

3.如权利要求1所述的结合规则和语义的自适应段落切分方法,其特征在于,基于语义相似度将相邻的句子合并成子段落包括如下步骤:

4.如权利要求1所述的结合规则和语义的自适应段落切分方法,其特征在于,对所提供的文档文本进行解析包括如下步骤:

5.如权利要求1所述的结合规则和...

【专利技术属性】
技术研发人员:请求不公布姓名请求不公布姓名
申请(专利权)人:上海澜码科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1