分词方法、装置、非易失性存储介质及电子设备制造方法及图纸

技术编号:41340638 阅读:16 留言:0更新日期:2024-05-20 09:58
本发明专利技术公开了一种分词方法、装置、非易失性存储介质及电子设备。其中,该方法包括:获取包括多个目标单词的待分词文本;根据预设词表为每个目标单词添加对应的目标标签,得到目标标签队列,其中,目标标签队列包括:按照目标顺序排列的多个目标标签,目标顺序为每个目标标签对应的目标单词在待分词文本中的排列顺序;根据预设标签字典中预先配置的目标分词规则,将目标标签队列拆分为多个目标子标签队列;将每个目标子标签队列中的目标标签转换为对应的目标单词,得到目标分词文本。本发明专利技术解决了现有技术无法将复杂句式进行准确分词的技术问题。

【技术实现步骤摘要】

本专利技术涉及机器学习领域,具体而言,涉及一种分词方法、装置、非易失性存储介质及电子设备


技术介绍

1、在传统的智能客服场景中,通常采用faq或者kbqa形式实现,以简单的问题和单一意图为主。然而,对于复杂句式的理解,往往没有成型的技术方案,过往的经验一直通过训练多意图的模型来解决这类问题,然而这样具有一定局限性只能在固定场景使用,不具有迁移性。

2、在智能客服场景下针对用户输入的复杂case进行理解识别,比如用户输入"查流量和上月账单"、“查流量查天气查花费余额”,对于过往的方式只能通过单意图识别出一个可以执行的命令损失了一定语义,或者通过训练多任务模型执行,但是往往局限性很大,并且不具备场景迁移且成本较高。

3、针对上述现有技术无法将复杂句式进行准确分词的问题,目前尚未提出有效的解决方案。


技术实现思路

1、本专利技术实施例提供了一种分词方法、装置、非易失性存储介质及电子设备,以至少解决现有技术无法将复杂句式进行准确分词的技术问题。

2、根据本专利技术实施例的一个方面本文档来自技高网...

【技术保护点】

1.一种分词方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,根据预设标签字典中预先配置的目标分词规则,将所述目标标签队列拆分为多个目标子标签队列包括:

3.根据权利要求2所述的方法,其特征在于,查询所述预设标签字典中是否存在与所述目标标签队列匹配的所述预设标签队列包括:

4.根据权利要求3所述的方法,其特征在于,在所述预设标签字典中存在所述第一预设标签队列的情况下,将所述第一预设标签队列放入第一预设标签队列集合之后,所述方法还包括:

5.根据权利要求4所述的方法,其特征在于,在从所述目标标签队列中提取排列在第二位置的所述...

【技术特征摘要】

1.一种分词方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,根据预设标签字典中预先配置的目标分词规则,将所述目标标签队列拆分为多个目标子标签队列包括:

3.根据权利要求2所述的方法,其特征在于,查询所述预设标签字典中是否存在与所述目标标签队列匹配的所述预设标签队列包括:

4.根据权利要求3所述的方法,其特征在于,在所述预设标签字典中存在所述第一预设标签队列的情况下,将所述第一预设标签队列放入第一预设标签队列集合之后,所述方法还包括:

5.根据权利要求4所述的方法,其特征在于,在从所述目标标签队列中提取排列在第二位置的所述目标标签为第二目标标签之前,方法还包括:

6.根据权利要求2所述的方法,其特征在于,在所述预设标签字典中不存在与所述目标标签队列匹配的所述预设标签队列的情况...

【专利技术属性】
技术研发人员:李明洋管兴江张云龙阮宜龙
申请(专利权)人:中国电信股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1