对自然语言进行处理的方法及装置制造方法及图纸

技术编号:20484967 阅读:45 留言:0更新日期:2019-03-02 19:00
本发明专利技术公开一种对自然语言进行处理的方法,采用预先训练好的深度神经网络将接收到的用户说法转化为相应的标准说法;采用模糊搜索算法对标准说法中的关键词进行标注以得到标准说法标注结果;基于预先训练的CRF模型对标准说法标注结果进行处理以得到解析结果。先用神经网络将原始文本翻译为标准文本,这个过程没有任何属性标注,不需要大量的复杂的人工定义和干预。然后再用模糊搜索,对标准说法中的关键词进行搜索标注,最后用CRF筛选出可靠的解析结果。本发明专利技术大大减少了人工工作量,并且既保留了神经网络鲁棒性高的优点,也保留了规则算法准确性高的优势。

【技术实现步骤摘要】
对自然语言进行处理的方法及装置
本专利技术涉及人工智能
,尤其涉及一种对自然语言进行处理的方法及装置。
技术介绍
自然语言处理(NLP,NaturalLanguageProcessing)是使用自然语言同计算机进行通讯的技术,因为处理自然语言的关键是要让计算机“理解”自然语言,所以自然语言处理又叫做自然语言理解(NLU,NaturalLanguageUnderstanding),也称为计算语言学(ComputationalLinguistics)。一方面它是语言信息处理的一个分支,另一方面它是人工智能(AI,ArtificialIntelligence)的核心课题之一。在实际场景中,用户表述“最近有点烦,给我播一个大王让我来巡山”,如何提取感兴趣的词语“大王让我来巡山”,并且搜索到这首“歌曲”,给用户播放的整个过程就是基于自然语言理解所完成的。目前,对上述用户表述问题的处理方法主要有:1、基于规则解析的算法;2、基于统计算法的序列标注。方法1完全使用精确匹配,准确性很高,只要匹配命中,基本都正确。但是这个方法对于规则写法和词库的依赖性很强,人工工作量大,鲁棒性不强,例如,例句中本文档来自技高网...

【技术保护点】
1.一种对自然语言进行处理的方法,包括:采用预先训练好的深度神经网络将接收到的用户说法转化为相应的标准说法;采用模糊搜索算法对所述标准说法中的关键词进行标注以得到标准说法标注结果;基于预先训练的CRF模型对所述标准说法标注结果进行处理以得到解析结果。

【技术特征摘要】
1.一种对自然语言进行处理的方法,包括:采用预先训练好的深度神经网络将接收到的用户说法转化为相应的标准说法;采用模糊搜索算法对所述标准说法中的关键词进行标注以得到标准说法标注结果;基于预先训练的CRF模型对所述标准说法标注结果进行处理以得到解析结果。2.根据权利要求1所述的方法,其中,预先训练所述深度神经网络包括:构造训练集,所述训练集中包括成对设置的用户说法和标准说法;以所述训练集中的用户说法作为输入,以相应的标准说法作为输出训练得到所述深度神经网络。3.根据权利要求2所述的方法,其中,以所述训练集中的用户说法作为输入,以相应的标准说法作为输出训练得到所述深度神经网络包括:对输入的用户说法进行分词处理,以得到多个词语;分别将所述多个词语转化为相应的词向量并输入至神经网络层,以得到对应于所述多个词语的多个特征向量;基于attention机制对所述多个特征向量进行加权处理;将加权处理结果输入至所述神经网络层进行并以所述标准说法为目标训练得到所述深度神经网络。4.根据权利要求2所述的方法,其中,所述训练集中,每一条标准说法对应于至少一条用户说法。5.一种对自然语言进行处理的装置,包括:说法转换模块,用于采用预先训练好的深度神经网络将接收到的用户说法转化为相应的标准说法;标注模块,用于采用模糊搜索算法对所述标准说法中的关键词进行标注以得到标准说法标注结果;解析模块,用于基于预先训练...

【专利技术属性】
技术研发人员:朱钦佩
申请(专利权)人:苏州思必驰信息科技有限公司
类型:发明
国别省市:江苏,32

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1