基于人工智能的中文语义提取方法及相关设备技术

技术编号:33246594 阅读:27 留言:0更新日期:2022-04-27 17:59
本发明专利技术涉及人工智能技术领域,提供一种基于人工智能的中文语义提取方法及相关设备,对训练文本的字符序列和分词序列分别进行特征提取得到字符向量序列和分词向量序列,将分词向量序列按照字符向量序列进行对齐处理,基于字符向量序列和对齐处理后的分词向量序列计算第一损失函数值,在基于字符序列生成第一语句向量和基于分词序列生成第二语句向量后,根据第一语句向量和第二语句向量计算第二损失函数值,使用两个损失函数值迭代训练预设多任务模型得到中文语义提取模型,最后使用中文语义提取模型提取待识别中文文本的中文语义。本发明专利技术将字符序列和分词序列对齐并相结合,提升了中文语义提取模型的性能,从而提高了语义理解的准确率。解的准确率。解的准确率。

【技术实现步骤摘要】
基于人工智能的中文语义提取方法及相关设备


[0001]本专利技术涉及人工智能
,具体涉及一种基于人工智能的中文语义提取方法、装置、电子设备及存储介质。

技术介绍

[0002]人机对话系统,例如:电话销售机器人、客服机器人、聊天机器人等都是中文口语进行交流的,模型需要在不同的场景下识别中文口语表达的意图、情感、槽值等多个任务。
[0003]专利技术人在实现本专利技术的过程中发现,中文口语由于存在短句、缩写、口语、重复、前后逻辑不对、没有语法结构等一系列问题,例如:你们那边的利什么息是那个多少啊,导致训练中文口语理解的模型比较困难。此外,与英文口语理解相比,中文口语需要进行分词,但是目前的分词技术还是存在一些问题,这样就会因为分词的错位,导致取槽失败,从而导致模型的准确率大大降低。而如果不进行分词,直接对字进行建模,这样就丢失了词语的信息,认为每个字代表的是一个意思,字与字之间的组合就是不同的意思,导致模型无法进行中文口语的理解。

技术实现思路

[0004]鉴于以上内容,有必要提出一种基于人工智能的中文语义提取方法、装本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于人工智能的中文语义提取方法,其特征在于,所述方法包括:获取训练文本的字符序列及获取所述训练文本的分词序列;基于所述字符序列进行特征提取,得到字符向量序列,及基于所述分词序列进行特征提取,得到分词向量序列;将所述分词向量序列按照所述字符向量序列进行对齐处理,并基于所述字符向量序列和对齐处理后的分词向量序列计算第一损失函数值;基于所述字符序列生成第一语句向量,基于所述分词序列生成第二语句向量,基于所述第一语句向量和所述第二语句向量计算第二损失函数值;基于所述第一损失函数值及所述第二损失函数值对预设多任务模型进行迭代训练,得到中文语义提取模型;使用所述中文语义提取模型提取待识别中文文本的中文语义。2.如权利要求1所述的基于人工智能的中文语义提取方法,其特征在于,所述获取所述训练文本的分词序列包括:采用多种分割路径对所述训练文本进行分词处理;获取每种分割路径对应的多个分词;基于预设词性转换概率矩阵计算每种分割路径对应的多个分词的转换概率;根据所述转换概率从所述多种分割路径中选取目标分割路径;根据所述目标分割路径对应的多个分词得到所述分词序列。3.如权利要求2所述的基于人工智能的中文语义提取方法,其特征在于,所述采用多种分割路径对所述训练文本进行分词处理包括:获取所述训练文本的字符数;根据所述字符数建立网络拓补图;当所述训练文本中的第i个字符与第j个字符之间的字符能够构成一个分词,在所述网络拓补图的第i个顶点和第j个顶点之间建立有向边,得到有向图,所述有向图的有向边对应的分词为第i个字符与第j个字符之间的字符;采用最短图路径搜索算法搜索所述有向图中的多个最短路径;根据多个所述最短路径对应的字符对所述训练文本进行分词处理。4.如权利要求1所述的基于人工智能的中文语义提取方法,其特征在于,所述将所述分词向量序列按照所述字符向量序列进行对齐处理包括:计算所述分词向量序列中每个分词的字符长度;根据所述字符长度将对应的分词向量进行复制,得到新的分词向量;基于所述新的分词向量生成新的分词向量序列。5.如权利要求1所述的基于人工智能的中文语义提取方法,其特征在于,所述基于所述字符向量序列和对齐处理后的分词向量序列计算第一损失函数值包括:获取所述字符向量序列中与所述对齐处理后的分词向量序列中相同位置的元素;对相同位置的元素进行加权求和,得到新的元素;基于所述新的元素得到新的向量序列;基于所述新的向量序列计算条件随机场的第一损失函数值。6.如权利要求1至5中任意一项所述的基于人工...

【专利技术属性】
技术研发人员:刘欢
申请(专利权)人:平安普惠企业管理有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1