一种语意识别的多模态全双工对话方法及系统技术方案

本发明专利技术提供一种语意识别的多模态全双工对话方法及系统，其中，方法包括：步骤1：获取对话用户和预设的对话模型之间的发起对话；步骤2：确定对话用户选择的对话模态；步骤3：根据语意识别技术和对话模态，获取发起对话的对话语意；步骤4：根据对话语意和对话模态，进行多模态全双工对话

【技术实现步骤摘要】
一种语意识别的多模态全双工对话方法及系统


[0001]本专利技术涉及语意识别
，特别涉及一种语意识别的多模态全双工对话方法及系统
。

技术介绍

[0002]多模态全双工对话是指在对话过程中同时涉及多种模态
(
如：文本
、
语音
、
图像和视频等
)
的输入和输出
。
语意识别指的是识别一段内容
(
比如：文字
、
音频和图像等
)
代表的意思
。
语意识别的多模态全双工对话方法是指在对话系统中同时处理多种模态输入和输出的方法，该方法能够实现全双工的对话交互，它将语意理解和生成扩展到多种模态，并使得对话系统能够更全面地理解用户输入信息并生成多模态回复信息
。
[0003]申请号为：
CN201811010816.7
的专利技术专利公开了一种基于网页实现全双工语音对话和页面控制的方法，其中，方法包括：用户进行网页页面访问；用户在网页页面内发起语音会话请求；以及本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种语意识别的多模态全双工对话方法，其特征在于，包括：步骤1：获取对话用户和预设的对话模型之间的发起对话；步骤2：确定对话用户选择的对话模态；步骤3：根据语意识别技术和对话模态，获取发起对话的对话语意；步骤4：根据对话语意和对话模态，进行多模态全双工对话
。2.
如权利要求1所述的一种语意识别的多模态全双工对话方法，其特征在于，步骤1：获取对话用户和预设的对话模型之间的发起对话，包括：确定用于发起对话的输入端口；获取对话用户的输入信息；根据输入信息的信息类型，确定输入信息的目标端口；基于目标端口对应的解析规则，根据输入信息，确定端口信息；基于实时
Web
技术，根据端口信息，确定发起对话
。3.
如权利要求1所述的一种语意识别的多模态全双工对话方法，其特征在于，步骤2：确定对话用户选择的对话模态，包括：获取对话用户输入的模态选择指令，根据模态选择指令，确定对话模态；和
/
或，获取对话用户输入的上文信息，根据上文信息，确定用户的模态切换意图，根据模态切换意图，确定对话模态
。4.
如权利要求1所述的一种语意识别的多模态全双工对话方法，其特征在于，步骤3：根据语意识别技术和对话模态，获取发起对话的对话语意，包括：根据对话模态，收集训练数据；基于预设的抽取规则，根据训练数据，确定多个抽取样本；基于随机森林算法，根据抽取样本，训练语意识别决策树；根据发起对话和语意识别决策树，确定多个决策结果；获取决策结果表达热图；根据决策结果表达热图，进行每一决策结果的层次聚类，获得聚类树；确定聚类树中体量最大的树节点；获取树节点对应的决策结果的中心热图值；根据中心热图值，确定对话语意；其中，根据决策结果表达热图，进行每一决策结果的层次聚类，获得聚类树，包括：计算决策结果两两之间的相似性，其中，相似性的计算公式为：计算决策结果两两之间的相似性，其中，相似性的计算公式为：其中，
D
m
为第
m
个决策结果，
D
n
为第
n
个决策结果，
correlation(D
m
,D
n
)
为第
m
个决策结果和第
n
个决策结果的相似性计算结果，
dis(D
m
,D
n
)
为第
m
个决策结果和第
n
个决策结果在决策结果表达热图上的距离，
X
m
和
X
n
分别为决策结果表达热图上第
m
个决策结果和第
n
个决策结果的
X
维度的标定值，
Y
m
和
Y
n
分别为决策结果表达热图上第
m
个决策结果和第
n
个决策结果的
Y
维度的标定值，
σ
为预设的相似性归一化系数；将相似性最高的决策结果进行迭代合并，获得聚类树
。5.
如权利要求4所述的一种语意识别的多模态全双工对话方法，其特征在于，根据对话模态...

【专利技术属性】
技术研发人员：沈卫民，刘祖芳，马学文，王伟林，
申请(专利权)人：深圳市麦驰信息技术有限公司，
类型：发明
国别省市：