【技术实现步骤摘要】
一种多模态客服自动回复方法及系统
本专利技术属于人工智能
，尤其涉及一种多模态客服自动回复方法及系统。
技术介绍
本部分的陈述仅仅是提供了与本公开相关的
技术介绍
信息，不必然构成在先技术。多模态对话系统建立在在文本对话系统的基础上，最近在不同领域特别是零售领域，受到了越来越多的关注。尽管现有的面向任务的多模态对话系统已经显示出有前途的性能，但它们仍然存在以下问题：聊天机器人的回复使用不同的媒体形式表达各种信息，像商品展示、商品介绍、日常问候等，往往是通过在文本或文本图像组合来进行表述。现有的方法将多模态对话系统中的文本生成和图像选择视为两个独立的任务，并通过手动选择性地组装文本和图像来生成回复；图像选择任务本质上是商品推荐问题。推荐模型根据用户在上下文中传达的偏好对商品进行排名，并返回排名最靠前的商品。现有方法仅在选择期间考虑视觉图像，却完全忽略了与商品相关的丰富的属性信息，比如价格，材料，尺寸和样式等；买家和聊天机器人之间的对话通常涉及多方面多类型的知识，包括风格搭配，商品属性和商品在名人中的流行度等等。尽管如此，现仅有一种方法在多模态对话系统中考虑了风格搭...
【技术保护点】
1.一种多模态客服自动回复方法，其特征在于，包括以下步骤：接收话语并进行编码，得到上下文向量；基于上下文向量，基于预训练的意图类别识别模型确定其相应的意图类别；基于设定规则确定该意图所对应的回复类别；根据所述回复类别，将所述上下文向量作为输入，采用预训练的回复模型生成对应回复。
【技术特征摘要】
1.一种多模态客服自动回复方法，其特征在于，包括以下步骤：接收话语并进行编码，得到上下文向量；基于上下文向量，基于预训练的意图类别识别模型确定其相应的意图类别；基于设定规则确定该意图所对应的回复类别；根据所述回复类别，将所述上下文向量作为输入，采用预训练的回复模型生成对应回复。2.如权利要求1所述的多模态客服自动回复方法，其特征在于，所述编码采用上下文编码器；所述上下文编码器包括：低层次上词语层次的循环神经网络和使用软视觉注意力增强的残差网络，以及高层级上句子层次的循环神经网络。3.如权利要求2所述的多模态客服自动回复方法，其特征在于，所述话语仅包含文本话语或同时包含文本和图像话语；对所述话语进行编码包括：在低层次上，输入文本话语通过低层次上词语层次的循环神经网络进行逐词编码，将最终隐藏状态被视为输入文本话语的特征表示；图像话语通过软视觉注意力增强的残差网络提取视觉特征；在高层次上，若仅包含文本话语，将文本特征输入句子层次的循环神经网络，最终隐藏状态即上下文向量，若同时包含文本和图像话语，将文本特征和视觉特征连接起来输入句子层次的循环神经网络，最终隐藏状态即上下文向量。4.如权利要求1所述的多模态客服自动回复方法，其特征在于，所述意图类别识别模型为多层感知机网络。5.如权利要求1所述的多模态客服自动回复方法，其特征在于，所述设定规则定义了意图类别、回复类型和媒体形式的对应关系；优选地，所述设定规则采用查找表的形式，所述查找表中包含多个三元组，每个三元组的形式为(意图类别，回复类型，媒体形式)。6.如权利要求1所述的多模态客服自动回复方法，其特征在于，所述回复模型包括：对于回复类型为...
【专利技术属性】
技术研发人员：聂礼强，王文杰，王英龙，姚一杨，张化祥，宋雪萌，
申请(专利权)人：山东大学，
类型：发明
国别省市：山东,37
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。