基于富媒体知识图谱多模态情感分析模型的智能交互方法技术

本申请实施例提供了一种基于基于富媒体知识图谱多模态情感分析模型的智能交互方法，涉及人机交互技术领域，所述方法包括：基于富媒体多模态知识图谱，生成用户问题对应的答案；基于多模态智能情感交互模型，根据所述答案，生成所述答案对应的情感和所述情感对应的强度，所述多模态智能情感交互模型表示答案、情感和强度三者的映射关系；基于情绪表达规则，根据所述强度，获得所述强度对应的表情和动作；基于三维模型，根据所述答案、所述情感、所述强度和所述表情和动作，进行实时智能交互。本申请能够改善当前人机自然交互的展现形式单一，从而导致表达和沟通的效果较差的问题，达到丰富当前人机自然交互的展现形式的效果。果。果。

【技术实现步骤摘要】
基于富媒体知识图谱多模态情感分析模型的智能交互方法


[0001]本申请实施例涉及人机交互
，尤其涉及一种基于富媒体知识图谱多模态情感分析模型的智能交互方法。

技术介绍

[0002]当前，人机自然交互的基本特征是仅限于面部表情的运动，赋予计算机听觉和视觉智能，理解以语言形式表达的内容。随着年轻一代逐渐成为消费市场的主力，一些产品已经不能够靠传统的方式来吸引这些年轻用户。正如我们目前在网络平台上的形象，基于二维的文字与图片形式，就显得有些偏平。
[0003]在网络传输速率远超世纪初期的现在，社交平台大多是二维社交，互相传输的信息大多数都是图文和语音。购物也是如此，在选购商品的过程中，绝大部分看的是图片和或者视频，并没有真正的体验感。
[0004]可见，前端展现依旧过于冰冷，并未多元立体地展现用户个性与特征，网络上大家的个人形象依旧还是世纪初就定义的头像+昵称的二维展现，这是不符合常理的。
[0005]要知道，我们存在的是四维时空的世界，有价值的未来必然是混合现实的未来。基于此，互联网上的所有体验，都会升维并还原成我们在四维时空中的体验。
[0006]在实现本专利技术的过程中，专利技术人发现，当前人机自然交互的展现形式单一，从而导致表达的效果较差。

技术实现思路

[0007]本申请实施例提供了一种基于富媒体知识图谱多模态情感分析模型的智能交互方法，能够改善当前人机自然交互的展现形式单一，从而导致表达和沟通的效果较差的问题。
[0008]在本申请的第一方面，提供了一种基于富媒体知识图谱多模态情感分析模型的智能交互方法，包括：
[0009]基于富媒体多模态知识图谱，生成用户问题对应的答案，所述富媒体多模态知识图谱根据富媒体多模态信息构建，所述富媒体多模态知识图谱包括答案集、问题集和/或所述问题集对应的答案集，所述答案以脚本的形式运行，所述富媒体多模态知识图谱还包括其它扩展数据来源；
[0010]基于多模态智能情感交互模型，根据所述答案，生成所述答案对应的情感和所述情感对应的强度，所述多模态智能情感交互模型表示答案、情感和强度三者的映射关系；
[0011]基于情感表达规则，根据所述强度，获得所述强度对应的表情和/或动作；
[0012]基于三维模型，根据所述答案、所述情感、所述强度和所述表情和/或动作，进行交互。
[0013]通过采用以上技术方案，基于富媒体多模态知识图谱，生成用户问题对应的答案；再基于多模态智能情感交互模型，根据答案，生成答案对应的情感和所述情感对应的强度；
再基于情感表达规则，根据强度，获得强度对应的动作；再基于三维模型，根据答案、情感、强度、表情和/或动作，进行交互；综上可以将答案基于语音语调、面部表情和/或肢体语言的表现形式，表达给用户，能够改善当前人机自然交互的展现形式单一，从而导致表达的效果较差的问题，达到丰富当前人机自然交互的展现形式的效果。
[0014]在一些实施例中，所述问题集中的问题包括预设标签；
[0015]所述基于富媒体多模态知识图谱，生成用户问题对应的答案，包括：
[0016]获取所述用户问题；
[0017]根据所述预设标签对所述用户问题与预设标签进行分类，并根据所述用户问题的分类结果从对应的问题集中匹配对应的问题；
[0018]若匹配成功，则根据所述用户问题和所述问题集对应的答案集，生成所述用户问题对应的答案。
[0019]在一些实施例中，所述基于富媒体多模态知识图谱，生成用户问题对应的答案，包括：
[0020]提取所述用户问题的关键词，并设置所述关键词的权重；
[0021]对所述关键词进行泛化处理，根据泛化后的关键词，生成所述用户问题的相似问题集；
[0022]将所述相似问题集与所述问题集进行匹配，基于所述富媒体多模态知识图谱，根据所述问题集对应的答案集，生成所述相似问题集对应的答案集，作为所述富媒体多模态知识图谱的增量数据；
[0023]根据所述关键词，从所述答案集中查找所述关键词所有相关的答案，所述关键词的权重作为所述用户问题对应的答案排序依据。
[0024]在一些实施例中，所述基于富媒体多模态知识图谱，生成用户问题对应的答案，包括：
[0025]在所述富媒体多模态知识图谱中导入半结构化和非结构化数据；
[0026]对所述半结构化和非结构化数据进行关键词提取和向量化处理；
[0027]根据所述用户问题，基于关键词及向量计算检索并匹配对应的答案集；
[0028]根据所述用户问题，对所述答案集数据进行搜索排序及阅读理解，生成所述用户问题对应的答案。
[0029]在一些实施例中，所述富媒体多模态知识图谱的构建包括：
[0030]基于自顶向下的构建方式和/或自下而上的构建方式，导入结构化、半结构化和/或非结构化数据生成所述富媒体多模态知识图谱，所述富媒体多模态知识图谱包括所述答案集、所述问题集和/或所述问题集对应的答案集。
[0031]在一些实施例中，还包括：
[0032]基于所构建的多模态富媒体搜索引擎进行数据定位；和/或
[0033]基于相似问处理算法，对所述问题集进行增量处理；和/或
[0034]设置所述问题集的问题标签，对所述问题集进行增量处理；和/或
[0035]基于向量计算方法，对所述问题集、所述问题集对应的答案集和/或所述答案集进行增量处理；和/或
[0036]基于文本分割算法和/或所述情感表达规则，对所述问题集、所述问题集对应的答
案集和/或所述答案集进行增量处理；和/或
[0037]基于分词处理算法、命名实体识别算法、关键词和同/近义词提取算法和/或词性分析算法，对所述问题集、所述问题集对应的答案集和/或所述答案集进行增量处理。
[0038]在一些实施例中，所述答案集的生成方法包括：
[0039]基于富媒体多模态数据的统一资源定位符，获得富媒体多模态数据和所述富媒体多模态数据的网页结构，所述富媒体多模态数据包括文字数据、图片数据、图文数据、音频数据和/或视频数据；
[0040]对所述富媒体多模态数据的类型与格式进行文字识别或提取；
[0041]根据所述富媒体多模态数据的网页结构，生成所述网页结构的正则表达式；
[0042]基于所述正则表达式，获得所述富媒体多模态信息，并对所述富媒体多模态信息进行分割，生成第一子富媒体多模态信息；
[0043]基于所述文本分割算法，对所述第一子富媒体多模态信息进行分割，生成第二子富媒体多模态信息；
[0044]根据所述第二子富媒体多模态信息，生成所述答案集。
[0045]在一些实施例中，所述答案集的生成方法，还包括：
[0046]根据所述正则表达式，获得所述富媒体多模态信息中图片和文字的相对位置关系；
[0047]根据富媒体多模态信息中图片和视频类内容进行文字识别和提取，建立图像数据与文本数据的关本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于富媒体知识图谱多模态情感分析模型的智能交互方法，其特征在于，包括：基于富媒体多模态知识图谱，生成用户问题对应的答案，所述富媒体多模态知识图谱根据富媒体多模态信息构建，所述富媒体多模态知识图谱包括答案集、问题集和/或所述问题集对应的答案集，所述答案以脚本的形式运行，所述富媒体多模态知识图谱还包括数据来源；基于多模态智能情感交互模型，根据所述答案，生成所述答案对应的情感和所述情感对应的强度，所述多模态智能情感交互模型表示答案、情感和强度三者的映射关系；基于情感表达规则，根据所述强度，获得所述强度对应的表情和/或动作；基于三维模型，根据所述答案、所述情感、所述强度和所述表情和/或动作，进行交互。2.根据权利要求1所述的方法，其特征在于，所述问题集中的问题包括预设标签；所述基于富媒体多模态知识图谱，生成用户问题对应的答案，包括：获取所述用户问题；根据所述预设标签对所述用户问题进行分类，并根据所述用户问题的分类结果从对应的问题集中匹配对应的问题；若匹配成功，则根据所述用户问题和所述问题集对应的数据集，生成所述用户问题对应的答案。3.根据权利要求1所述的方法，其特征在于，所述基于富媒体多模态知识图谱，生成用户问题对应的答案，包括：提取所述用户问题的关键词，并设置所述关键词的权重；对所述关键词进行泛化处理，根据泛化后的关键词，生成所述用户问题的相似问题集；将所述相似问题集与所述问题集进行匹配，基于所述富媒体多模态知识图谱，根据所述问题集对应的答案集，生成所述相似问题集对应的答案集，作为所述富媒体多模态知识图谱的增量数据；根据所述关键词，从所述答案集中查找所述关键词所有相关的答案，所述关键词的权重作为所述用户问题对应的答案排序依据。4.根据权利要求1所述的方法，其特征在于，所述基于富媒体多模态知识图谱，生成用户问题对应的答案，包括：在所述富媒体多模态知识图谱中导入半结构化和非结构化数据；对所述半结构化和非结构化数据进行关键词提取和向量化处理；根据所述用户问题，基于关键词及向量计算检索并匹配对应的答案集；根据所述用户问题，对所述答案集数据进行搜索排序及阅读理解，生成所述用户问题对应的答案。5.根据权利要求1至4中任一项所述的方法，其特征在于，所述富媒体多模态知识图谱的构建包括：基于自顶向下的构建方式和/或自下而上的构建方式，导入结构化数据、半结构化数据和/或非结构化数据生成所述富媒体多模态知识图谱，所述富媒体多模态知识图谱包括所述答案集、所述问题集和/或所述问题集对应的答案集。6.根据权利要求5所述的方法，其特征在于，还包括：基于所构建的多模态富媒体搜索引擎进行数据定位；和/或
基于相似问处理算法，对所述问题集进行增量处理；和/或设置所述...

【专利技术属性】
技术研发人员：伏英娜，霍久兴，
申请(专利权)人：迈吉客科技北京有限公司，
类型：发明
国别省市：