对话信息的获取方法和装置、存储介质及电子装置制造方法及图纸

本申请公开了一种对话信息的获取方法和装置、存储介质及电子装置，涉及智慧家庭技术领域，该对话信息的获取方法包括：对接收到的第一对话信息进行语义解析，确定所述第一对话信息对应的语义解析结果，其中，所述语义解析结果用于指示所述第一对话信息中是否存在具备目标词性的第一关键词和/或表征第一多媒体信息的第二关键词；根据所述语义解析结果确定与所述第一对话信息对应的目标范围内的历史对话信息；在所述历史对话信息中存在第一多媒体信息的情况下，对所述第一多媒体信息进行多媒体信息解析，得到多媒体信息解析结果；根据多媒体信息解析结果和所述第一对话信息，确定所述第一对话信息对应的第二对话信息。所述第一对话信息对应的第二对话信息。所述第一对话信息对应的第二对话信息。

【技术实现步骤摘要】
对话信息的获取方法和装置、存储介质及电子装置


[0001]本申请涉及智慧家庭
，具体而言，涉及一种对话信息的获取方法和装置、存储介质及电子装置。

技术介绍

[0002]当前智能家居对话系统主要以单模态文本构建的，无法回答用户视频、图像的问题等跨模态的问题。比如用户发一张空调328型号的照片，然后问系统说“这个空调都有什么模式？”，此类多模态问题时，由于无法同时结合不同模态信息，当前系统是无法回答此类问题。
[0003]相关技术中，主要是基于文本的指代消解方法，它主要根据用户问题中的第一关键词等信息，结合对话上下文文本内容，构建一系列消解指代消解深度学习模型，比如翻译模型，在预测时直接将第一关键词翻译为上文对应指代的内容，或者句法解析上文内容，然后构建规则用上文对应的名词或主语等替换为当前用户问题的第一关键词，以此消解。但是无论时深度模型方法实现，还是句法解析等规则方法实现，都是基于文本单模态的，此类系统无法解析上文出现的图片内容信息，也就无法实现指代消解。
[0004]针对相关技术中，无法结合不同模态信息确定用户的对话信息等问题，尚未提出有效的解决方案。

技术实现思路

[0005]本申请实施例提供了一种对话信息的获取方法和装置、存储介质及电子装置，以至少解决相关技术中，无法结合不同模态信息确定用户的对话信息等问题。
[0006]根据本申请实施例的一个实施例，提供了一种对话信息的获取方法，包括：对接收到的第一对话信息进行语义解析，确定所述第一对话信息对应的语义解析结果，其中，所述语义解析结果用于指示所述第一对话信息中是否存在具备目标词性的第一关键词和/或表征第一多媒体信息的第二关键词；根据所述语义解析结果确定与所述第一对话信息对应的目标范围内的历史对话信息；在所述历史对话信息中存在第一多媒体信息的情况下，对所述第一多媒体信息进行多媒体信息解析，得到多媒体信息解析结果；根据所述多媒体信息解析结果和所述第一对话信息确定所述第一对话信息对应的第二对话信息。
[0007]在一个示例性实施例中，根据所述语义解析结果确定与所述第一对话信息对应的目标范围内的历史对话信息，包括：在所述第一对话信息中存在所述第一关键词和/或所述第二关键词的情况下，确定与所述第一对话信息对应的第一范围内的历史对话信息，其中，所述目标范围包括：所述第一范围；在所述第一对话信息中存在所述第一关键词，且不存在所述第二关键词的情况下，确定与所述第一对话信息对应的第二范围内的历史对话信息，其中，所述目标范围包括：所述第二范围，所述第一范围大于所述第二范围。
[0008]在一个示例性实施例中，对所述第一多媒体信息进行多媒体信息解析，得到多媒体信息解析结果，包括：确定所述第一对话信息中是否存在用于指示第一对象的关键词，其
中，所述第一对象至少包括以下之一：文字、物体、用户；在所述第一对话信息中存在用于指示所述第一对象的关键词的情况下，根据所述第一对象对应的解析方式对所述第一多媒体信息进行多媒体信息解析，得到多媒体信息解析结果。
[0009]在一个示例性实施例中，根据所述第一对象对应的解析方式对所述第一多媒体信息进行多媒体信息解析，得到多媒体信息解析结果，至少包括以下之一：在所述第一对象为文字的情况下，通过文字识别方式解析所述第一多媒体信息，确定所述第一多媒体信息中的文字信息，其中，所述多媒体信息解析结果包括：所述文字信息；在所述第一对象为物体的情况下，通过物体识别方式解析所述第一多媒体信息，确定所述第一多媒体信息中的物体信息，其中，所述多媒体信息解析结果包括：所述物体信息；在所述第一对象为用户的情况下，通过人体识别方式解析所述第一多媒体信息，确定所述第一多媒体信息中的用户信息，其中，所述多媒体信息解析结果包括：所述用户信息。
[0010]在一个示例性实施例中，对所述第一多媒体信息进行多媒体信息解析，得到多媒体信息解析结果，包括：通过解析方式对所述第一多媒体信息进行多媒体信息解析，得到所述第一多媒体信息中的第二对象和所述第二对象的对象信息，其中，所述解析方式至少包括以下之一：文字识别方式、物体识别方式、人体识别方式，所述第二对象至少包括以下之一：文字、物体、用户，所述多媒体信息解析结果包括：所述对象信息。
[0011]在一个示例性实施例中，根据所述多媒体信息解析结果和所述第一对话信息确定所述第一对话信息对应的第二对话信息，包括：根据所述多媒体信息解析结果确定所述第一对话信息中的第一关键词和/或第二关键词对应的名词；将所述名词替代所述第一对话信息中的所述第一关键词和/或所述第二关键词，将替换后的第一对话信息获取为所述第二对话信息。
[0012]在一个示例性实施例中，对所述第一多媒体信息进行多媒体信息解析，得到多媒体信息解析结果之前，所述方法还包括：确定所述历史对话信息中是否存在所述第一多媒体信息；在所述历史对话信息中不存在所述第一多媒体信息的情况下，获取第二对象输入的第三对话信息，其中，所述第三对话信息的输入时间晚于所述第一对话信息的输入时间；在所述第三对话信息中不存在第一多媒体信息的情况下，向所述第二对象发送用于指示所述第一对话信息不完整的提示信息。
[0013]根据本申请实施例的另一个实施例，还提供了一种对话信息的获取装置，包括：第一解析模块，用于对接收到的第一对话信息进行语义解析，确定所述第一对话信息对应的语义解析结果，其中，所述语义解析结果用于指示所述第一对话信息中是否存在具备目标词性的第一关键词和/或表征第一多媒体信息的第二关键词；第一确定模块，用于根据所述语义解析结果确定与所述第一对话信息对应的目标范围内的历史对话信息；第二解析模块，用于在所述历史对话信息中存在第一多媒体信息的情况下，对所述第一多媒体信息进行多媒体信息解析，得到多媒体信息解析结果；第二确定模块，用于根据所述多媒体信息解析结果和所述第一对话信息确定所述第一对话信息对应的第二对话信息。
[0014]根据本申请实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述对话信息的获取方法。
[0015]根据本申请实施例的又一方面，还提供了一种电子装置，包括存储器、处理器及存
储在存储器上并可在处理器上运行的计算机程序，其中，上述处理器通过计算机程序执行上述的对话信息的获取方法。
[0016]在本申请实施例中，对接收到的第一对话信息进行语义解析，确定所述第一对话信息对应的语义解析结果，其中，所述语义解析结果用于指示所述第一对话信息中是否存在具备目标词性的第一关键词和/或表征第一多媒体信息的第二关键词；根据所述语义解析结果确定与所述第一对话信息对应的目标范围内的历史对话信息；在所述历史对话信息中存在第一多媒体信息的情况下，对所述第一多媒体信息进行多媒体信息解析，得到多媒体信息解析结果；根据所述多媒体信息解析结果和所述第一对话信息确定所述第一对话信息对应的第二对话信息；采用上述技术方案，解决了无法结合不同模态信息确定用户的对本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种对话信息的获取方法，其特征在于，包括：对接收到的第一对话信息进行语义解析，确定所述第一对话信息对应的语义解析结果，其中，所述语义解析结果用于指示所述第一对话信息中是否存在具备目标词性的第一关键词和/或表征第一多媒体信息的第二关键词；根据所述语义解析结果确定与所述第一对话信息对应的目标范围内的历史对话信息；在所述历史对话信息中存在第一多媒体信息的情况下，对所述第一多媒体信息进行多媒体信息解析，得到多媒体信息解析结果；根据所述多媒体信息解析结果和所述第一对话信息确定所述第一对话信息对应的第二对话信息。2.根据权利要求1所述的对话信息的获取方法，其特征在于，根据所述语义解析结果确定与所述第一对话信息对应的目标范围内的历史对话信息，包括：在所述第一对话信息中存在所述第一关键词和/或所述第二关键词的情况下，确定与所述第一对话信息对应的第一范围内的历史对话信息，其中，所述目标范围包括：所述第一范围；在所述第一对话信息中存在所述第一关键词，且不存在所述第二关键词的情况下，确定与所述第一对话信息对应的第二范围内的历史对话信息，其中，所述目标范围包括：所述第二范围，所述第一范围大于所述第二范围。3.根据权利要求1所述的对话信息的获取方法，其特征在于，对所述第一多媒体信息进行多媒体信息解析，得到多媒体信息解析结果，包括：确定所述第一对话信息中是否存在用于指示第一对象的关键词，其中，所述第一对象至少包括以下之一：文字、物体、用户；在所述第一对话信息中存在用于指示所述第一对象的关键词的情况下，根据所述第一对象对应的解析方式对所述第一多媒体信息进行多媒体信息解析，得到所述多媒体信息解析结果。4.根据权利要求3所述的对话信息的获取方法，其特征在于，根据所述第一对象对应的解析方式对所述第一多媒体信息进行多媒体信息解析，得到所述多媒体信息解析结果，至少包括以下之一：在所述第一对象为文字的情况下，通过文字识别方式解析所述第一多媒体信息，确定所述第一多媒体信息中的文字信息，其中，所述多媒体信息解析结果包括：所述文字信息；在所述第一对象为物体的情况下，通过物体识别方式解析所述第一多媒体信息，确定所述第一多媒体信息中的物体信息，其中，所述多媒体信息解析结果包括：所述物体信息；在所述第一对象为用户的情况下，通过人体识别方式解析所述第一多媒体信息，确定所述第一多媒体信息中的用户信息，其中，所述多媒体信息解析结果包括：所述用户信息。5.根据权利要求1
‑
4任一项所述的对话信息的获取方法，其特征在于，对所述第...

【专利技术属性】
技术研发人员：陈秀龙，
申请(专利权)人：青岛海尔科技有限公司海尔智家股份有限公司，
类型：发明
国别省市：