绘本图像获取方法及装置、电子设备、存储介质制造方法及图纸

本公开是关于一种绘本图像获取方法及装置、电子设备、存储介质。该装置包括：获取用户的第一语音信息；根据所述第一语音信息生成绘本图像；生成与所述绘本图像中的至少一处情节相关联的交互内容。本实施例可以生成所描述的场景对应的绘本图像，达到展现用户所想场景的效果；提升获得绘本图像的准确度，并且可以通过交互内容来引导用户与电子设备就绘本图像的情节进行互动，有利于用户继续学习或者创作，实现与用户互动从而提升使用体验。实现与用户互动从而提升使用体验。实现与用户互动从而提升使用体验。

【技术实现步骤摘要】
绘本图像获取方法及装置、电子设备、存储介质


[0001]本公开涉及数据处理
，尤其涉及一种绘本图像获取方法及装置、电子设备、存储介质。

技术介绍

[0002]很多场景下，用户需要描述特定场景，例如讲故事或者陈述事情；在描述过程中，用户仅能在脑海中虚构出相应的场景。由于上述场景转瞬即逝，导致用户无法基于该场景继续学习或创作等。

技术实现思路

[0003]本公开提供一种绘本图像获取方法及装置、电子设备、存储介质，以解决相关技术的不足。
[0004]根据本公开实施例的第一方面，提供一种绘本图像获取方法，应用于电子设备，包括：
[0005]获取用户的第一语音信息；
[0006]根据所述第一语音信息生成绘本图像；
[0007]生成与所述绘本图像中的至少一处情节相关联的交互内容。
[0008]可选地，根据所述第一语音信息生成绘本图像，包括：
[0009]根据所述第一语音信息获取语义信息；所述语义信息包括至少一个对象和每个对象的逻辑关系信息；所述逻辑关系信息至少包括：对象的位置信息、对象与其他对象的关联信息、对象的姿态信息和每个对象的显示尺寸；
[0010]从预设的绘本元素中选取符合每个对象的逻辑关系信息的对象图像；
[0011]根据所述至少一个对象的逻辑关系信息确定每个对象图像在预设空白模板中的位置和显示尺寸，获得绘本图像。
[0012]可选地，根据所述第一语音信息生成绘本图像，包括：
[0013]对所述第一语音信息进行转换，获得所述第一语音信息对应的文本信息；
[0014]将所述文本信息输入到预设的图像生成模型，由所述图像生成模型基于所述文本信息生成绘本图像。
[0015]可选地，根据所述第一语音信息生成绘本图像之后，所述方法还包括：
[0016]对所述第一语音信息进行转换，获得所述第一语音信息对应的文本信息；
[0017]将所述文本信息作为字幕信息融合到所述绘本图像的预设位置，获得目标绘本图像。
[0018]可选地，根据所述第一语音信息生成绘本图像之后，所述方法还包括：
[0019]当检测到有对所述绘本图像中的目标对象图像调整的需求时，获取所述目标对象图像的至少一个备选对象图像；
[0020]当检测到选择其中一个备选对象图像时，将所述目标对象图像更新为所选择的备
选对象图像。
[0021]可选地，根据所述第一语音信息生成绘本图像之后，所述方法还包括：
[0022]当检测到有转换所述绘本图像中的目标对象图像的需求时，利用预设的对象转换模型对所述目标对象图像进行转换，并将所述目标对象图像更新为所转换的备选对象图像。
[0023]可选地，所述方法还包括：
[0024]获取用户根据所述交互内容与所述电子设备进行交互的语音信息，得到第二语音信息；
[0025]根据所述第二语音信息获取表征交互正确或者错误的交互结果。
[0026]可选地，生成与所述绘本图像中的至少一处情节相关联的交互内容，包括：
[0027]获取所述电子设备的当前工作模式；
[0028]基于预设的工作模式和图像解析模型的对应关系，获取所述当前工作模式对应的图像解析模型；
[0029]利用所述图像解析模型解析所述绘本图像，获得所述图像解析模型输出与所述绘本图像中至少一处情节相关的多个关键词；
[0030]根据所述多个关键词生成与所述绘本图像中至少一处情节相关的交互内容。
[0031]可选地，根据所述多个关键词生成与所述绘本图像中至少一处情节相关的交互内容，包括：
[0032]获取所述电子设备的配置信息，所述配置信息包括预设的目标数据库，所述目标数据库内包括若干候选对象；
[0033]依次将所述多个关键词中的各关键词与所述目标数据库中的候选对象进行匹配，获得各关键词匹配的候选对象；
[0034]根据所述多个关键词以及所述至少一个关键词匹配的候选对象生成所述交互内容。
[0035]根据本公开实施例的第二方面，提供一种绘本获取装置，应用于电子设备，包括：
[0036]语音信息获取模块，用于获取用户的第一语音信息；
[0037]绘本图像生成模块，用于根据所述第一语音信息生成绘本图像；
[0038]交互内容生成模块，用于生成与所述绘本图像中的至少一处情节相关联的交互内容。
[0039]可选地，所述绘本图像生成模块包括：
[0040]语义信息获取单元，用于根据所述第一语音信息获取语义信息；所述语义信息包括至少一个对象和每个对象的逻辑关系信息；所述逻辑关系信息至少包括：对象的位置信息、对象与其他对象的关联信息、对象的姿态信息和每个对象的显示尺寸；
[0041]对象图像获取单元，用于从预设的绘本元素中选取符合每个对象的逻辑关系信息的对象图像；
[0042]绘本图像获取单元，用于根据所述至少一个对象的逻辑关系信息确定每个对象图像在预设空白模板中的位置和显示尺寸，获得绘本图像。
[0043]可选地，所述绘本图像生成模块包括：
[0044]语音信息转换单元，用于对所述第一语音信息进行转换，获得所述第一语音信息
对应的文本信息；
[0045]绘本图像生成单元，用于将所述文本信息输入到预设的图像生成模型，由所述图像生成模型基于所述文本信息生成绘本图像。
[0046]可选地，所述装置还包括：
[0047]文本信息获取模块，用于对所述第一语音信息进行转换，获得所述第一语音信息对应的文本信息；
[0048]所述绘本图像生成模块，还用于将所述文本信息作为字幕信息融合到所述绘本图像的预设位置，获得目标绘本图像。
[0049]可选地，所述装置还包括：
[0050]备选对象获取模块，用于当检测到有对所述绘本图像中的目标对象图像调整的需求时，获取所述目标对象图像的至少一个备选对象图像；
[0051]目标对象更新模块，用于当检测到选择其中一个备选对象图像时，将所述目标对象图像更新为所选择的备选对象图像。
[0052]可选地，所述装置还包括：
[0053]目标对象更新模块，用于当检测到有转换所述绘本图像中的目标对象图像的需求时，利用预设的对象转换模型对所述目标对象图像进行转换，将所述目标对象图像更新为所转换的备选对象图像。
[0054]可选地，所述装置还包括：
[0055]语音信息获取模块，还用于获取用户基于所述交互内容与所述电子设备进行交互的语音信息，得到第二语音信息；
[0056]描述结果获取模块，还用于根据所述第二语音信息获取表征交互正确或者错误的交互结果。
[0057]可选地，所述交互内容生成模块包括：
[0058]工作模式获取单元，用于获取所述电子设备的当前工作模式；
[0059]解析模型获取单元，用于基于预设的工作模式和图像解析模型的对应关系，获取所述当前工作本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种绘本图像获取方法，其特征在于，应用于电子设备，包括：获取用户的第一语音信息；根据所述第一语音信息生成绘本图像；生成与所述绘本图像中的至少一处情节相关联的交互内容。2.根据权利要求1所述的方法，其特征在于，根据所述第一语音信息生成绘本图像，包括：根据所述第一语音信息获取语义信息；所述语义信息包括至少一个对象和每个对象的逻辑关系信息；所述逻辑关系信息至少包括：对象的位置信息、对象与其他对象的关联信息、对象的姿态信息和每个对象的显示尺寸；从预设的绘本元素中选取符合每个对象的逻辑关系信息的对象图像；根据所述至少一个对象的逻辑关系信息确定每个对象图像在预设空白模板中的位置和显示尺寸，获得绘本图像。3.根据权利要求1所述的方法，其特征在于，根据所述第一语音信息生成绘本图像，包括：对所述第一语音信息进行转换，获得所述第一语音信息对应的文本信息；将所述文本信息输入到预设的图像生成模型，由所述图像生成模型基于所述文本信息生成绘本图像。4.根据权利要求1所述的方法，其特征在于，根据所述第一语音信息生成绘本图像之后，所述方法还包括：对所述第一语音信息进行转换，获得所述第一语音信息对应的文本信息；将所述文本信息作为字幕信息融合到所述绘本图像的预设位置，获得目标绘本图像。5.根据权利要求1所述的方法，其特征在于，根据所述第一语音信息生成绘本图像之后，所述方法还包括：当检测到有对所述绘本图像中的目标对象图像调整的需求时，获取所述目标对象图像的至少一个备选对象图像；当检测到选择其中一个备选对象图像时，将所述目标对象图像更新为所选择的备选对象图像。6.根据权利要求1所述的方法，其特征在于，根据所述第一语音信息生成绘本图像之后，所述方法还包括：当检测到有转换所述绘本图像中的目标对象图像的需求时，利用预设的对象转换模型对所述目标对象图像进行转换，并将所述目标对象图像更新为所转换的备选对象图像。7.根据权利要求1所述的方法，其特征在于，所述方法还包括：获取用户根据所述交互内容与所述电子设备进行交互的语音信息，得到第二语音信息；根据所述第二语音信息获取表征交互正确或者错误的交互结果。8.根据权利要求1所述的方法，其特征在于，生成与所述绘本图像中的至少一处情节相关联的交互内容，包括：获取所述电子设备的当前工作模式；基于预设的工作模式和图像解析模型的对应关系，获取所述当前工作模式对应的图像
解析模型；利用所述图像解析模型解析所述绘本图像，获得所述图像解析模型输出与所述绘本图像中至少一处情节相关的多个关键词；根据所述多个关键词生成与所述绘本图像中至少一处情节相关的交互内容。9.根据权利要求8所述的方法，其特征在于，根据所述多个关键词生成与所述绘本图像中至少一处情节相关的交互内容，包括：获取所述电子设备的配置信息，所述配置信息包括预设的目标数据库，所述目标数据库内包括若干候选对象；依次将所述多个关键词中的各关键词与所述目标数据库中的候选对象进行匹配，获得各关键词匹配的候选对象；根据所述多个关键词以及所述至少一个关键词匹配的候选对象生成所述交互内容。10.一种绘本获取装置，其特征在于，应用于电子设备，包括：语音信息获取模块，用于获取用户的第一语音信息；绘本图像生成模块，用于根据所述第一语音信息生成绘本图像；交互内容生成模块，用于生成与所述绘本图像中的至少一处情节相关联的交互内容。11.根据权利要求10所述的装置，其特征在于，所述绘本图像生成模块包括：语义信息获取...

【专利技术属性】
技术研发人员：董文储，
申请(专利权)人：京东方科技集团股份有限公司，
类型：发明
国别省市：