基于虚拟场景的文本预测方法、装置及电子设备制造方法及图纸

本公开涉及图像技术领域，具体公开了一种基于虚拟场景的文本预测方法、装置及电子设备。该方法包括：获取所述虚拟场景中的初始文本，确定对应于所述初始文本的文本特征；获取所述虚拟场景中对应于所述初始文本的虚拟场景图像，确定所述虚拟场景图像的图像特征；根据所述虚拟场景图像的图像特征，对所述初始文本的文本特征执行交互融合处理，得到所述初始文本的文本融合特征；根据所述初始文本的文本融合特征，预测所述虚拟场景中的后续文本。由于该方式中的文本融合特征属于多模态特征，能够更加全面的反映虚拟场景的特点，从而使后续文本的预测结果更加准确高效。文本的预测结果更加准确高效。文本的预测结果更加准确高效。

【技术实现步骤摘要】
基于虚拟场景的文本预测方法、装置及电子设备


[0001]本公开实施例涉及图像
，具体涉及一种基于虚拟场景的文本预测方法、装置及电子设备。

技术介绍

[0002]随着人工智能的日益发展，可借助人工智能技术，实现文本预测、人机对话等多种功能。例如，用户可通过文本对话模型进行人机交互对话：当用户通过语音形式进行提问后，文本对话模型能够自动输出语音形式的回答结果。
[0003]但是，专利技术人在实现本专利技术的过程中发现，目前的实现方式只能针对对话形式的纯文本内容进行预测，无法应用于更加复杂的文本预测场景。

技术实现思路

[0004]鉴于上述问题，提出了本公开以便提供一种克服上述问题或者至少部分地解决上述问题的一种基于虚拟场景的文本预测方法、装置及电子设备。
[0005]根据本公开实施例的一个方面，提供了一种基于虚拟场景的文本预测方法，包括：
[0006]获取所述虚拟场景中的初始文本，确定对应于所述初始文本的文本特征；
[0007]获取所述虚拟场景中对应于所述初始文本的虚拟场景图像，确定所述虚拟场景图像的图像特征；
[0008]根据所述虚拟场景图像的图像特征，对所述初始文本的文本特征执行交互融合处理，得到所述初始文本的文本融合特征；
[0009]根据所述初始文本的文本融合特征，预测所述虚拟场景中的后续文本。
[0010]在一种可选的实现方式中，所述虚拟场景中的初始文本包括：多个按照预设顺序排列的文本语句；所述初始文本的文本特征包括：多个按照预设顺序排列的语句文本特征，其中，每个语句文本特征对应于一个文本语句；
[0011]并且，所述虚拟场景图像包括：多个按照预设顺序排列的语句场景图像，其中，每个文本语句对应于至少一个语句场景图像；所述虚拟场景图像的图像特征包括：多个按照预设顺序排列的语句图像特征；其中，每个语句图像特征对应于一个语句场景图像。
[0012]在一种可选的实现方式中，所述多个按照预设顺序排列的文本语句为：根据预设关键词列表，从游戏应用的多个游戏视频帧中提取的多个游戏文本语句；
[0013]其中，所述预设顺序根据多个游戏文本语句对应的多个游戏视频帧的播放次序确定；所述预设关键词列表用于存储与游戏类型相对应的游戏关键词；
[0014]并且，所述语句场景图像根据所述文本语句对应的游戏视频帧确定。
[0015]在一种可选的实现方式中，所述根据所述虚拟场景图像的图像特征，对所述初始文本的文本特征执行交互融合处理，得到所述初始文本的文本融合特征包括：
[0016]针对任一文本语句，根据所述任一文本语句的至少一个相关语句场景图像的语句图像特征，对所述任一文本语句的语句文本特征执行交互融合处理，得到所述任一文本语
句的语句融合特征；
[0017]将多个文本语句的语句融合特征按照所述预设顺序排列，得到所述初始文本的文本融合特征；
[0018]其中，所述任一文本语句的至少一个相关语句场景图像包括：包含所述任一文本语句的目标场景图像、和/或与所述任一文本语句存在关联关系的关联场景图像。
[0019]在一种可选的实现方式中，所述针对任一文本语句，根据所述任一文本语句的至少一个相关语句场景图像的语句图像特征，对所述任一文本语句的语句文本特征执行交互融合处理，得到所述任一文本语句的语句融合特征包括：
[0020]针对任一文本语句，确定包含所述任一文本语句的目标场景图像，根据所述目标场景图像的语句图像特征，对所述任一文本语句的语句文本特征执行句内融合处理，得到所述任一文本语句的句内融合特征；
[0021]确定与所述任一文本语句相对应的关联文本语句，根据所述关联文本语句的句内融合特征，对所述任一文本语句的句内融合特征执行句间融合处理，得到所述任一文本语句的语句融合特征。
[0022]在一种可选的实现方式中，所述确定与任一文本语句相对应的关联文本语句包括：
[0023]计算其他文本语句与所述任一文本语句之间的语句相似度，将语句相似度大于预设相似阈值的文本语句确定为与所述任一文本语句相对应的关联文本语句；其中，所述语句相似度根据其他文本语句与所述任一文本语句之间的文本相似度，以及其他文本语句对应的语句场景图像与所述任一文本语句对应的语句场景图像之间的图像相似度确定；或者，
[0024]确定所述任一文本语句对应的标识信息，根据所述标识信息确定与所述任一文本语句相对应的关联文本语句；其中，所述标识信息包括：游戏阶段信息、和/或篇章段落信息。
[0025]在一种可选的实现方式中，所述文本语句中包含多个文本字符，所述文本语句的语句文本特征具体包括：多个字符特征，每个字符特征对应于一个文本字符；
[0026]则所述任一文本语句的句内融合特征具体包括：多个句内字符特征，且每个句内字符特征对应于一个文本字符；
[0027]其中，每个文本字符的句内字符特征通过以下方式计算：
[0028]计算所述文本字符的字符特征与所述目标场景图像的语句图像特征之间的字符相关度，根据所述字符相关度设置字符融合权重；
[0029]根据所述字符融合权重，将所述目标场景图像的语句图像特征与所述字符特征进行加权融合，得到所述文本字符的句内字符特征。
[0030]在一种可选的实现方式中，任一文本语句中的任一文本字符的字符特征通过以下方式得到：
[0031]获取所述文本语句中的每个文本字符的初始字符向量；
[0032]针对所述文本语句中的任一文本字符，将所述任一文本字符的初始字符向量与所述文本语句中的其余文本字符的初始字符向量进行句内交互融合处理，得到所述任一文本字符的融合字符向量；其中，所述任一文本字符的融合字符向量用于表征所述任一文本字
符的字符特征。
[0033]在一种可选的实现方式中，所述与所述任一文本语句相对应的关联文本语句包括：与所述任一文本语句之间的语句相似度大于预设第一相似阈值的第一类关联文本语句，以及，与所述任一文本语句之间的语句相似度不大于预设第一相似阈值的第二类关联文本语句；
[0034]所述根据所述关联文本语句的句内融合特征，对所述任一文本语句的句内融合特征执行句间融合处理，得到所述任一文本语句的语句融合特征具体包括：
[0035]针对所述任一文本语句的任一文本字符的句内字符特征，根据所述第一类关联文本语句执行第一句间融合处理，得到所述任一文本字符的第一句间字符特征；根据所述第二类关联文本语句执行第二句间融合处理，得到所述任一文本字符的第二句间字符特征；
[0036]根据所述第一句间字符特征以及所述第二句间字符特征，确定所述任一文本字符的字符融合特征；
[0037]根据任一文本语句中的多个文本字符的字符融合特征，确定所述任一文本语句的语句融合特征。
[0038]在一种可选的实现方式中，所述根据所述第一类关联文本语句执行第一句间融合处理，得到所述任一文本字符的第一句间字符特征具体包括：获取所述第一类本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于虚拟场景的文本预测方法，包括：获取所述虚拟场景中的初始文本，确定对应于所述初始文本的文本特征；获取所述虚拟场景中对应于所述初始文本的虚拟场景图像，确定所述虚拟场景图像的图像特征；根据所述虚拟场景图像的图像特征，对所述初始文本的文本特征执行交互融合处理，得到所述初始文本的文本融合特征；根据所述初始文本的文本融合特征，预测所述虚拟场景中的后续文本。2.根据权利要求1所述的方法，其中，所述虚拟场景中的初始文本具体包括：多个按照预设顺序排列的文本语句；所述初始文本的文本特征具体包括：多个按照预设顺序排列的语句文本特征，其中，每个语句文本特征对应于一个文本语句；并且，所述虚拟场景图像具体包括：多个按照预设顺序排列的语句场景图像，其中，每个文本语句对应于至少一个语句场景图像；所述虚拟场景图像的图像特征具体包括：多个按照预设顺序排列的语句图像特征；其中，每个语句图像特征对应于一个语句场景图像。3.根据权利要求2所述的方法，其中，所述多个按照预设顺序排列的文本语句为：根据预设关键词列表，从游戏应用的多个游戏视频帧中提取的多个游戏文本语句；其中，所述预设顺序根据多个游戏文本语句对应的多个游戏视频帧的播放次序确定；所述预设关键词列表用于存储与游戏类型相对应的游戏关键词；并且，所述语句场景图像根据所述文本语句对应的游戏视频帧确定。4.根据权利要求2或3所述的方法，其中，所述根据所述虚拟场景图像的图像特征，对所述初始文本的文本特征执行交互融合处理，得到所述初始文本的文本融合特征具体包括：针对任一文本语句，根据所述任一文本语句的至少一个相关语句场景图像的语句图像特征，对所述任一文本语句的语句文本特征执行交互融合处理，得到所述任一文本语句的语句融合特征；将多个文本语句的语句融合特征按照所述预设顺序排列，得到所述初始文本的文本融合特征；其中，所述任一文本语句的至少一个相关语句场景图像包括：包含所述任一文本语句的目标场景图像、和/或与所述任一文本语句存在关联关系的关联场景图像。5.根据权利要求4所述的方法，其中，所述针对任一文本语句，根据所述任一文本语句的至少一个相关语句场景图像的语句图像特征，对所述任一文本语句的语句文本特征执行交互融合处理，得到所述任一文本语句的语句融合特征具体包括：针对任一文本语句，确定包含所述任一文本语句的目标场景图像，根据所述目标场景图像的语句图像特征，对所述任一文本语句的语句文本特征执行句内融合处理，得到所述任一文本语句的句内融合特征；确定与所述任一文本语句相对应的关联文本语句，根据所述关联文本语句的句内融合特征，对所述任一文本语句的句内融合特征执行句间融合处理，得到所述任一文本语句的语句融合特征。6.根据权利要求5所述的方法，其中，所述确定与任一文本语句相对应的关联文本语句具体包括：计算其他文本语句与所述任一文本语句之间的语句相似度，将语句相似度大于预设相
似阈值的文本语句确定为与所述任一文本语句相对应的关联文本语句；其中，所述语句相似度根据其他文本语句与所述任一文本语句之间的文本相似度，以及其他文本语句对应的语句场景图像与所述任一文本语句对应的语句场景图像之间的图像相似度确定；或者，确定所述任一文本语句对应的标识信息，根据所述标识信息确定与所述任一文本语句相对应的关联文本语句；其中，所述标识信息包括：游戏阶段信息、和/或篇章段落信息。7.根据权利要求5或6所述的方法，其中，所述文本语句中包含多个文本字符，所述文本语句的语句文本特征具体包括：多个字符特征，每个字符特征对应于一个文本字符；则所述任一文本语句的句内融合特征具体包括：多个句内字符特征，且每个句内字符特征对应于一个文本字符；其中，每个文本字符的句内字符特征通过以下方式计算：计算所述文本字符的字符特征与所述目标场景图像的语句图像特征之间的字符相关度，根据所述字符相关度设置字符融合权重；根据所述字符融合权重，将所述目标场景图像的语句图像特征与所述字符特征进行加权融合，得到所述文本字符的句内字符特征。8.根据权利要求7所述的方法，其中，任一文本语句中的任一文本字符的字符特征通过以下方式得到：获取所述文本语句中的每个文本字符的初始字符向量；针对所述文本语句中的任一文本字符，将所述任一文本字符的初始字符向量与所述文本语句中的其余文本字符的初始字符向量进行句内交互融合处理，得到所述任一文本字符的融合字符向量；其中，所述任一文本字符的融合字符向量用于表征所述任一文本字符的字符特征。9.根据权利要求7或8所述的方法，其中，所述与所述任一文本语句相对应的关联文本语句具体包括：与所述任一文本语句之间的语句相似度大于预设第一相似阈值的第一类关联文本语句，以及，与所述任一文本语句之间的语句相似度...

【专利技术属性】
技术研发人员：王佳安，
申请(专利权)人：上海米哈游天命科技有限公司，
类型：发明
国别省市：