表情推荐方法及装置制造方法及图纸

技术编号:28058588 阅读:33 留言:0更新日期:2021-04-14 13:32
本申请涉及电子技术领域,尤其涉及一种表情推荐方法及装置,该方法包括:获取输入数据,该输入数据包括用户的第一语音数据和第一语音数据对应的第一图像数据,将第一图像数据和第一语音数据输入表情生成模型,得到输出结果,该输出结果包括至少一个表情,进而向所述用户推荐该至少一个表情,本申请提供的技术方案同时利用用户的语音数据和图像数据生成表情,使得生成的表情更多样且具有个性化,从而可以向用户推荐多样且具有个性化的表情。可以向用户推荐多样且具有个性化的表情。可以向用户推荐多样且具有个性化的表情。

【技术实现步骤摘要】
表情推荐方法及装置


[0001]本申请涉及电子
,尤其涉及一种表情推荐方法及装置。

技术介绍

[0002]随着移动互联网的发展,智能终端已成为人们生活中不可或缺的智能设备。作为智能终端的人口,输入法是使用频率最高的应用之一。语音识别技术的持续发展,使得语音输入法成为输入方式的主流。人们在聊天时,除了输入语音或者文字,还喜欢配上表情,使得输入和聊天变得更加生动有趣。但是,表情选择往往需要多步操作,用户翻找也比较麻烦。
[0003]目前的输入法表情推荐方案,通常是预先对表情库里面的表情打上标签,然后根据输入的文字与标签做匹配,根据匹配度为用户推荐表情。由于只利用的文本信息,且依赖于表情库,推荐的表情也仅限于表情库中的表情,缺乏多样性和个性化。

技术实现思路

[0004]本申请实施例提供一种表情推荐方法及装置,能够基于表情生成模型向用户推荐多样且具有个性化的表情。
[0005]第一方面,本申请实施例提供一种表情推荐方法,所述方法包括:
[0006]获取输入数据,所述输入数据包括用户的第一语音数据和所述第一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种表情推荐方法,其特征在于,所述方法包括:获取输入数据,所述输入数据包括用户的第一语音数据和所述第一语音数据对应的第一图像数据;将所述第一图像数据和所述第一语音数据输入表情生成模型,得到输出结果,所述输出结果包括至少一个表情;向所述用户推荐所述至少一个表情。2.根据权利要求1所述的方法,其特征在于,所述表情生成模型包括语音识别模型和生成模型;所述将所述第一图像数据和所述第一语音数据输入表情生成模型,得到输出结果,包括:将从所述第一语音数据中提取的目标语音特征向量输入所述语音识别模型,输出第一语义向量和第一文本数据;将所述第一图像数据、第一噪声向量、所述第一语义向量和所述第一文本数据输入所述生成模型,输出第一表情数据,所述第一表情数据包括所述至少一个表情。3.根据权利要求1或2所述的方法,其特征在于,所述输出结果还包括表情插入位置,所述表情插入位置为所述第一语音数据对应的文本内容中插入表情的位置;所述向所述用户推荐所述至少一个表情,包括:在所述表情插入位置向所述用户推荐所述至少一个表情。4.根据权利要求1

3任一项所述的方法,其特征在于,所述方法还包括:获取多组训练数据,每组训练数据包括用户输入的第二语音数据、所述第二语音数据对应的第二图像数据、所述第二语音数据对应的第一表情数据和所述第二语音数据对应的第二文本数据;标记所述每组训练数据的第一标签。5.根据权利要求4所述的方法,其特征在于,所述表情生成模型还包括判别模型和分类模型;所述方法还包括:对语音识别模型进行训练,具体包括:将从所述第二语音数据中提取的语音特征向量输入所述语音识别模型,输出第二语义向量和第三文本数据;根据所述第三文本数据和所述第二文本数据,计算第一损失函数;分别保持所述生成模型、所述判别模型和所述分类模型的参数不变,将所述第一损失函数最小化对应的参数更新为所述语音生成模型的参数。6.根据权利要求5所述的方法,其特征在于,所述方法还包括:截取所述第三文本数据中第一位置之前文本数据,得到第四文本数据,所述第一位置为所述第二文本数据中插入表情的位置;将所述第四文本数据执行特征提取操作,得到文本特征向量。7.根据权利要求6所...

【专利技术属性】
技术研发人员:许丽吴思远
申请(专利权)人:科大讯飞股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1