一种信息获得方法及装置制造方法及图纸

本发明专利技术实施例提供了一种信息获得方法及装置，方法包括：获得用户面部图像和用户语音；确定用户面部图像的高维隐含状态向量和用户语音的高维隐含状态向量；对所确定的高维隐含状态向量进行聚合，获得目标聚合状态向量；将目标聚合状态向量输入至预先构建的非线性变化模型，获得非线性变化模型输出的待推荐给用户的表情信息，其中，非线性变化模型为：采用样本数据对人工神经网络进行训练获得的，样本数据包括：样本面部图像的高维隐含状态向量和样本语音的高维隐含状态向量的聚合状态向量、样本面部图像和样本语音对应的标记的表情信息。应用本发明专利技术实施例所提供的方案，无论表情字符串和词汇字符串是否一致，均能确定出推送给用户的表情。

A method and device for information acquisition

The embodiment of the invention provides a method and apparatus, information gain method includes: obtaining the face image of the user and the user voice; determine the face image of the user the high dimensional implicit high-dimensional implicit state vector and state vector of user's voice; according to the high dimensional hidden state vector to obtain the target state vector of polymerization, polymerization; nonlinear change model will target aggregation state vector is input to the pre built, to obtain the output nonlinear variation model to be recommended to the user the nonlinear change of expression information, model: using the sample data of the artificial neural network is trained to obtain the sample data, including: sample face image high-dimensional implicit high-dimensional implicit aggregation marking the state vector, sample face images and sample speech expression information state vector of the state vector and the sample speech. The scheme provided by the application of the present invention, regardless of the consistency of the expression string and the lexical string, can determine the expression that is pushed to the user.

【技术实现步骤摘要】
一种信息获得方法及装置
本专利技术涉及计算机
，特别是涉及一种信息获得方法及装置。
技术介绍
目前，随着科学的进步和发展，在用户视频聊天过程中，不需要用户人工选择发送表情，而是通过用户面部图像和语音便可以获得推荐给用户的表情，从而便于用户实现与其他用户的互动。现有技术中，根据用户面部图像和用户语音获得推荐给用户的表情的具体过程为：首先确定用户的面部图像和用户语音，然后，根据面部图像特征，提取用户表情，并将提取的用户表情转化为表情字符串，之后，提取用户语音中能够表达情感的词汇，并将提取的词汇转换为词汇字符串，当表情字符串和词汇字符串一致时，确定表情字符串或者词汇字符串与表情库中每一表情的置信度，并将最大置信度对应的表情推送给用户，其中，表情库中存储有表情与表情名之间的对应关系。这样的话，只有当表情字符串和词汇字符串一致时，才能确定出推送给用户的表情，而当表情字符串和词汇字符串不一致时，将无法获得最后推荐给用户的表情。
技术实现思路
本专利技术实施例的目的在于提供信息获得方法及装置，已解决现有技术中的问题。具体技术方案如下：一种信息获得方法，所述方法包括：获得用户面部图像和用户语音；确本文档来自技高网...

【技术保护点】
一种信息获得方法，其特征在于，所述方法包括：获得用户面部图像和用户语音；确定所述用户面部图像的高维隐含状态向量和所述用户语音的高维隐含状态向量；对所确定的高维隐含状态向量进行聚合，获得目标聚合状态向量；将所述目标聚合状态向量输入至预先构建的非线性变化模型，获得所述非线性变化模型输出的待推荐给用户的表情信息，其中，所述非线性变化模型为：采用样本数据对人工神经网络进行训练获得的，所述样本数据包括：样本面部图像的高维隐含状态向量和样本语音的高维隐含状态向量的聚合状态向量、样本面部图像和样本语音对应的标记的表情信息。

【技术特征摘要】
1.一种信息获得方法，其特征在于，所述方法包括：获得用户面部图像和用户语音；确定所述用户面部图像的高维隐含状态向量和所述用户语音的高维隐含状态向量；对所确定的高维隐含状态向量进行聚合，获得目标聚合状态向量；将所述目标聚合状态向量输入至预先构建的非线性变化模型，获得所述非线性变化模型输出的待推荐给用户的表情信息，其中，所述非线性变化模型为：采用样本数据对人工神经网络进行训练获得的，所述样本数据包括：样本面部图像的高维隐含状态向量和样本语音的高维隐含状态向量的聚合状态向量、样本面部图像和样本语音对应的标记的表情信息。2.根据权利要求1所述的方法，其特征在于，所述确定所述用户面部图像的高维隐含状态向量和所述用户语音的高维隐含状态向量，包括：采用神经网络模型提取所述用户面部图像的高维隐含状态向量和所述用户语音的高维隐含状态向量。3.根据权利要求2所述的方法，其特征在于，所述采用神经网络模型提取所述用户面部图像的高维隐含状态向量和所述用户语音的高维隐含状态向量，包括：采用卷积神经网络模型，提取所述用户面部图像的高维隐含状态向量；采用循环神经网络模型，提取所述用户语音的高维隐含状态向量。4.根据权利要求1-3任一项所述的方法，其特征在于，所述预先构建的非线性变化模型按照以下方式确定输出信息：确定表情库中每一表情对应的索引与所述目标聚合状态信息的置信度，其中，所述表情库中存储有表情与索引之间的对应关系；基于所确定的置信度，确定所述非线性变化模型输出的表情对应的索引。5.根据权利要求4所述的方法，其特征在于，所述基于所确定的置信度，确定所述预先构建的非线性变化模型输出的表情对应的索引，包括：基于所确定的置信度，按照置信度从大到小的顺序，将前预设数量个置信度...

【专利技术属性】
技术研发人员：唐晶，舒鑫，陈天衡，张清雅，杨文玉，
申请(专利权)人：北京金山安全软件有限公司，
类型：发明
国别省市：北京,11