基于语音识别的人脸表情装饰方法、装置、存储介质及电子设备制造方法及图纸

本发明专利技术提供了一种基于语音识别的人脸表情装饰方法、装置、存储介质及电子设备，用于给视频对话过程中的用户添加表情涂鸦，该方法包括以下步骤：每隔预设时间段获取视频对话中的用户的对话音频数据；根据所述对话音频数据判断用户的情绪状态；根据所述情绪状态选择对应的表情涂鸦；根据所述表情涂鸦的特征在所述人脸图像的对应位置添加该表情涂鸦。

Facial expression decoration methods, devices, storage media and electronic devices based on speech recognition

The present invention provides a facial expression decoration method, device, storage medium and electronic equipment based on speech recognition for adding facial expression graffiti to users in video conversation process. The method includes the following steps: acquiring voice data of users in video conversation at preset intervals; judging user's emotional state according to the voice data of the conversation; and judging user's emotional state according to the said voice data. The corresponding expression graffiti is selected according to the emotional state, and the expression graffiti is added at the corresponding position of the face image according to the characteristics of the expression graffiti.

【技术实现步骤摘要】
基于语音识别的人脸表情装饰方法、装置、存储介质及电子设备
本申请涉及通信领域，具体涉及一种基于语音识别的人脸表情装饰方法、装置、存储介质及电子设备。
技术介绍
现有技术，在视频对话例如QQ视频对话过程中，可以在对话的人脸图像中加入各种各样的表情涂鸦来增强对话的趣味性，但是，现有技术都是用户手动添加与自己情绪对应的表情涂鸦，操作麻烦，智能化程度不高，用户体验不够。因此，现有技术存在缺陷，急需改进。
技术实现思路
本申请实施例提供一种基于语音识别的人脸表情装饰方法、装置、存储介质及电子设备，可以提高用户体验。本申请实施例提供了一种基于语音识别的人脸表情装饰方法，用于给视频对话过程中的用户添加表情涂鸦，该方法包括以下步骤：每隔预设时间段获取视频对话中的用户的对话音频数据；根据所述对话音频数据判断用户的情绪状态；根据所述情绪状态选择对应的表情涂鸦；根据所述表情涂鸦的特征在所述人脸图像的对应位置添加该表情涂鸦。在本专利技术所述的基于语音识别的人脸表情装饰方法中，所述根据所述对话音频数据判断用户的情绪状态的步骤包括：提取音频数据的当前音调信息以及当前音量信息；对所述音频数据进行语音识别，提取出其中关于情绪的关键词汇；结合该当前音调信息、当前音量信息以及该关键词汇判断出该用户的情绪状态。在本专利技术所述的基于语音识别的人脸表情装饰方法中，所述表情涂鸦包括多个表情元素，所述多个标情元素用于共同描述一种情绪状态，各个表情元素对应于人脸部的不同器官区域。在本专利技术所述的基于语音识别的人脸表情装饰方法中，所述根据所述表情涂鸦的特征在所述人脸图像的对应位置添加该表情涂鸦的步骤包括：根据所述表情涂鸦的各个表情元素所对应的器官区域，将该表情涂鸦的每一个表情元素添加到与每一表情元素对应的器官区域的对应位置。在本专利技术所述的基于语音识别的人脸表情装饰方法中，所述情绪状态包括：严肃状态、愉悦状态、微怒状态、大怒状态、伤心状态、狂喜状态。一种基于语音识别的人脸表情装饰装置，包括：获取模块，用于每隔预设时间段获取视频对话中的用户的对话音频数据；判断模块，用于根据所述对话音频数据判断用户的情绪状态；选择模块，用于根据所述情绪状态选择对应的表情涂鸦；添加模块，用于根据所述表情涂鸦的特征在所述人脸图像的对应位置添加该表情涂鸦。在本专利技术所述的基于语音识别的人脸表情装饰装置中，所述判断模块包括：提取单元，用于提取音频数据的当前音调信息以及当前音量信息；语音是被单元，用于对所述音频数据进行语音识别，提取出其中关于情绪的关键词汇；判断单元，用于结合该当前音调信息、当前音量信息以及该关键词汇判断出该用户的情绪状态。在本专利技术所述的基于语音识别的人脸表情装饰装置中，所述表情涂鸦包括多个表情元素，所述多个标情元素用于共同描述一种情绪状态，各个表情元素对应于人脸部的不同器官区域；所述添加模块用于根据所述表情涂鸦的各个表情元素所对应的器官区域，将该表情涂鸦的每一个表情元素添加到与每一表情元素对应的器官区域的对应位置。一种存储介质，所述存储介质中存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行上述任一项所述的方法。一种电子设备，包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器通过调用所述存储器中存储的所述计算机程序，用于执行上述5任一项方法。由上可知，本专利技术通过每隔预设时间段获取视频对话中的用户的对话音频数据；根据所述对话音频数据判断用户的情绪状态；根据所述情绪状态选择对应的表情涂鸦；根据所述表情涂鸦的特征在所述人脸图像的对应位置添加该表情涂鸦，从而使得视频过程中可以自动添加符合用户情绪状态的表情涂鸦，具有提高用户体验的有益效果。附图说明为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本申请实施例提供的基于语音识别的人脸表情装饰方法的流程示意图。图2是本申请实施例提供的基于语音识别的人脸表情装饰装置的结构示意图。图3是本申请实施例提供的电子设备的结构示意图。具体实施方式下面详细描述本申请的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本申请，而不能理解为对本申请的限制。在本申请的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。在本申请的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接或可以相互通讯；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。在本申请中，除非另有明确的规定和限定，第一特征在第二特征之“上”或之“下”可以包括第一和第二特征直接接触，也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且，第一特征在第二特征“之上”、“上方”和“上面”包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”包括第一特征在第二特征正下方和斜下方，或仅仅表示第一特征水平高度小于第二特征。下文的公开提供了许多不同的实施方式或例子用来实现本申请的不同结构。为了简化本申请的公开，下文中对特定例子的部件和设置进行描述。当然，它们仅仅为示例，并且目的不在于限制本申请。此外，本申请可以在不同例子中重复参考数字和/或参考字母，这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施方式和/或设置之间的关系。此外，本申请提供了的各种特定的工艺和材料的例子，但是本领域普通技术人员可以意识到其他工艺的应用和/或其他材料的使用。本申请的说明书和权利要求书以及上述附图中的术语“第一”、“第二”、“第三”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应当理解，这样描述的对象在适当情况下可以互换。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。例如，包含了一系列步骤的过程、方法或包含了一系列模块或单元的装置、终端、系统不必限于清楚地列出的那些步骤或模块或单元本文档来自技高网...

【技术保护点】
1.一种基于语音识别的人脸表情装饰方法，用于给视频对话过程中的用户添加表情涂鸦，其特征在于，该方法包括以下步骤：每隔预设时间段获取视频对话中的用户的对话音频数据；根据所述对话音频数据判断用户的情绪状态；根据所述情绪状态选择对应的表情涂鸦；根据所述表情涂鸦的特征在所述人脸图像的对应位置添加该表情涂鸦。

【技术特征摘要】
1.一种基于语音识别的人脸表情装饰方法，用于给视频对话过程中的用户添加表情涂鸦，其特征在于，该方法包括以下步骤：每隔预设时间段获取视频对话中的用户的对话音频数据；根据所述对话音频数据判断用户的情绪状态；根据所述情绪状态选择对应的表情涂鸦；根据所述表情涂鸦的特征在所述人脸图像的对应位置添加该表情涂鸦。2.根据权利要求1所述的基于语音识别的人脸表情装饰方法，其特征在于，所述根据所述对话音频数据判断用户的情绪状态的步骤包括：提取音频数据的当前音调信息以及当前音量信息；对所述音频数据进行语音识别，提取出其中关于情绪的关键词汇；结合该当前音调信息、当前音量信息以及该关键词汇判断出该用户的情绪状态。3.根据权利要求1所述的基于语音识别的人脸表情装饰方法，其特征在于，所述表情涂鸦包括多个表情元素，所述多个标情元素用于共同描述一种情绪状态，各个表情元素对应于人脸部的不同器官区域。4.根据权利要求3所述的基于语音识别的人脸表情装饰方法，其特征在于，所述根据所述表情涂鸦的特征在所述人脸图像的对应位置添加该表情涂鸦的步骤包括：根据所述表情涂鸦的各个表情元素所对应的器官区域，将该表情涂鸦的每一个表情元素添加到与每一表情元素对应的器官区域的对应位置。5.根据权利要求1所述的基于语音识别的人脸表情装饰方法，其特征在于，所述情绪状态包括：严肃状态、愉悦状态、微怒状态、大怒状态、伤心状态、狂喜状态。6.一种基于语...

【专利技术属性】
技术研发人员：徐国雄，刘分，刘任仲，
申请(专利权)人：湖南永爱生物科技有限公司，
类型：发明
国别省市：湖南,43