一种基于语音识别的人脸表情装饰方法、装置、存储介质及电子设备制造方法及图纸

本发明专利技术提供了一种基于语音识别的人脸表情装饰方法、装置、存储介质及电子设备，用于给视频对话过程中的用户添加表情涂鸦，该方法包括以下步骤：每隔预设时间段获取视频对话中的用户的对话音频数据；根据所述对话音频数据判断用户的情绪状态；根据所述情绪状态选择对应的表情涂鸦；根据所述表情涂鸦的特征在所述人脸图像的对应位置添加该表情涂鸦。

【技术实现步骤摘要】
一种基于语音识别的人脸表情装饰方法、装置、存储介质及电子设备
本申请涉及通信领域，具体涉及一种基于语音识别的人脸表情装饰方法、装置、存储介质及电子设备。
技术介绍
现有技术，在视频对话例如QQ视频对话过程中，可以在对话的人脸图像中加入各种各样的表情涂鸦来增强对话的趣味性，但是，现有技术都是用户手动添加与自己情绪对应的表情涂鸦，操作麻烦，智能化程度不高，用户体验不够。因此，现有技术存在缺陷，急需改进。
技术实现思路
本申请实施例提供一种基于语音识别的人脸表情装饰方法、装置、存储介质及电子设备，可以提高用户体验。本申请实施例提供了一种基于语音识别的人脸表情装饰方法，用于给视频对话过程中的用户添加表情涂鸦，该方法包括以下步骤：每隔预设时间段获取视频对话中的用户的对话音频数据；根据所述对话音频数据判断用户的情绪状态；根据所述情绪状态选择对应的表情涂鸦；根据所述表情涂鸦的特征在所述人脸图像的对应位置添加该表情涂鸦。在本专利技术所述的基于语音识别的人脸表情装饰方法中，所述根据所述对话音频数据判断用户的情绪状态的步骤包括：提取音频数据的当前音调信息以及当前音量信息；对所述音频数据进行语音识别，提取出其中关于情绪的关键词汇；结合该当前音调信息、当前音量信息以及该关键词汇判断出该用户的情绪状态。在本专利技术所述的基于语音识别的人脸表情装饰方法中，所述表情涂鸦包括多个表情元素，所述多个标情元素用于共同描述一种情绪状态，各个表情元素对应于人脸部的不同器官区域。在本专利技术所述的基于语音识别的人脸表情装饰方法中，所述根据所述表情涂鸦的特征在所述人脸图像的对应位置添加该表情涂鸦的步骤包括：根据所述表情涂鸦的各个表情元素所对应的器官区域，将该表情涂鸦的每一个表情元素添加到与每一表情元素对应的器官区域的对应位置。在本专利技术所述的基于语音识别的人脸表情装饰方法中，所述情绪状态包括：严肃状态、愉悦状态、微怒状态、大怒状态、伤心状态、狂喜状态。一种基于语音识别的人脸表情装饰装置，包括：获取模块，用于每隔预设时间段获取视频对话中的用户的对话音频数据；判断模块，用于根据所述对话音频数据判断用户的情绪状态；选择模块，用于根据所述情绪状态选择对应的表情涂鸦；添加模块，用于根据所述表情涂鸦的特征在所述人脸图像的对应位置添加该表情涂鸦。在本专利技术所述的基于语音识别的人脸表情装饰装置中，所述判断模块包括：提取单元，用于提取音频数据的当前音调信息以及当前音量信息；语音是被单元，用于对所述音频数据进行语音识别，提取出其中关于情绪的关键词汇；判断单元，用于结合该当前音调信息、当前音量信息以及该关键词汇判断出该用户的情绪状态。在本专利技术所述的基于语音识别的人脸表情装饰装置中，所述表情涂鸦包括多个表情元素，所述多个标情元素用于共同描述一种情绪状态，各个表情元素对应于人脸部的不同器官区域；所述添加模块用于根据所述表情涂鸦的各个表情元素所对应的器官区域，将该表情涂鸦的每一个表情元素添加到与每一表情元素对应的器官区域的对应位置。一种存储介质，所述存储介质中存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行上述任一项所述的方法。一种电子设备，包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器通过调用所述存储器中存储的所述计算机程序，用于执行上述5任一项方法。由上可知，本专利技术通过每隔预设时间段获取视频对话中的用户的对话音频数据；根据所述对话音频数据判断用户的情绪状态；根据所述情绪状态选择对应的表情涂鸦；根据所述表情涂鸦的特征在所述人脸图像的对应位置添加该表情涂鸦，从而使得视频过程中可以自动添加符合用户情绪状态的表情涂鸦，具有提高用户体验的有益效果。附图说明图1是本申请实施例提供的基于语音识别的人脸表情装饰方法的流程示意图。图2是本申请实施例提供的基于语音识别的人脸表情装饰装置的结构示意图。图3是本申请实施例提供的电子设备的结构示意图。具体实施方式实施例，参考图1，图1为本专利技术本申请实施例提供了一种基于语音识别的人脸表情装饰方法，应用于手机、PAD等电子设备中。该基于语音识别的人脸表情装饰方法，用于给视频对话过程中的用户添加表情涂鸦，该方法包括以下步骤：S101、每隔预设时间段获取视频对话中的用户的对话音频数据。由于人的情绪会随着视频对话的持续进行可能不断发生变化，因此，每隔预设时间段就需要采集一次用户的对话音频数据，以便于后续的情绪状态识别。在本实施例中，例如可以每隔10秒获取一次对话音频数据。当然，其并不限于此。该对话音频数据的时长为5秒到10秒。S102、根据所述对话音频数据判断用户的情绪状态。在该步骤中，可以采用现有技术中的语音识别技术来进行人情绪识别。当然，在本专利技术中，可以结合用户的语调、音量以及对话中的关于情绪的一些词语，例如“气死”、“你他X”、“滚蛋”、“呵呵”等。在一些实施例中，该步骤S102包括：提取音频数据的当前音调信息以及当前音量信息；对所述音频数据进行语音识别，提取出其中关于情绪的关键词汇；结合该当前音调信息、当前音量信息以及该关键词汇判断出该用户的情绪状态。其中，结合当前音调信息、当前音量信息进行判断时，还要结合用户的平均音调信息以及平均音量信息来判断，看当前音调信息、当前音量信息与平均音调信息以及平均音量信息的差值，来判断，并结合提取出的关键词，例如，用户以很高的音调以及音量说“呵呵”，说明其实用户已经生气了。不同的词语在不同的音调以及音量下说出来对应的情绪状态是不一样的。S103、根据所述情绪状态选择对应的表情涂鸦。其中，表情涂鸦包括多个表情元素，所述多个标情元素用于共同描述一种情绪状态，各个表情元素对应于人脸部的不同器官区域。例如，对应于大怒状态的表情涂鸦，其包括围绕人脸的火焰表情元素以及眼睛区域火眼元素等。对应于伤心状态，则有在人眼睛以及眼睛以下区域的眼泪，嘴角下垂等。在此不一一例举。S104、根据所述表情涂鸦的特征在所述人脸图像的对应位置添加该表情涂鸦。在该步骤S104中，根据表情涂鸦的各个表情元素所对应的器官区域，将该表情涂鸦的每一个表情元素添加到与每一表情元素对应的器官区域的对应位置。例如，当用户大怒时，将火眼元素添加到用户的眼睛位置处，将火焰表情元素添加到头顶以及人脸上。由上可知，本专利技术通过每隔预设时间段获取视频对话中的用户的对话音频数据；根据所述对话音频数据判断用户的情绪状态；根据所述情绪状态选择对应的表情涂鸦；根据所述表情涂鸦的特征在所述人脸图像的对应位置添加该表情涂鸦，从而使得视频过程中可以自动添加符合用户情绪状态的表情涂鸦，具有提高用户体验的有益效果。本专利技术还提供了一种基于语音识别的人脸表情装饰装置，包括：获取模块201、判断模块202、选择模块203以及添加模块204。其中，该获取模块201用于每隔预设时间段获取视频对话中的用户的对话音频数据；由于人的情绪会随着视频对话的持续进行可能不断发生变化，因此，每隔预设时间段就需要采集一次用户的对话音频数据，以便于后续的情绪状态识别。在本实施例中，例如可以每隔10秒获取一次对话音频数据。当然，其并不限于此。该对话音频数据的时长为5秒到10秒。其中，该判断模块202用于根据所述对话音频数据判断用户的情绪状态；可以采用现有技术中的语音识别技术来进行人情绪识别。本文档来自技高网...

【技术保护点】
1.一种基于语音识别的人脸表情装饰方法，用于给视频对话过程中的用户添加表情涂鸦，其特征在于，该方法包括以下步骤：每隔预设时间段获取视频对话中的用户的对话音频数据；根据所述对话音频数据判断用户的情绪状态；根据所述情绪状态选择对应的表情涂鸦；根据所述表情涂鸦的特征在所述人脸图像的对应位置添加该表情涂鸦。

【技术特征摘要】
1.一种基于语音识别的人脸表情装饰方法，用于给视频对话过程中的用户添加表情涂鸦，其特征在于，该方法包括以下步骤：每隔预设时间段获取视频对话中的用户的对话音频数据；根据所述对话音频数据判断用户的情绪状态；根据所述情绪状态选择对应的表情涂鸦；根据所述表情涂鸦的特征在所述人脸图像的对应位置添加该表情涂鸦。2.根据权利要求1所述的基于语音识别的人脸表情装饰方法，其特征在于，所述根据所述对话音频数据判断用户的情绪状态的步骤包括：提取音频数据的当前音调信息以及当前音量信息；对所述音频数据进行语音识别，提取出其中关于情绪的关键词汇；结合该当前音调信息、当前音量信息以及该关键词汇判断出该用户的情绪状态。3.根据权利要求1所述的基于语音识别的人脸表情装饰方法，其特征在于，所述表情涂鸦包括多个表情元素，所述多个标情元素用于共同描述一种情绪状态，各个表情元素对应于人脸部的不同器官区域。4.根据权利要求3所述的基于语音识别的人脸表情装饰方法，其特征在于，所述根据所述表情涂鸦的特征在所述人脸图像的对应位置添加该表情涂鸦的步骤包括：根据所述表情涂鸦的各个表情元素所对应的器官区域，将该表情涂鸦的每一个表情元素添加到与每一表情元素对应的器官区域的对应位置。5.根据权利要求1所述的基于语音识别的人脸表情装饰方法，其特征在于，所述情绪状态包括：严肃状态、愉悦状态、微怒状态、大怒状态、伤心状态、狂喜状态。6.一种基于语...

【专利技术属性】
技术研发人员：不公告发明人，
申请(专利权)人：强睿，
类型：发明
国别省市：安徽,34