一种基于情绪识别的语音提示方法及系统技术方案

本申请公开了一种基于情绪识别的语音提示方法及系统，属于情绪识别技术领域，语音提示方法包括，采集用户的当前面部图像，根据当前面部图像得到用户的当前面部情绪状态；采集用户的当前语音数据，根据当前语音数据、上一次用户的阅读情绪状态和语义信息，得到用户的当前语音情绪状态和当前语音含义；将当前面部情绪状态、当前语音情绪状态和当前语音含义输入到深度学习模型，得到用户的当前阅读情绪状态和当前语义信息；根据当前阅读情绪状态，生成相应的语音提示信息。本申请通过用户的面部图像和语音数据，综合计算出用户的当前阅读情绪状态，并根据用户的阅读情绪状态与用户互动，从而帮助用户更有效地投入阅读中。从而帮助用户更有效地投入阅读中。

A voice prompt method and system based on emotion recognition

【技术实现步骤摘要】
一种基于情绪识别的语音提示方法及系统


[0001]本申请涉及情绪识别
，尤其是涉及一种基于情绪识别的语音提示方法及系统。

技术介绍

[0002]绘本通常指的是图画书，即画出来的书，指一类以绘画为主，并附有少量文章的书籍。绘本机器人是一种用于阅读绘本的人工智能产品，绘本机器人通过图像识别技术和语音识别技术，对检测到的绘本内容进行识别并进行阅读。
[0003]针对上述相关技术，专利技术人发现：用户在阅读过程中，常常会出现注意力无法集中的情况，但相关技术中的绘本机器人通常只是识别出绘本内容并进行阅读，并未考虑到用户的阅读状态，进而难以根据用户的阅读状态与用户进行互动，从而不便于帮助用户更有效地投入到阅读中。

技术实现思路

[0004]为了便于帮助用户更有效地投入阅读中，本申请提供一种基于情绪识别的语音提示方法及系统。
[0005]第一方面，本申请提供一种基于情绪识别的语音提示方法，采用如下的技术方案：一种基于情绪识别的语音提示方法，所述语音提示方法包括：采集用户的当前面部图像，根据所述当前面部图像得到用户的当前面部情绪状态；采集用户的当前语音数据，根据所述当前语音数据、上一次用户的阅读情绪状态和语义信息，得到用户的当前语音情绪状态和当前语音含义；将所述当前面部情绪状态、所述当前语音情绪状态和所述当前语音含义输入到深度学习模型，得到用户的当前阅读情绪状态和当前语义信息；以及，根据所述当前阅读情绪状态，生成相应的语音提示信息。
[0006]通过采用上述技术方案，在用户阅读过程中，采集用户的当前面部图像，然后根据用户的当前面部图像得到用户的当前面部情绪状态；同时，采集用户的当前语音数据，然后根据用户的当前语音数据以及上一次用户的阅读情绪状态和语义信息，得到用户的当前语音情绪状态和当前语音含义；然后将用户的当前面部情绪状态、当前语音情绪状态和当前语音含义输入到深度学习模型，得到用户的当前阅读情绪状态和当前语义信息；然后根据用户的阅读情绪状态，生成相应的语音提示信息，从而提醒用户专心阅读，帮助用户更有效地投入到阅读当中。
[0007]可选的，所述根据所述当前面部图像得到用户的当前面部情绪状态，包括：根据所述当前面部图像，得到用户的当前面部特征数据；以及，基于预设表情数据库，根据所述当前面部特征数据得到对应的当前面部情绪状态；其中，所述预设表情数据库包括多组面部特征数据与面部情绪状态的对应关系。
[0008]通过采用上述技术方案，在摄像头拍摄到用户的当前面部图像后，识别用户的当前面部特征，得到用户的当前面部特征数据；然后基于预设表情数据库，匹配和识别用户的当前面部表情，得到与当前面部特征数据相对应的当前面部情绪状态，从而便于根据用户面部表情，判断用户的当前面部情绪状态。
[0009]可选的，所述根据所述当前语音数据、上一次用户的阅读情绪状态和语义信息，得到用户的当前语音情绪状态和当前语音含义包括：对所述当前语音数据进行语音信号处理并提取语音特征，基于预设的声学模型、语言模型以及词典对所述语音特征进行处理，得到语音文本；根据预设词库对所述语音文本进行解析并提取文本特征，基于预设的文本语义库和文本情绪库，得到文本情绪和初始语音含义；根据预设权重规则，基于所述文本情绪、初始语音含义、上一次用户的阅读情绪状态和语义信息，计算得到用户的当前语音情绪状态和当前语音含义。
[0010]通过采用上述技术方案，在采集到用户的当前语音数据后，对当前语音数据进行语音信号处理及语音特征提取，得到语音特征，再基于预设的声学模型、语言模型以及词典对语音特征进行处理，得到当前语音数据对应的语音文本；再根据预设词库对语音文本进行解析并提取文本特征，然后基于预设的文本语义库和文本情绪库，将文本特征与文本情绪库中的数据进行比对，得到文本情绪，并将文本情绪与文本语义库中的数据进行比对，得到初始语音含义；然后根据预设权重规则，基于文本情绪、初始语音含义、上一次用户的阅读情绪状态和语义信息，计算得到用户的当前语音情绪状态和当前语音含义；通过结合用户的历史阅读情绪状态和语义信息，提高了数据结果的准确性和全面性。
[0011]可选的，所述语音提示方法还包括：预先训练所述深度学习模型；所述训练所述深度学习模型，具体包括：获取用户情绪集，按照预设比例将用户情绪集配置为训练情绪集和测试情绪集；其中，所述用户情绪集包括用户的历史语音情绪状态和历史面部情绪状态；对所述用户情绪集进行特征提取，得到特征结果；选择预设的深度学习模型，根据所述特征结果对所述预设的深度学习模型进行参数调整；基于所述训练情绪集对所述预设的深度学习模型进行训练，得到训练后的深度学习模型；根据所述测试情绪集对所述训练后的深度学习模型进行测试，得到深度学习模型。
[0012]通过采用上述技术方案，获取用户历史语音情绪和用户历史面部情绪，组成用户情绪集，并按照预设比例将用户情绪集配置为训练情绪集和测试情绪集；然后对用户情绪集进行特征提取，得到特征结果；提取后选择预设的深度学习模型，并依据提取的特征结果，基于训练情绪集对选择预设的深度学习模型进行训练，从而得到训练后的深度学习模型；然后根据测试情绪集对训练后的深度学习模型进行测试，从而生成深度学习模型；通过训练情绪集对深度学习模型进行训练以及测试情绪集对训练得到的深度学习模型进行测试，减小了模型的泛化误差，提高了生成的深度学习模型的适用性。
[0013]可选的，所述预设的深度学习模型包括深度神经网络模型、循环神经网络模型以
及卷积神经网络模型中的一种或几种。
[0014]通过采用上述技术方案，在使用用户情绪集对选择的深度学习模型进行训练时，可以根据训练结果在预设的深度学习模型中重新选择预设的深度学习模型。
[0015]可选的，所述根据所述当前阅读情绪状态，生成相应的语音提示信息包括：根据所述当前阅读情绪状态，将所述当前阅读情绪状态与预设情绪反馈库进行比对，得到所述语音提示信息；其中，所述预设情绪反馈库包括多组阅读情绪状态与语音反馈提示的对应关系。
[0016]通过采用上述技术方案，将用户的阅读情绪状态与预设情绪反馈库进行比对，得到对应的语音反馈提示，从而能够根据不同的阅读情绪状态给予用户不同的语音反馈提示，提高了语音反馈提示的多样性和适应性。
[0017]可选的，在所述得到用户的当前阅读情绪状态后还包括：获取预设时间段内的阅读情绪状态，统计各个阅读情绪状态对应的累计次数和累计持续时长，并生成阅读状态信息；以及，将所述阅读状态信息发送至移动终端。
[0018]通过采用上述技术方案，获得预设时间段内的用户所有的阅读情绪状态，然后统计各个阅读情绪状态对应的累积次数和累积持续时长，并根据各个阅读情绪状态以及各个阅读情绪状态对应的累积次数和累积持续时长生成阅读状态信息，然后将阅读状态信息发送至移动终端，从而便于监护人通过移动终端随时监督和了解正在阅读的用户的阅读状态。
[0019]第二方面，本申请还提供了一种基于情绪识别的语音提示系统，采用如下的技术方案：一种基于情绪本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于情绪识别的语音提示方法，其特征在于，所述语音提示方法包括：采集用户的当前面部图像，根据所述当前面部图像得到用户的当前面部情绪状态；采集用户的当前语音数据，根据所述当前语音数据、上一次用户的阅读情绪状态和语义信息，得到用户的当前语音情绪状态和当前语音含义；将所述当前面部情绪状态、所述当前语音情绪状态和所述当前语音含义输入到深度学习模型，得到用户的当前阅读情绪状态和当前语义信息；以及，根据所述当前阅读情绪状态，生成相应的语音提示信息。2.根据权利要求1所述的一种基于情绪识别的语音提示方法，其特征在于，所述根据所述当前面部图像得到用户的当前面部情绪状态，包括：根据所述当前面部图像，得到用户的当前面部特征数据；以及，基于预设表情数据库，根据所述当前面部特征数据得到对应的当前面部情绪状态；其中，所述预设表情数据库包括多组面部特征数据与面部情绪状态的对应关系。3.根据权利要求1所述的一种基于情绪识别的语音提示方法，其特征在于，所述根据所述当前语音数据、上一次用户的阅读情绪状态和语义信息，得到用户的当前语音情绪状态和当前语音含义包括：对所述当前语音数据进行语音信号处理并提取语音特征，基于预设的声学模型、语言模型以及词典对所述语音特征进行处理，得到语音文本；根据预设词库对所述语音文本进行解析并提取文本特征，基于预设的文本语义库和文本情绪库，得到文本情绪和初始语音含义；根据预设权重规则，基于所述文本情绪、初始语音含义、上一次用户的阅读情绪状态和语义信息，计算得到用户的当前语音情绪状态和当前语音含义。4.根据权利要求1所述的一种基于情绪识别的语音提示方法，其特征在于，所述语音提示方法还包括：预先训练所述深度学习模型；所述训练所述深度学习模型，具体包括：获取用户情绪集，按照预设比例将用户情绪集配置为训练情绪集和测试情绪集；其中，所述用户情绪集包括用户的历史语音情绪状态和历史面部情绪状态；对所述用户情绪集进行特征提取，得到特征结果；选择预设的深度学习模型，根据所述特征结果对所述预设的深度学习模型进行参数调整；基...

【专利技术属性】
技术研发人员：尚跃进，李来林，宋伟，
申请(专利权)人：北京物灵科技有限公司，
类型：发明
国别省市：