一种情感播报方法及系统技术方案

本发明专利技术公开了一种情感播报方法及系统包括，采集数据信息，通过ASR模块前端的音频情感处理模块，对数据信息进行实时处理；对视觉信号处理模块获取的数据信息进行实时处理；在NLP模块输出当前文本处理结果时，同步输出当前文本情感信息；车载传感器采集当前设备的受力值，通过受力值计算得出对应的压力状态，并输出状态；情感裁决模块通过结合音频情感处理模块、视觉信号处理模块、NLP模块以及车载传感器的输出结果进行情感判断，并将判断结果传输至NLP模块进行处理。本方法通过引入的音频情感模块和文本情感模块，提高驾驶员情绪识别的准确率，保证语音对话情感一致性，通过情感裁决模块进行综合情绪的判定，根据实车标定结果进行优化，具有一定的收敛性。具有一定的收敛性。具有一定的收敛性。

【技术实现步骤摘要】
一种情感播报方法及系统


[0001]本专利技术涉及车载系统播报
，尤其涉及一种情感播报方法及系统。

技术介绍

[0002]目前，由于车载视觉摄像头精度有限，目前只能识别出开心、中性两种情绪，无法应对新增的情绪识别需求，同时，系统对于人脸面部情绪识别结果准确度差，容易误识别。由此，会导致车载情感播报模块功能失效或降级问题。

技术实现思路

[0003]本部分的目的在于概述本专利技术的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和专利技术名称中可能会做些简化或省略以避免使本部分、说明书摘要和专利技术名称的目的模糊，而这种简化或省略不能用于限制本专利技术的范围。
[0004]鉴于上述现有存在的问题，提出了本专利技术。
[0005]因此，本专利技术提供了一种情感播报方法，能够解决传统技术由于视觉摄像头精度有限，目前只能识别出开心、中性两种情绪，无法应对新增的情绪识别需求的问题。
[0006]为解决上述技术问题，本专利技术提供如下技术方案，一种情感播报方法，包括：
[0007]采集数据信息，通过ASR模块前端的音频情感处理模块，对数据信息进行实时处理；对视觉信号处理模块获取的数据信息进行实时处理；在NLP模块输出当前文本处理结果时，同步输出当前文本情感信息；车载传感器采集当前设备的受力值，通过受力值计算得出对应的压力状态，并输出状态；情感裁决模块通过结合音频情感处理模块、视觉信号处理模块、NLP模块以及车载传感器的输出结果进行情感判断，并将判断结果传输至NLP模块进行处理。
[0008]作为本专利技术所述的情感播报方法的一种优选方案，其中：所述对数据信息进行实时处理包括，通过ASR模块前端的音频情感处理模块，实时处理从麦克风端输送的音频信号，通过内置的音频情绪识别算法，实时输出对应的情绪信息；输出的音频情感包括，开心、中性、疑问、生气、难过以及厌恶。
[0009]作为本专利技术所述的情感播报方法的一种优选方案，其中：所述视觉信号处理模块的处理内容包括，视觉信号处理模块根据当前视觉摄像头获取驾驶员面部照片，通过内置的面部表情识别算法，实时输出对应的情绪信息；输出的面部情感包括，开心、中性。
[0010]作为本专利技术所述的情感播报方法的一种优选方案，其中：所述NLP模块的处理内容包括，NLP模块在输出当前文本处理结果时，同步输出当前文本情感信息；输出的文本情感包括，开心、中性、疑问、生气、难过以及厌恶。
[0011]作为本专利技术所述的情感播报方法的一种优选方案，其中：所述计算得出对应的压力状态包括，车载传感器采集当前设备的受力值，通过受力值计算得出对应的压力状态；输出的压力状态包括，大、小；
[0012]所述车载传感器是指方向盘压力传感器、制动系统压力传感器、主驾驶座椅压力
传感器设备中的任意一个。
[0013]作为本专利技术所述的情感播报方法的一种优选方案，其中：所述情感判断包括，将音频情感处理模块、视觉信号处理模块、NLP模块以及车载传感器的输出导入至情感裁决模块，情感裁决模块按逻辑规则进行当前情感判断，具体判断逻辑为结合车载传感器的压力状态及面部情感信号，进行对话压力状态判断，对话压力状态判断依据状态判断规则进行，判断当前音频情感及文本情感输出的情感是否一致；若一致，则输出当前的情绪标签；若不一致，则结合当前压力等级状态，进行综合评定，所述综合评定依据对话情感综合判断逻辑进行；情感裁决模块根据对应的输入条件，输出综合判定的情绪结果，其中不同条件下输出的情绪通过实车数据标定优化得出，同时，各情绪判断根据不同情感输入的准确值及实际测试数据进行优化。
[0014]作为本专利技术所述的情感播报方法的一种优选方案，其中：所述判断结果传输至NLP模块包括，情感裁决模块将综合判断的情绪结果输出至NLG模块，NLG模块根据当前输入的情绪标签，生成对应情绪下的语音播报文本，并将对应的文本给到情感TTS模块，情感TTS模块根据当前的情绪标签生成对应的情绪音频，并输出至扬声器进行播放。
[0015]本专利技术的另外一个目的是提供一种情感播报的系统，其能通过实现情感播报方法，解决由于视觉摄像头精度有限，目前只能识别出开心、中性两种情绪，无法应对新增的情绪识别需求以及人脸面部情绪识别结果准确度差，容易误识别的问题。
[0016]作为本专利技术所述的情感播报系统的一种优选方案，其中：包括，采集单元、语音模块和扬声器；所述采集单元包括，麦克风、视觉摄像头、视觉信号处理模块以及车载传感器；所述语音模块包括，音频情感处理模块、ASR模块、NLP模块、情感裁决模块、NLG模块以及情感TTS模块；所述采集单元用于采集判断情感所需的数据信息；所述语音模块用于对采集到的信息进行加工处理，并输出对应状态；所述扬声器用于播放音频信息。
[0017]一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现情感播报方法的步骤。
[0018]一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现情感播报方法的步骤。
[0019]本专利技术的有益效果：本专利技术方法基于车载系统，增加音频情感模块、文本情感以及车载传感器信号，以音频情感和文本情感为主要判定对象，面部情感及车载压力状态辅助判定，通过情感裁决模块进行情绪综合判断，大幅度提高车载场景下，驾驶员情绪识别准确率；支持基本的6种情绪，且系统可扩展性高，可根据后续硬件升级进行判定条件的优化；情感TTS模块根据当前用户的情绪标签，进行不同的情绪音频播报，提高了整车人机交互趣味性。通过引入的音频情感模块和文本情感模块，提高驾驶员情绪识别的准确率；通过车载传感器获取当前的压力状态，综合判定车载环境下对话时驾驶员情绪状态，保证语音对话情感一致性，通过情感裁决模块进行综合情绪的判定，情绪输出结果可根据实车标定结果进行优化，具有一定的收敛性。
附图说明
[0020]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本
领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：
[0021]图1为本专利技术一个实施例提供的一种情感播报方法流程示意图；
[0022]图2为本专利技术一个实施例提供的一种情感播报方法的情感裁决模块判断流程图。
[0023]图3为本专利技术一个实施例提供的一种情感播报系统的情感播报框架示意图。
[0024]图4为本专利技术一个实施例提供的一种情感播报系统的实施案例逻辑示意图。
具体实施方式
[0025]为使本专利技术的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本专利技术的具体实施方式做详细的说明，显然所描述的实施例是本专利技术的一部分实施例，而不是全部实施例。基于本专利技术中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种情感播报方法，其特征在于：包括，采集数据信息，通过ASR模块前端的音频情感处理模块，对数据信息进行实时处理；对视觉信号处理模块获取的数据信息进行实时处理；在NLP模块输出当前文本处理结果时，同步输出当前文本情感信息；车载传感器采集当前设备的受力值，通过受力值计算得出对应的压力状态，并输出状态；情感裁决模块通过结合音频情感处理模块、视觉信号处理模块、NLP模块以及车载传感器的输出结果进行情感判断，并将判断结果传输至NLP模块进行处理。2.如权利要求1所述的一种情感播报方法，其特征在于：所述对数据信息进行实时处理包括，通过ASR模块前端的音频情感处理模块，实时处理从麦克风端输送的音频信号，通过内置的音频情绪识别算法，实时输出对应的情绪信息；输出的音频情感包括，开心、中性、疑问、生气、难过以及厌恶。3.如权利要求2所述的一种情感播报方法，其特征在于：所述视觉信号处理模块的处理内容包括，视觉信号处理模块根据当前视觉摄像头获取驾驶员面部照片，通过内置的面部表情识别算法，实时输出对应的情绪信息；输出的面部情感包括，开心、中性。4.如权利要求3所述的一种情感播报方法，其特征在于：所述NLP模块的处理内容包括，NLP模块在输出当前文本处理结果时，同步输出当前文本情感信息；输出的文本情感包括，开心、中性、疑问、生气、难过以及厌恶。5.如权利要求4所述的一种情感播报方法，其特征在于：所述计算得出对应的压力状态包括，车载传感器采集当前设备的受力值，通过受力值计算得出对应的压力状态；输出的压力状态包括，大、小；所述车载传感器是指方向盘压力传感器、制动系统压力传感器、主驾驶座椅压力传感器设备中的任意一个。6.如权利要求5所述的一种情感播报方法，其特征在于：所述情感判断包括，将音频情感处理模块、视觉信号处理模块、NLP模块以及车载传感器的输出...

【专利技术属性】
技术研发人员：聂亚梅，黄桂容，王雨，
申请(专利权)人：上汽通用五菱汽车股份有限公司，
类型：发明
国别省市：