语音交互指令确定方法、装置、电子设备及存储介质制造方法及图纸

本申请提供一种语音交互指令确定方法、装置、电子设备及存储介质，涉及语音交互技术领域，该方法通过获取目标用户的用户音频库、面部图像以及行为视频，并基于面部图像以及行为视频确定目标用户的当前待改善状态，之后可以根据当前待改善状态以及历史交互评分在用户音频库的多个音频中确定目标音频，最后可以根据目标音频确定当前待改善状态对应的语音交互指令。由于历史交互评分可以表示目标用户在待改善状态时对音频的喜好程度，进而可以使得根据当前待改善状态以及历史交互评分确定的目标音频较符合用户的喜好，可以达到提高目标音频的准确性的效果，进而可以使得语音交互指令的辅助效果较好。令的辅助效果较好。令的辅助效果较好。

【技术实现步骤摘要】
语音交互指令确定方法、装置、电子设备及存储介质


[0001]本申请涉及语音交互
，具体涉及一种语音交互指令确定方法、装置、电子设备及存储介质。

技术介绍

[0002]用户在驾驶车辆的过程中，可能会出现多种状态，例如愤怒，开心等，有的情绪可以能会影响驾驶安全，此时可以通过车辆的语音交互功能为用户提供帮助。
[0003]相关技术中一种语音交互指令确定方法，可以预设音频库，之后可以根据目标用户的当前情绪在预设音频库中匹配对应的目标音频，并根据目标音频确定语音交互指令，之后可以向目标用户播放该语音交互指令，以帮助目标用户舒缓当前情绪。但是，每个用户对预设音频的喜好程度不同，可能存在目标音频无法帮助目标用户舒缓当前情绪，使得目标音频的准确性较低，进而使得语音交互指令的辅助效果较差。

技术实现思路

[0004]鉴于以上所述现有技术的缺点，本申请提供一种语音交互指令确定方法、装置、电子设备及存储介质，以解决上述技术问题。
[0005]本申请提供的一种语音交互指令确定方法，包括：
[0006]获取目标用户的用户音频库、面部图像以及行为视频，所述目标用户为位于车内预设位置的用户，所述用户音频库包括多个音频以及与每个所述音频一一对应的历史交互评分，所述历史交互评分表示所述目标用户在待改善状态时对所述音频的喜好程度；
[0007]基于所述面部图像以及所述行为视频确定所述目标用户的当前待改善状态；
[0008]根据所述当前待改善状态以及所述历史交互评分在用户音频库的多个音频中确定目标音频；
[0009]根据所述目标音频确定所述当前待改善状态对应的语音交互指令。
[0010]于本专利技术一实施例中，所述基于所述面部图像以及所述行为视频确定所述目标用户的当前待改善状态，包括：
[0011]基于所述面部图像以及表情识别模型确定情绪特征；
[0012]基于所述行为视频确定行为特征；
[0013]根据所述情绪特征以及所述行为特征确定所述当前待改善状态。
[0014]于本专利技术一实施例中，所述基于所述行为视频确定行为特征，包括：
[0015]根据所述行为视频中眼睛闭合帧数与所述行为视频的总帧数确定第一驾驶状态；
[0016]基于预设时间间隔对所述行为视频进行图像提取，得到多个帧图像，并基于多个所述帧图像确定第二驾驶状态；
[0017]根据所述第一驾驶状态以及所述第二驾驶状态确定所述行为特征。
[0018]于本专利技术一实施例中，所述根据所述第一驾驶状态以及所述第二驾驶状态确定所述行为特征，包括：
[0019]当所述第一驾驶状态与所述第二驾驶状态均为疲劳状态时，确定所述行为特征为第一行为；
[0020]当所述第一驾驶状态不为疲劳状态或\和所述第二驾驶状态不为疲劳状态时，确定所述行为特征为第二行为。
[0021]于本专利技术一实施例中，所述根据所述情绪特征以及所述行为特征确定所述当前待改善状态，包括：
[0022]当所述行为特征为第一行为时，确定所述行为特征为所述当前待改善状态；
[0023]当所述行为特征为第二行为时，确定所述情绪特征为所述当前待改善状态。
[0024]于本专利技术一实施例中，所述获取目标用户的用户音频库、面部图像以及行为视频之前，所述方法还包括：
[0025]获取所述目标用户在待改善状态播放中间音频时的待分析视频，所述中间音频为所述用户音频库中的音频，每个所述用户音频库中的音频对应有预设评分；
[0026]根据所述待分析视频确定所述目标用户对所述中间音频的交互评分；
[0027]根据所述交互评分以及所述预设评分的均值确定所述历史交互评分。
[0028]于本专利技术一实施例中，所述获取目标用户的用户音频库之前，所述方法还包括：
[0029]根据所述目标用户的历史音频使用数据确定历史音频库；
[0030]基于所述历史音频库以及预设音频库确定所述用户音频库。
[0031]为实现上述目的及其他相关目的，本申请提供一种语音交互指令确定装置，包括：
[0032]获取模块，用于获取目标用户的用户音频库、面部图像以及行为视频，所述目标用户为位于车内预设位置的用户，所述用户音频库包括多个音频以及与每个所述音频一一对应的历史交互评分，所述历史交互评分表示所述目标用户在待改善状态时对所述音频的喜好程度；
[0033]状态确定模块，用于基于所述面部图像以及所述行为视频确定所述目标用户的当前待改善状态；
[0034]音频确定模块，用于根据所述当前待改善状态以及所述历史交互评分在用户音频库的多个音频中确定目标音频；
[0035]指令确定模块，用于根据所述目标音频确定所述当前待改善状态对应的语音交互指令。
[0036]为实现上述目的及其他相关目的，本申请还提供一种电子设备，所述电子设备包括：
[0037]一个或多个处理器；
[0038]存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述电子设备实现前述的任一个实施例所述的语音交互指令确定方法。
[0039]为实现上述目的及其他相关目的，本申请还提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序被计算机的处理器执行时，使计算机执行前述的任一个实施例所述的语音交互指令确定方法。
[0040]如上所述，本申请提供的一种语音交互指令确定方法、装置、电子设备及存储介质，具有以下有益效果：
[0041]本申请中的一种语音交互指令确定方法，该方法通过获取目标用户的用户音频库、面部图像以及行为视频，并基于面部图像以及行为视频确定目标用户的当前待改善状态，之后可以根据当前待改善状态以及历史交互评分在用户音频库的多个音频中确定目标音频，最后可以根据目标音频确定当前待改善状态对应的语音交互指令。由于历史交互评分可以表示目标用户在待改善状态时对音频的喜好程度，进而可以使得根据当前待改善状态以及历史交互评分确定的目标音频较符合用户的喜好，可以达到提高目标音频的准确性的效果，进而可以使得语音交互指令的辅助效果较好。
[0042]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
[0043]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术者来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
[0044]图1是本申请的一示例性实施例示出的语音交互指令确定方法的流程图；
[0045]图2是本申请的一示例性实施例示出的语音交互指令确定系统的框图；
[0046]图3是本申请的一示例性实施例示出的语音交互指令确定装置的框图。
具体实施方式
[0047]以下将参照附图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种语音交互指令确定方法，其特征在于，所述方法包括：获取目标用户的用户音频库、面部图像以及行为视频，所述目标用户为位于车内预设位置的用户，所述用户音频库包括多个音频以及与每个所述音频一一对应的历史交互评分，所述历史交互评分表示所述目标用户在待改善状态时对所述音频的喜好程度；基于所述面部图像以及所述行为视频确定所述目标用户的当前待改善状态；根据所述当前待改善状态以及所述历史交互评分在用户音频库的多个音频中确定目标音频；根据所述目标音频确定所述当前待改善状态对应的语音交互指令。2.根据权利要求1所述的语音交互指令确定方法，其特征在于，所述基于所述面部图像以及所述行为视频确定所述目标用户的当前待改善状态，包括：基于所述面部图像以及表情识别模型确定情绪特征；基于所述行为视频确定行为特征；根据所述情绪特征以及所述行为特征确定所述当前待改善状态。3.根据权利要求2所述的语音交互指令确定方法，其特征在于，所述基于所述行为视频确定行为特征，包括：根据所述行为视频中眼睛闭合帧数与所述行为视频的总帧数确定第一驾驶状态；基于预设时间间隔对所述行为视频进行图像提取，得到多个帧图像，并基于多个所述帧图像确定第二驾驶状态；根据所述第一驾驶状态以及所述第二驾驶状态确定所述行为特征。4.根据权利要求3所述的语音交互指令确定方法，其特征在于，所述根据所述第一驾驶状态以及所述第二驾驶状态确定所述行为特征，包括：当所述第一驾驶状态与所述第二驾驶状态均为疲劳状态时，确定所述行为特征为第一行为；当所述第一驾驶状态不为疲劳状态或\和所述第二驾驶状态不为疲劳状态时，确定所述行为特征为第二行为。5.根据权利要求4所述的语音交互指令确定方法，其特征在于，所述根据所述情绪特征以及所述行为特征确定所述当前待改善状态，包括：当所述行为特征为第一行为时，确定所述行为特征为所述当前待改善状态；当所述行为特征为第二行为时，确定...

【专利技术属性】
技术研发人员：田尊明，
申请(专利权)人：重庆长安汽车股份有限公司，
类型：发明
国别省市：