一种车用多模态交互方法、装置及车辆制造方法及图纸

本申请公开了一种车用多模态交互方法、装置及车辆，包括：获取第一用户请求信息；判断能否根据第一用户请求信息执行唯一操作；若否，则获取用户语音指令之前生成的至少一个用户交互行为信息；预设用户交互行为信息获取策略；根据用户交互行为信息获取策略、用户交互行为信息和第一用户请求信息，生成第二用户请求信息；根据第二用户请求信息生成控制信息；将控制信息发送给车辆的对应控制机构，以使车辆的对应控制机构根据控制信息对车辆进行控制。本申请提供的车用多模态交互方法，使用多模态交互手段，辅助语音语义理解，提高语音识别效率。别效率。别效率。

【技术实现步骤摘要】
一种车用多模态交互方法、装置及车辆


[0001]本申请涉及车辆交互
，具体涉及一种车用多模态交互方法、装置及车辆。

技术介绍

[0002]由于驾驶员在驾驶过程中需要保持手眼专注于路况，使得语音交互成为智能座舱的标配核心功能。与此同时，语音交互由于语言表达本身的不准确性和歧义性，语音表达经常出现意图不明确或存在歧义，导致很多人类认为非常自然的对话并不能被车机理解。针对这类问题，对话系统往往需要再次进行语音交互确认，由此降低了对话效率和使用感受。
[0003]因此，希望有一种技术方案来解决或至少减轻现有技术的上述不足。

技术实现思路

[0004]本专利技术的目的在于提供一种车用多模态交互方法来至少解决上述的一个技术问题。
[0005]本专利技术的一个方面，提供一种车用多模态交互方法，所述车用多模态交互方法包括：
[0006]获取第一用户请求信息；
[0007]判断能否根据所述第一用户请求信息执行唯一操作；若否，则
[0008]获取所述用户语音指令之前生成的至少一个用户交互行为信息；
[0009]预设用户交互行为信息获取策略；
[0010]根据所述用户交互行为信息获取策略、用户交互行为信息和所述第一用户请求信息，生成第二用户请求信息；
[0011]根据所述第二用户请求信息生成控制信息；
[0012]将控制信息发送给车辆的对应控制机构，以使车辆的对应控制机构根据控制信息对车辆进行控制。
[0013]可选地，所述获取第一用户请求信息包括：
[0014]获取用户语音指令；
[0015]解析所述用户语音指令，从而获取第一用户语义；
[0016]根据所述第一用户语义生成第一用户请求信息。
[0017]可选地，所述根据所述用户交互行为信息获取策略、用户交互行为信息和所述第一用户请求信息，生成第二用户请求信息包括：
[0018]获取每个用户交互行为信息对应的领域信息；
[0019]获取领域
‑
可执行动作数据库，所述领域
‑
可执行动作数据库至少包括一个领域信息，及对应的可执行动作信息；
[0020]根据所述领域
‑
可执行动作数据库、用户交互行为信息和第一用户请求信息，获取一个或多个用户交互行为信息，称为用户行为信息集；
[0021]判断所述行为信息集内的用户交互行为信息是否为一个，若是，则
[0022]根据所述行为信息集内的用户交互行为信息和所述第一用户请求信息生成第二用户请求信息。
[0023]可选地，所述根据所述用户交互行为信息获取策略、用户交互行为信息和所述第一用户请求信息，生成第二用户请求信息还包括：
[0024]判断所述行为信息集内的用户交互行为信息是否为多个，若是，则
[0025]获取用户交互行为信息筛选策略；
[0026]根据所述用户交互行为信息筛选策略在所述行为信息集中筛选出一个用户交互行为信息作为最终的用户交互行为信息；
[0027]根据最终的用户交互行为信息和所述第一用户请求信息生成第二用户请求信息。
[0028]可选地，所述用户交互行为信息筛选策略包括第一筛选策略；
[0029]所述行为信息集中的用户交互行为信息包含被执行对象信息；
[0030]所述根据所述用户交互行为信息筛选策略在所述行为信息集中筛选出一个用户交互行为信息作为最终的用户交互行为信息包括：
[0031]解析所述被执行对象信息是否包含位置信息，若是，则
[0032]使用第一筛选策略筛选出最终的用户交互行为信息：
[0033]获取用户发出语音指令时的位置信息，称为第一位置信息；
[0034]所述被执行对象信息包含的位置信息，称为第二位置信息；
[0035]筛选出与第一位置信息相同的第二位置信息所对应的用户交互行为信息作为最终的用户交互行为信息。
[0036]可选地，所述用户交互行为信息筛选策略还包括第二筛选策略；
[0037]所述根据所述用户交互行为信息筛选策略在所述行为信息集中筛选出一个用户交互行为信息作为最终的用户交互行为信息还包括：
[0038]解析所述被执行对象信息是否包含位置信息，若否，则
[0039]使用第二筛选策略筛选出最终的用户交互行为信息：
[0040]获取所述行为信息集中的用户交互行为信息所对应的用户行为时间；
[0041]获取用户发出语音指令时的时间；
[0042]筛选与用户发出语音指令时的时间最接近的用户行为时间所对应的用户交互行为信息作为最终的用户交互行为信息。
[0043]可选地，所述根据最终的用户交互行为信息和所述第一用户请求信息生成第二用户请求信息包括：
[0044]将所述最终的用户交互行为信息与第一用户请求信息组合，形成第二用户请求信息。
[0045]可选地，所述用户交互行为信息包括以下一项或多项：
[0046]用户语音信息；
[0047]手势交互信息；
[0048]触控交互信息；
[0049]按键交互信息。
[0050]本专利技术的另一个方面还提供了一种车用多模态交互装置，所述车用多模态交互装置包括：
[0051]第一用户请求信息获取模块，所述第一用户请求信息获取模块用于获取第一用户请求信息；
[0052]判断模块，所述判断模块用于判断能否根据所述第一用户请求信息执行唯一操作；
[0053]用户行为获取模块，所述用户行为获取模块用于获取所述用户语音指令之前生成的至少一个用户交互行为信息；
[0054]用户交互行为信息获取策略预设模块，所述用户交互行为信息获取策略预设模块用于预设用户交互行为信息获取策略；
[0055]第二请求信息生成模块，所述第二请求信息生成模块用于在所述判断模块判断为否时，根据所述用户交互行为信息获取策略、用户交互行为信息和所述第一用户请求信息，生成第二用户请求信息；
[0056]控制信息生成模块，所述控制信息生成模块用于根据所述第二用户请求信息生成控制信息；
[0057]发送模块，所述发送模块用于将控制信息发送给车辆的对应控制机构，以使车辆的对应控制机构根据控制信息对车辆进行控制。
[0058]本专利技术的又一个方面还提供了一种车辆，所述车辆包括如上述的车用多模态交互装置。
[0059]有益效果
[0060]本申请的车用多模态交互方法通过获取第一用户请求信息(，然后判断第一用户请求信息是否具有多个可执行动作，最后根据用户交互行为信息和第一用户请求信息来获取第二用户请求信息，从而在用户语音指令具有歧义时，进行语义精准判断，从而实现以较少交互次数和交互方式切换频次的情况下，满足用户的需求。
附图说明
[0061]图1是本申请一实施例的车用多模态交互方法的流程示意图。
[0062]图2是本申请一实施例的能够本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种车用多模态交互方法，其特征在于，所述车用多模态交互方法包括：获取第一用户请求信息；判断能否根据所述第一用户请求信息执行唯一操作；若否，则获取所述用户语音指令之前生成的至少一个用户交互行为信息；预设用户交互行为信息获取策略；根据所述用户交互行为信息获取策略、用户交互行为信息和所述第一用户请求信息，生成第二用户请求信息；根据所述第二用户请求信息生成控制信息；将控制信息发送给车辆的对应控制机构，以使车辆的对应控制机构根据控制信息对车辆进行控制。2.如权利要求1所述的车用多模态交互方法，其特征在于，所述获取第一用户请求信息包括：获取用户语音指令；解析所述用户语音指令，从而获取第一用户语义；根据所述第一用户语义生成第一用户请求信息。3.如权利要求2所述的车用多模态交互方法，其特征在于，所述根据所述用户交互行为信息获取策略、用户交互行为信息和所述第一用户请求信息，生成第二用户请求信息包括：获取每个用户交互行为信息对应的领域信息；获取领域
‑
可执行动作数据库，所述领域
‑
可执行动作数据库至少包括一个领域信息，及对应的可执行动作信息；根据所述领域
‑
可执行动作数据库、用户交互行为信息和第一用户请求信息，获取一个或多个用户交互行为信息，称为用户行为信息集；判断所述行为信息集内的用户交互行为信息是否为一个，若是，则根据所述行为信息集内的用户交互行为信息和所述第一用户请求信息生成第二用户请求信息。4.如权利要求3所述的车用多模态交互方法，其特征在于，所述根据所述用户交互行为信息获取策略、用户交互行为信息和所述第一用户请求信息，生成第二用户请求信息还包括：判断所述行为信息集内的用户交互行为信息是否为多个，若是，则获取用户交互行为信息筛选策略；根据所述用户交互行为信息筛选策略在所述行为信息集中筛选出一个用户交互行为信息作为最终的用户交互行为信息；根据最终的用户交互行为信息和所述第一用户请求信息生成第二用户请求信息。5.如权利要求4所述的车用多模态交互方法，其特征在于，所述用户交互行为信息筛选策略包括第一筛选策略；所述行为信息集中的用户交互行为信息包含被执行对象信息；所述根据所述用户交互行为信息筛选策略在所述行为信息集中筛选出一个用户交互行为信息作为最终的用户交互行为信息包括：
解析所述被执行对象信息是否包...

【专利技术属性】
技术研发人员：赵晓朝，
申请(专利权)人：中国第一汽车股份有限公司，
类型：发明
国别省市：