基于座舱区域获取操作指示的方法、显示方法及相关设备技术

本公开提供一种基于座舱区域获取操作指示的方法、显示方法及相关设备。所述方法包括：对座舱内用户的操作指令进行识别处理，得到第一识别结果；接收可穿戴电子设备对车载设备图标的第二识别结果；从预先划分标定的至少一个功能区域中，筛选与所述第一识别结果和/或所述第二识别结果对应的目标功能区域；获取所述目标功能区域对应的操作指示信息；将所述操作指示信息发送至所述可穿戴电子设备，以供所述可穿戴电子设备将所述操作指示信息提示给用户。户。户。

【技术实现步骤摘要】
基于座舱区域获取操作指示的方法、显示方法及相关设备


[0001]本公开涉及智能驾驶
，尤其涉及一种基于座舱区域获取操作指示的方法、显示方法及相关设备。

技术介绍

[0002]在当今社会生活中，车辆的普及率不断提高。然而，车辆功能区域众多，相应地，功能区域的操作也越来越复杂。用户不熟悉车辆的功能区域如何操作，难以实现对功能区域的操作。当遇到紧急情况，用户不能对相应的功能区域进行操作，影响用户体验。
[0003]有鉴于此，如何确定用户想要了解的功能区域，并向用户展示对应功能区域的操作方式，成为了一个重要的研究问题。

技术实现思路

[0004]有鉴于此，本公开的目的在于提出一种基于座舱区域获取操作指示的方法、显示方法及相关设备，以解决现有技术中用户不了解功能区域的操作方式，不能对相应的功能区域进行操作的问题。
[0005]基于上述目的，本公开的第一方面提出了一种基于座舱区域获取操作指示的方法，包括：
[0006]对座舱内用户的操作指令进行识别处理，得到第一识别结果；
[0007]接收可穿戴电子设备对车载设备图标的第二识别结果；
[0008]从预先划分标定的至少一个功能区域中，筛选与所述第一识别结果和/或所述第二识别结果对应的目标功能区域；
[0009]获取所述目标功能区域对应的操作指示信息；
[0010]将所述操作指示信息发送至所述可穿戴电子设备，以供所述可穿戴电子设备将所述操作指示信息提示给用户。
[0011]在一些实施例中，所述从预先划分标定的至少一个功能区域中，筛选与所述第一识别结果和/或所述第二识别结果对应的目标功能区域，包括：
[0012]响应于确定所述第一识别结果满足预先设定的条件，触发多模态融合判断；
[0013]通过所述多模态融合判断对所述第一识别结果和/或所述第二识别结果进行判断处理，从预先划分标定的至少一个功能区域中确定得到目标功能区域；
[0014]将所述目标功能区域发送至车载虚拟个人助理，以供对所述目标功能区域进行确认。
[0015]在一些实施例中，所述第一识别结果包括下列至少之一：语音关键词识别结果、表情识别结果；
[0016]所述响应于确定所述第一识别结果满足预先设定的条件，触发多模态融合判断，包括：
[0017]响应于确定所述语音关键词识别结果中存在与所述至少一个功能区域一致的语
音关键词，或者，所述表情识别结果中存在预设表情，触发多模态融合判断。
[0018]在一些实施例中，所述第一识别结果的数量为多个，所述第一识别结果包括下列至少两个：语音关键词识别结果、视线识别结果、手势识别结果和表情识别结果；
[0019]所述通过所述多模态融合判断对所述第一识别结果进行判断处理，包括：
[0020]通过所述多模态融合判断对至少两个第一识别结果按照预先设定的优先级顺序依次进行判断处理；
[0021]或者，
[0022]所述通过所述多模态融合判断对所述第一识别结果和所述第二识别结果进行判断处理，包括：
[0023]通过所述多模态融合判断对至少一个第一识别结果和所述第二识别结果按照预先设定的优先级顺序依次进行判断处理。
[0024]在一些实施例中，所述第一识别结果包括：语音关键词识别结果、视线识别结果、手势识别结果和表情识别结果；所述第二识别结果包括：车载设备图标识别结果；
[0025]所述通过所述多模态融合判断对所述第一识别结果和/或所述第二识别结果进行判断处理，从预先划分标定的至少一个功能区域中确定得到目标功能区域，包括：
[0026]通过所述多模态融合判断对所述第一识别结果和所述第二识别结果按照预先设定的优先级顺序依次进行判断处理，从预先划分标定的至少一个功能区域中确定得到目标功能区域；
[0027]其中，所述预先设定的优先级顺序为所述语音关键词识别结果、所述设备图标识别结果、所述视线识别结果、所述手势识别结果的优先级顺序。
[0028]在一些实施例中，所述通过所述多模态融合判断对所述第一识别结果和所述第二识别结果按照预先设定的优先级顺序依次进行判断处理，从预先划分标定的至少一个功能区域中确定得到目标功能区域，包括：
[0029]响应于确定所述语音关键词识别结果中存在与所述至少一个功能区域的关键词一致的语音关键词，将所述语音关键词一致的功能区域作为所述目标功能区域；
[0030]响应于确定所述语音关键词识别结果中不存在与所述至少一个功能区域的关键词一致的语音关键词，对所述车载设备图标识别结果进行判断；
[0031]响应于确定所述车载设备图标识别结果中存在一个功能区域的车载设备图标，将所述车载设备图标对应的功能区域作为所述目标功能区域；
[0032]响应于确定所述车载设备图标识别结果中存在至少两个功能区域的车载设备图标，在所述至少两个功能区域的基础上，对所述视线识别结果进行判断；
[0033]响应于确定所述车载设备图标识别结果中不存在功能区域的车载设备图标，对所述视线识别结果进行判断；
[0034]响应于确定所述视线识别结果中存在一个视线看向的功能区域，将所述视线看向的功能区域作为所述目标功能区域；
[0035]响应于确定所述视线识别结果中存在至少两个视线看向的功能区域，在所述至少两个视线看向的功能区域的基础上，对所述手势识别结果进行判断；
[0036]响应于确定所述视线识别结果中不存在视线看向的功能区域，对所述手势识别结果进行判断；
[0037]响应于确定所述手势识别结果中存在手指向的功能区域，将所述手指向的功能区域作为目标功能区域。
[0038]在一些实施例中，在所述从预先划分标定的至少一个功能区域中，筛选与所述第一识别结果和/或所述第二识别结果对应的目标功能区域之前，还包括：
[0039]通过对所述视线识别结果、所述手势识别结果和所述表情识别结果进行分析处理，得到人脸识别结果；
[0040]通过对所述语音关键词识别结果进行音区判断，得到音区位置识别结果；
[0041]对所述人脸识别结果和所述音区位置识别结果进行判断处理，得到匹配判断结果，以供确定所述第一识别结果为座舱内同一个用户的识别结果数据。
[0042]基于同一个专利技术构思，本公开的第二方面提出了一种操作指示的显示方法，包括：
[0043]对座舱内用户前方采集到的车载设备图标进行识别处理，得到第二识别结果；
[0044]将所述第二识别结果发送至车端，以供所述车端根据所述第二识别结果和所述车端获取的第一识别结果获取对应的操作指示信息；
[0045]接收所述车端的所述操作指示信息；
[0046]对所述操作指示信息进行语音播报或者在现实场景上进行叠加显示。
[0047]基于同一个专利技术构思，本公开的第三方面提出了一种车端，包括：
[0048]第一识别结果获取模块，被配置为对座舱内用户的操作指令进行识别本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于座舱区域获取操作指示的方法，其特征在于，所述方法包括：对座舱内用户的操作指令进行识别处理，得到第一识别结果；接收可穿戴电子设备对车载设备图标的第二识别结果；从预先划分标定的至少一个功能区域中，筛选与所述第一识别结果和/或所述第二识别结果对应的目标功能区域；获取所述目标功能区域对应的操作指示信息；将所述操作指示信息发送至所述可穿戴电子设备，以供所述可穿戴电子设备将所述操作指示信息提示给用户。2.根据权利要求1所述的方法，其特征在于，所述从预先划分标定的至少一个功能区域中，筛选与所述第一识别结果和/或所述第二识别结果对应的目标功能区域，包括：响应于确定所述第一识别结果满足预先设定的条件，触发多模态融合判断；通过所述多模态融合判断对所述第一识别结果和/或所述第二识别结果进行判断处理，从预先划分标定的至少一个功能区域中确定得到目标功能区域；将所述目标功能区域发送至车载虚拟个人助理，以供对所述目标功能区域进行确认。3.根据权利要求2所述的方法，其特征在于，所述第一识别结果包括下列至少之一：语音关键词识别结果、表情识别结果；所述响应于确定所述第一识别结果满足预先设定的条件，触发多模态融合判断，包括：响应于确定所述语音关键词识别结果中存在与所述至少一个功能区域一致的语音关键词，或者，所述表情识别结果中存在预设表情，触发多模态融合判断。4.根据权利要求2所述的方法，其特征在于，所述第一识别结果的数量为多个，所述第一识别结果包括下列至少两个：语音关键词识别结果、视线识别结果、手势识别结果和表情识别结果；所述通过所述多模态融合判断对所述第一识别结果进行判断处理，包括：通过所述多模态融合判断对至少两个第一识别结果按照预先设定的优先级顺序依次进行判断处理；或者，所述通过所述多模态融合判断对所述第一识别结果和所述第二识别结果进行判断处理，包括：通过所述多模态融合判断对至少一个第一识别结果和所述第二识别结果按照预先设定的优先级顺序依次进行判断处理。5.根据权利要求2所述的方法，其特征在于，所述第一识别结果包括：语音关键词识别结果、视线识别结果、手势识别结果和表情识别结果；所述第二识别结果包括：车载设备图标识别结果；所述通过所述多模态融合判断对所述第一识别结果和/或所述第二识别结果进行判断处理，从预先划分标定的至少一个功能区域中确定得到目标功能区域，包括：通过所述多模态融合判断对所述第一识别结果和所述第二识别结果按照预先设定的优先级顺序依次进行判断处理，从预先划分标定的至少一个功能区域中确定得到目标功能区域；其中，所述预先设定的优先级顺序为所述语音关键词识别结果、所述设备图标识别结
果、所述视线识别结果、所述手势识别结果的优先级顺序。6.根据权利要求5所述的方法，其特征在于，所述通过所述多模态融合判断对所述第一识别结果和所述第二识别结果按照预先设定的优先级顺序依次进行判断处理，从预先划分标定的至少一个功能区域中确定得到目标功能区域，包括：响应于确定所述语音关键词识别结果中存在与所述至少一个功能区域的关键词一致的语音关键词，将所述语音关键词一致的功能区域作为所述目标功能区域；响应于确定所述语音关键词识别结果中不存在与所述至少一个功能区域的关键词一致的语音关键词，对所述车载设备图标识别结果进行判断；响应...

【专利技术属性】
技术研发人员：顾娟，王光甫，颉毅，涂慧勋，赵龙，
申请(专利权)人：长城汽车股份有限公司，
类型：发明
国别省市：