一种主动式人机交互方法及新能源汽车技术

本发明专利技术提出一种主动式人机交互方法及新能源汽车，通过本发明专利技术方案，利用多种数据判断驾乘人员的意图、认知状态和视觉注意力，再结合主动交互模型进行主动式交互，不仅智能高效，而且能完美契合驾乘人员的状态，提高了驾乘人员的体验。乘人员的体验。乘人员的体验。

【技术实现步骤摘要】
一种主动式人机交互方法及新能源汽车


[0001]本专利技术涉及人机交互
，具体涉及一种主动式人机交互方法及新能源汽车。

技术介绍

[0002]随着用户需求的升级和汽车智能化水平的提高，当下汽车内人机交互正在发生变革：设计理念以用户为中心，通过AI、车内车外的感知技术，从基本的“功能感知交互”向着“主动认知交互”发展。当前我们正在迈入人机共驾的阶段，人机交互的方式从被动走向主动，通过车载的一系列传感器和控制器，汽车可以主动地提供决策建议，并在安全范围内实现辅助驾驶。但是，目前的主动式人机交互方案不够智能和准确，仍然无法满足用户的实际需求。

技术实现思路

[0003]本专利技术正是基于上述问题，提出了一种主动式人机交互方法及新能源汽车，通过本专利技术方案，利用多种数据判断驾乘人员的意图、认知状态和视觉注意力，再结合主动交互模型进行主动式交互，不仅智能高效，而且能完美契合驾乘人员的状态，提高了驾乘人员的体验。
[0004]有鉴于此，本专利技术的一方面提出了一种主动式人机交互方法，包括：
[0005]获取驾乘人员的历史行为数据，并根据所述历史行为数据得到第一主动交互模型；
[0006]实时采集所述驾乘人员的第一输入数据、第一生理数据、第一车辆状态数据以及第一环境数据；
[0007]对所述第一输入数据、所述第一生理数据、所述第一车辆状态数据和所述第一环境数据进行处理得到第一整合数据；
[0008]根据所述第一整合数据，采用多模态信息融合和深度学习方法判断所述驾乘人员的意图、认知状态和视觉注意力，得到第一判断结果；
[0009]根据所述第一判断结果和所述第一主动交互模型，向所述驾乘人员发出第一语音提醒和/或在车载显示器上显示第一提醒信息；
[0010]接收所述驾乘人员对所述第一语音提醒和/或所述第一提醒信息的第一反馈数据来评估交互效果，得到第一评估数据；
[0011]根据所述第一评估数据调整所述第一主动交互模型。
[0012]可选地，所述车辆的方向盘为触摸式方向盘；所述方向盘的轮圈和轮辐均设置有柔性触摸屏和柔性显示屏；所述轮圈表面设置有指纹识别区；所述轮圈内部设置有多个传感器。
[0013]可选地，还包括步骤：
[0014]获取所述车辆的第一当前位置信息和导航系统的第一导航数据；
[0015]根据所述第一当前位置信息和所述第一导航数据确定所述车辆是否到达预设位置；
[0016]当达到所述预设位置时，提示所述车辆的驾乘人员进行触摸操作方式。
[0017]可选地，还包括步骤：
[0018]汽车模拟驾驶器获取登录系统的驾乘人员的第一登录账号；
[0019]根据所述第一登录账号获取对应的历史导航数据和历史驾驶行为数据；
[0020]根据所述历史导航数据，获取对应导航路线上的第一路段数据和第一环境数据；
[0021]根据所述历史驾驶行为数据、所述第一路段数据和所述第一环境数据，生成第一模拟驾驶场景；
[0022]在所述驾乘人员根据所述第一模拟驾驶场景操作所述汽车模拟驾驶器的过程中，采集所述驾乘人员的第一行为数据和第一生理反应数据；
[0023]根据所述第一行为数据和所述第一生理反应数据，生成第一场景反应模型；
[0024]根据所述第一场景反应模型，生成所述第一主动交互模型；
[0025]将所述第一主动交互模型与所述第一登录账号进行绑定并同步至管理服务器；
[0026]当所述驾乘人员通过第一车辆利用所述第一登录账号登录时，所述管理服务器检测所述第一车辆是否同步过所述第一主动交互模型；
[0027]若否，则将所述第一主动交互模型同步至所述第一车辆；
[0028]所述第一车辆根据所述第一主动交互模型触发对应的监测模块以进行提示与接收所述驾乘人员的交互数据。
[0029]可选地，对所述触摸式方向盘进行操作的方式包括触摸操作；所述触摸操作包括左手和/或右手在所述触摸式方向盘上进行滑动、敲击、抓握、握住滑动、指纹验证操作中的至少一个；
[0030]在所述驾乘人员对所述触摸式方向盘进行第一触摸操作的同时触发所述第一车辆上设置的摄像装置和声音采集装置获取所述驾乘人员第一图像数据和第一声音数据；
[0031]根据所述第一图像数据、所述第一声音数据、所述第一触摸操作确定所述第一触摸操作对应的第一触摸操作指令；
[0032]结合所述第一主动交互模型执行所述第一触摸操作指令。
[0033]本专利技术的另一方面提供一种新能源汽车，包括：获取模块和控制处理模块；
[0034]所述获取模块被配置为：
[0035]获取驾乘人员的历史行为数据，并根据所述历史行为数据得到第一主动交互模型；
[0036]实时采集所述驾乘人员的第一输入数据、第一生理数据、第一车辆状态数据以及第一环境数据；
[0037]所述控制处理模块被配置为：
[0038]对所述第一输入数据、所述第一生理数据、所述第一车辆状态数据和所述第一环境数据进行处理得到第一整合数据；
[0039]根据所述第一整合数据，采用多模态信息融合和深度学习方法判断所述驾乘人员的意图、认知状态和视觉注意力，得到第一判断结果；
[0040]根据所述第一判断结果和所述第一主动交互模型，向所述驾乘人员发出第一语音
提醒和/或在车载显示器上显示第一提醒信息；
[0041]接收所述驾乘人员对所述第一语音提醒和/或所述第一提醒信息的第一反馈数据来评估交互效果，得到第一评估数据；
[0042]根据所述第一评估数据调整所述第一主动交互模型。
[0043]可选地，所述车辆的方向盘为触摸式方向盘；所述方向盘的轮圈和轮辐均设置有柔性触摸屏和柔性显示屏；所述轮圈表面设置有指纹识别区；所述轮圈内部设置有多个传感器。
[0044]可选地，所述获取模块被配置为：获取所述车辆的第一当前位置信息和导航系统的第一导航数据；
[0045]所述控制处理模块被配置为：
[0046]根据所述第一当前位置信息和所述第一导航数据确定所述车辆是否到达预设位置；
[0047]当达到所述预设位置时，提示所述车辆的驾乘人员进行触摸操作方式。
[0048]可选地，所述控制处理模块被配置为：
[0049]通过汽车模拟驾驶器获取登录系统的驾乘人员的第一登录账号；
[0050]根据所述第一登录账号获取对应的历史导航数据和历史驾驶行为数据；
[0051]根据所述历史导航数据，获取对应导航路线上的第一路段数据和第一环境数据；
[0052]根据所述历史驾驶行为数据、所述第一路段数据和所述第一环境数据，生成第一模拟驾驶场景；
[0053]在所述驾乘人员根据所述第一模拟驾驶场景操作所述汽车模拟驾驶器的过程中，控制所述汽车模拟驾驶器采集所述驾乘人员的第一行为数据和第一生理反应数据；
[0054]根据所述第一行为数据和所述第一生本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种主动式人机交互方法，其特征在于，包括：获取驾乘人员的历史行为数据，并根据所述历史行为数据得到第一主动交互模型；实时采集所述驾乘人员的第一输入数据、第一生理数据、第一车辆状态数据以及第一环境数据；对所述第一输入数据、所述第一生理数据、所述第一车辆状态数据和所述第一环境数据进行处理得到第一整合数据；根据所述第一整合数据，采用多模态信息融合和深度学习方法判断所述驾乘人员的意图、认知状态和视觉注意力，得到第一判断结果；根据所述第一判断结果和所述第一主动交互模型，向所述驾乘人员发出第一语音提醒和/或在车载显示器上显示第一提醒信息；接收所述驾乘人员对所述第一语音提醒和/或所述第一提醒信息的第一反馈数据来评估交互效果，得到第一评估数据；根据所述第一评估数据调整所述第一主动交互模型。2.根据权利要求1所述的主动式人机交互方法，其特征在于，所述车辆的方向盘为触摸式方向盘；所述方向盘的轮圈和轮辐均设置有柔性触摸屏和柔性显示屏；所述轮圈表面设置有指纹识别区；所述轮圈内部设置有多个传感器。3.根据权利要求2所述的主动式人机交互方法，其特征在于，还包括步骤：获取所述车辆的第一当前位置信息和导航系统的第一导航数据；根据所述第一当前位置信息和所述第一导航数据确定所述车辆是否到达预设位置；当达到所述预设位置时，提示所述车辆的驾乘人员进行触摸操作方式。4.根据权利要求3所述的主动式人机交互方法，其特征在于，还包括步骤：汽车模拟驾驶器获取登录系统的驾乘人员的第一登录账号；根据所述第一登录账号获取对应的历史导航数据和历史驾驶行为数据；根据所述历史导航数据，获取对应导航路线上的第一路段数据和第一环境数据；根据所述历史驾驶行为数据、所述第一路段数据和所述第一环境数据，生成第一模拟驾驶场景；在所述驾乘人员根据所述第一模拟驾驶场景操作所述汽车模拟驾驶器的过程中，采集所述驾乘人员的第一行为数据和第一生理反应数据；根据所述第一行为数据和所述第一生理反应数据，生成第一场景反应模型；根据所述第一场景反应模型，生成所述第一主动交互模型；将所述第一主动交互模型与所述第一登录账号进行绑定并同步至管理服务器；当所述驾乘人员通过第一车辆利用所述第一登录账号登录时，所述管理服务器检测所述第一车辆是否同步过所述第一主动交互模型；若否，则将所述第一主动交互模型同步至所述第一车辆；所述第一车辆根据所述第一主动交互模型触发对应的监测模块以进行提示与接收所述驾乘人员的交互数据。5.根据权利要求4所述的主动式人机交互方法，其特征在于，对所述触摸式方向盘进行操作的方式包括触摸操作；所述触摸操作包括左手和/或右手在所述触摸式方向盘上进行滑动、敲击、抓握、握住滑动、指纹验证操作中的至少一个；
在所述驾乘人员对所述触摸式方向盘进行第一触摸操作的同时触发所述第一车辆上设置的摄像装置和声音采集装置获取所述驾乘人员第一图像数据和第一声音数据；根据所述第一图像数据、所述第一声音数据、所述第一触摸操作确定所述第一触摸操作对应的第一触摸操作指令；结合所述第一主动交互模型执行所述第一触摸操作指令。6.一种新能源汽车，其特征在于，包括：获取模块和控制处理模块；所述获取模块...

【专利技术属性】
技术研发人员：刘海清，陈泳宏，常静，雷强，
申请(专利权)人：深圳市哲思特科技有限公司，
类型：发明
国别省市：