一种车载人机交互方法及车载设备技术

本发明专利技术适用于计算机技术领域，提供了一种车载人机交互方法和车载设备，所述方法包括：获取预设区域内包含手部信息的目标图像；根据预先训练完成的手势识别模型对所述手部信息进行手部关节点识别，获得所述手部各关节点相对于预设原点的三维空间坐标；根据所述三维空间坐标生成手势标识信息；根据预先存储的手势标识信息与车辆控制指令之间的映射关系，确定当前手势标识信息对应的车辆控制指令并输出。由于图像的采集仅依靠摄像头就可完成，且对图像的处理过程比较简单，因此能够降低现有技术中人车交互的成本，进一步借助于手势识别模型，从手部信息中识别出手势，通过手势进行人车交互，不容易受周边环境的影响，能够提高用户的体验效果。

【技术实现步骤摘要】
一种车载人机交互方法及车载设备
本专利技术属于计算机
，尤其涉及一种车载人机交互方法及车载设备。
技术介绍
传统的车载设备一般包括车载监控系统、车载GPS系统、3G车载系统、车载信息系统等需要驾驶人员借助按键，或者触屏的方式来进行人车交互。这种人车交互方式需要占据一定的空间且交互过程不灵活，无法满足用户丰富的交互需求。随着用户需求的不断提高，伴随着出现了各种人车交互方式，其中最常见的是通过语音进行人车交互，这种交互方式很容易受到周围语音信号的干扰，且对语音信号的采集以及处理过程比较复杂，不仅增加用户的使用成本且容易给用户造成使用麻烦。有鉴于此，如何提供一种低成本且安全有效的多功能人车交互方式，提高用户的体验效果是人车交互过程中需要解决的问题。
技术实现思路
有鉴于此，本专利技术实施例提供了车载人机交互方法及车载设备，以降低现有技术中人车交互的成本，提高用户的体验效果。本专利技术实施例的第一方面提供了一种车载人机交互方法，包括：获取预设区域内包含手部信息的目标图像；根据预先训练完成的手势识别模型对所目标图像中的手部信息进行手部关节点识别，获得所述手部各关节点相对于预设原点的三维空间坐标；根据所述三维空间坐标生成手势标识信息；根据预先存储的手势标识信息与车辆控制指令之间的映射关系，确定当前手势标识信息对应的车辆控制指令并输出。可选地，所述预先训练完成的手势识别模型为神经网络模型，所述根据预先训练完成的手势识别模型对所述手部信息进行手部关节点识别之前，包括：获取第一预设数量的包含手部信息的图片；将所述包含手部信息的图片分别输入至所述神经网络模型进行模型训练，获得模型输出的各手部信息包含的手部各关节点相对于预设原点的预测三维空间坐标；分别将各手部信息的所述预测三维空间坐标与预先存储的各手部信息包含的各关节点相对于预设原点的标准三维空间坐标进行比较；若各手部信息包含的各关节点的预测三维空间坐标分别与各手部信息对应包含的各关节点的标准三维空间坐标相比，重合的概率大于预设的第一概率阈值，则确定所述神经网络模型为训练完成的手势识别模型，停止对所述手势识别模型的训练。可选地，在所述分别将各手部信息的所述预测三维空间坐标与预先存储的所有手部信息包含的各关节点相对于预设原点的标准三维空间坐标进行比较的步骤之后，包括：若所有手部信息包含的各关节点的预测三维空间坐标分别与各手部信息对应包含的各关节点的标准三维空间坐标相比，重合的概率小于或者等于预设的第一概率阈值，则增加第二预设数量的包含手部信息的图片，并返回执行将所有所述包含手部信息的图片输入至所述神经网络模型进行模型训练，获得模型输出的所有手部信息包含的手部各关节点相对于预设原点的预测三维空间坐标的步骤。可选地，所述预设原点为预先确定的采集所述目标图像的摄像头的三维空间坐标；在所述获取第一预设数量的包含手部信息的图片与所述将所有所述包含手部信息的图片分别输入至所述神经网络模型进行模型训练，获得模型输出的所有手部信息包含的手部各关节点相对于预设原点的预测三维空间坐标之间，包括：对所述第一预设数量的包含手部信息的图片进行手部各关节点相对于所述预设原点的三维空间坐标的标注，得到所述各手部信息包含的各关节点相对于预设原点的标准三维空间坐标。可选地，所述车载人机交互方法，还包括：获取驾驶员的面部图像；根据预先训练完成的人脸状态检测模型对所述面部图像进行状态检测，获得驾驶员驾驶过程中的面部状态；基于所述面部状态判定驾驶员的驾驶行为，若判定驾驶员处于危险驾驶行为，则发出相应的警告信息。本专利技术实施例的第二方面提供了一种车载人机交互设备，包括：第一获取模块，用于获取预设区域内包含手部信息的目标图像；第一获得模块，用于根据预先训练完成的手势识别模型对所述目标图像中的手部信息进行手部关节点识别，获得所述手部各关节点相对于预设原点的三维空间坐标；生成模块，用于根据所述三维空间坐标生成手势标识信息；第一确定模块，用于根据预先存储的手势标识信息与车辆控制指令之间的映射关系，确定当前手势标识信息对应的车辆控制指令并输出。可选地，所述设备还包括：比较模块，分别将各手部信息的所述预测三维空间坐标与预先存储的各手部信息包含的各关节点相对于预设原点的标准三维空间坐标进行比较；第二确定模块，用于在若各手部信息包含的各关节点的预测三维空间坐标分别与各手部信息对应包含的各关节点的标准三维空间坐标相比，重合的概率大于预设的第一概率阈值，则确定所述神经网络模型为训练完成的手势识别模型，停止对所述手势识别模型的训练。可选地，所述设备还包括：第三确定模块，用于在若所有手部信息包含的各关节点的预测三维空间坐标分别与各手部信息对应包含的各关节点的标准三维空间坐标相比，重合的概率小于或者等于预设的第一概率阈值，则增加第二预设数量的包含手部信息的图片，并返回执行将所有所述包含手部信息的图片输入至所述神经网络模型进行模型训练，获得模型输出的所有手部信息包含的手部各关节点相对于预设原点的预测三维空间坐标的步骤。本专利技术实施例的第三方面提供了一种车载设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如上所述方法的步骤。本专利技术实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上所述方法的步骤。本专利技术实施例与现有技术相比存在的有益效果是：本专利技术首先通过获取预设区域内包含手部信息的目标图像；根据预先训练完成的手势识别模型对所述手部信息进行手部关节点识别，获得所述手部各关节点相对于预设原点的三维空间坐标；根据所述三维空间坐标生成手势标识信息；根据预先存储的手势标识信息与车辆控制指令之间的映射关系，确定当前手势标识信息对应的车辆控制指令并输出。由于图像的采集仅依靠摄像头就可完成，且对图像的处理过程比较简单，因此能够降低现有技术中人车交互的成本，进一步借助于手势识别模型，从手部信息中识别出手势，通过手势进行人车交互，不容易受周边环境的影响，能够提高用户的体验效果。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术实施例提供的车载人机交互方法的实现流程示意图；图2是本专利技术提供的车载人机交互设备的设备示意图；图3是本专利技术一实施例提供的车载设备的示意图。具体实施方式以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本专利技术实施例。然而，本领域的本文档来自技高网...

【技术保护点】
1.一种车载人机交互方法，其特征在于，包括：/n获取预设区域内包含手部信息的目标图像；/n根据预先训练完成的手势识别模型对所述目标图像中的手部信息进行手部关节点识别，获得所述手部各关节点相对于预设原点的三维空间坐标；/n根据所述三维空间坐标生成手势标识信息；/n根据预先存储的手势标识信息与车辆控制指令之间的映射关系，确定当前手势标识信息对应的车辆控制指令并输出。/n

【技术特征摘要】
1.一种车载人机交互方法，其特征在于，包括：
获取预设区域内包含手部信息的目标图像；
根据预先训练完成的手势识别模型对所述目标图像中的手部信息进行手部关节点识别，获得所述手部各关节点相对于预设原点的三维空间坐标；
根据所述三维空间坐标生成手势标识信息；
根据预先存储的手势标识信息与车辆控制指令之间的映射关系，确定当前手势标识信息对应的车辆控制指令并输出。


2.如权利要求1所述的车载人机交互方法，其特征在于，所述预先训练完成的手势识别模型为神经网络模型，所述根据预先训练完成的手势识别模型对所述手部信息进行手部关节点识别之前，包括：
获取第一预设数量的包含手部信息的图片；
将所述包含手部信息的图片分别输入至所述神经网络模型进行模型训练，获得模型输出的各手部信息包含的手部各关节点相对于预设原点的预测三维空间坐标；
分别将各手部信息的所述预测三维空间坐标与预先存储的各手部信息包含的各关节点相对于预设原点的标准三维空间坐标进行比较；
若各手部信息包含的各关节点的预测三维空间坐标分别与各手部信息对应包含的各关节点的标准三维空间坐标相比，重合的概率大于预设的第一概率阈值，则确定所述神经网络模型为训练完成的手势识别模型，停止对所述手势识别模型的训练。


3.如权利要求2所述的车载人机交互方法，其特征在于，在所述分别将各手部信息的所述预测三维空间坐标与预先存储的所有手部信息包含的各关节点相对于预设原点的标准三维空间坐标进行比较的步骤之后，包括：
若所有手部信息包含的各关节点的预测三维空间坐标分别与各手部信息对应包含的各关节点的标准三维空间坐标相比，重合的概率小于或者等于预设的第一概率阈值，则增加第二预设数量的包含手部信息的图片，并返回执行将所有所述包含手部信息的图片输入至所述神经网络模型进行模型训练，获得模型输出的所有手部信息包含的手部各关节点相对于预设原点的预测三维空间坐标的步骤。


4.如权利要求2所述的车载人机交互方法，其特征在于，所述预设原点为预先确定的采集所述目标图像的摄像头的三维空间坐标；
在所述获取第一预设数量的包含手部信息的图片与所述将所有所述包含手部信息的图片分别输入至所述神经网络模型进行模型训练，获得模型输出的所有手部信息包含的手部各关节点相对于预设原点的预测三维空间坐标之间，包括：
对所述第一预设数量的包含手部信息的图片进行手部各关节点相对于所述预设原点的三维空间坐标的标注，得到所述各手部信息包含的各...

【专利技术属性】
技术研发人员：毛文涛，
申请(专利权)人：毛文涛，
类型：发明
国别省市：北京;11