一种基于多模态输入的手势操控意图识别方法及系统技术方案

本发明专利技术公开一种基于多模态输入的手势操控意图识别方法及系统，是基于车内乘员的手势信息，融合人脸特征、情绪特征、语音信息以及车内外环境信息等，准确识别用户手势操控意图，并将相关手势指令发送至车机，车机执行相关控制操作，从而提升用户座舱体验。从而提升用户座舱体验。从而提升用户座舱体验。

【技术实现步骤摘要】
一种基于多模态输入的手势操控意图识别方法及系统


[0001]本专利技术属于座舱交互
，具体涉及手势操控意图识别技术。

技术介绍

[0002]汽车是人们常用的交通工具，在保证安全性的同时，人们对在汽车使用过程中的便捷性、舒适性也提出了更高的要求。随着座舱内交互方式的不断发展和升级，从传统的物理按键，到触屏操控，到语音操控，到如今逐渐广泛应用的手势操控，交互方式愈发便捷、智能。手势识别在语音操控不便或尴尬的场景优势凸显，同时，自然且符合用户操控逻辑的手势应用更能体现座舱的无感交互体验。因此，能够合理准确的判断用户手势操控意图，为用户带来更便捷、更智能的操控体验，同时降低因手势误识带来的困扰显得尤为重要。
[0003]现有技术对于手势识别领域研究成果较为成熟，在智能家居、智能娱乐设备等场景应用广泛，虽然在汽车内，也得到较早应用，但由于车内手势复杂度较高、环境干扰较强（如光线变换、人为干扰、遮挡等）、关键区域不确定、以及用户操作手势不规范性等诸多问题导致手势误识别情况较多，因此也为用户带来困扰，对手势操控功能引来抱怨。因此，行业内在如何提本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模态输入的手势操控意图识别方法，其特征在于：获取原始训练数据集，原始训练数据集包括含手势信息的车内乘员图像信息以及车内外环境信息；对原始训练数据集进行单模态特征提取；融合各单模态特征，使手势信息与车内外环境信息场景对应并生成训练场景模板库；进行手势识别，当用户手势达到相似阈值且当识别到的场景与训练场景模板库匹配时，确认该手势对应场景及指令，车辆执行对应指令。2.如权利要求1所述的一种基于多模态输入的手势操控意图识别方法，其特征在于：包括以下步骤，步骤1）获取原始训练数据集，含车内摄像头获取的车内乘员图像信息；车内麦克风获取的车内乘员音频；车身传感器获取的车辆状态信息；车内外传感器获取的车内外环境信息；步骤2）对原始训练数据集进行单模态特征提取，特征包括：乘员面部情绪特征，手势信息，语义关键词，驾驶行为习惯，车内外环境特征；步骤3）对单模态特征进行特征融合，构建识别场景，逐一场景构建后形成训练场景模板库；步骤4）进行手势识别，当用户手势达到相似阈值且当识别到的场景与训练场景模板库匹配时，确认该手势对应场景及指令，车辆执行对应指令。3.如权利要求2所述的一种基于多模态输入的手势操控意图识别方法，其特征在于：车内乘员图像信息包括面部信息、手势信息和肢体动作信息。4.如权利要求3所述的一种基于多模态输入的手势操控意图识别方法，其特征在于：乘员面部情绪特征为眨眼频率、眼睛弧度、唇部特征和面部情绪；驾驶行为习惯为驾驶行为习惯和调控习惯；车内外环境特征为车内外温度天气和路况特征。5.如权利要求4所述的一种基于多模态输入的手势操控意图识别方法，其特征在于：构建识别场景为构建用户降窗场景，利用车内外环境特征中天气特征、车内温...

【专利技术属性】
技术研发人员：石林，吴锐，谢乐成，
申请(专利权)人：重庆长安汽车股份有限公司，
类型：发明
国别省市：