一种座舱内手势交互方法及装置制造方法及图纸

本发明专利技术公开了一种座舱内手势交互方法及装置，座舱内手势交互方法包括：接收座舱内的实时图像；将实时图像输入手势识别模型，获得手势识别模型输出的第一手势类别检测结果和第一位置类别检测结果；依据第一座舱位置上第一手势对应的控制指令控制座舱内的设备；其中，对于不同的第一座舱位置，相同的第一手势对应的控制指令不同。本发明专利技术通过手势识别模型直接获得手势类别检测结果，避免两阶段手势识别导致的车机工作压力，并通过识别手势动作人所在的座舱位置，为不同座舱位置上的相同手势配置不同的功能，提高了手势交互的丰富度。提高了手势交互的丰富度。提高了手势交互的丰富度。

【技术实现步骤摘要】
一种座舱内手势交互方法及装置


[0001]本专利技术涉及计算机信息处理
，尤其涉及一种座舱内手势交互方法及装置。

技术介绍

[0002]现有的座舱内手势识别通常包括两个阶段，第一阶段进行人体检测或手部检测，第二阶段利用手部关键点信息进行手势识别。在座舱内常见的多人场景中，往往需要对手部的位置信息进行较为复杂的空间关系建模，尤其是动态手势，人体和手部都会有一定程度的运动，不易区分手部与人体的对应关系，这样的识别方法可能会对车机造成了负担，降低了手势的实时识别效率，动态手势的实时识别效果较差。另外，现有的座舱内手势识别系统没有动作人的定位，对于同一手势，不同的座舱位置对应的功能是相同的，使得整个手势交互的丰富度大大降低。
[0003]在现有的座舱内手势识别系统中，通常直接采用单帧图像进行手势识别，但是通常座舱内的手势指令都具有一定的持续时间，因此现有的手势识别在未融合时间信息的情况下对于动态手势的识别效果较差。
[0004]现有的座舱内手势识别系统的摄像设备安装在座舱前排的左侧或右侧，考虑到效率问题以及识别准确度，往往检测离摄像设备最近的手的手势，即前排用户的手势，使得后排用户的手势交互体验大大降低。

技术实现思路

[0005]鉴于上述，本专利技术旨在提供一种座舱内手势交互方法及装置，通过手势识别模型直接获得手势类别检测结果，避免两阶段手势识别导致的车机工作压力，并通过识别手势动作人所在的座舱位置，为不同座舱位置上的相同手势配置不同的功能，提高了手势交互的丰富度。
[0006]本专利技术采用的技术方案如下：第一方面，本专利技术提供了一种座舱内手势交互方法，包括：接收座舱内的实时图像；将实时图像输入手势识别模型，获得手势识别模型输出的第一手势类别检测结果和第一位置类别检测结果，第一手势类别检测结果指示第一手势的类型，第一位置类别检测结果指示第一手势的动作人所在的第一座舱位置；依据第一座舱位置上第一手势对应的控制指令控制座舱内的设备；其中，对于不同的第一座舱位置，相同的第一手势对应的控制指令不同。
[0007]在其中一种可能的实现方式中，在获得第一手势类别检测结果之后，利用当前帧和当前帧之前的连续第一预设数量帧的手势类别检测结果进行投票，确定当前帧的第一手势类别检测结果是否有效；若有效，则依据第一座舱位置上第一手势对应的控制指令控制座舱内的设备。
[0008]在其中一种可能的实现方式中，若当前帧的第一手势类别检测结果有效，则利用当前帧和当前帧之前的连续第二预设数量帧的位置类别检测结果进行投票，确定当前帧的第一位置类别检测结果是否有效；若当前帧的第一位置类别检测结果有效，则依据第一座舱位置上第一手势对应的控制指令控制座舱内的设备。
[0009]在其中一种可能的实现方式中，手势识别模型对实时图像进行处理，获得第一手势类别检测结果和第一位置类别检测结果，具体包括：对实时图像进行处理，获得第一手势分类结果、第一位置分类结果以及第一手势动作人的第一中心点；将第一手势分类结果作为第一手势类别检测结果并输出；判断第一中心点是否位于第一位置分类结果所指示的座舱位置所在的区域内；若是，则将第一位置分类结果作为第一位置类别检测结果并输出。
[0010]在其中一种可能的实现方式中，若第一中心点未位于第一位置分类结果所指示的座舱位置所在的区域内，则判定第一位置类别检测结果为未知区域并输出。
[0011]在其中一种可能的实现方式中，若第一位置类别检测结果为未知区域，则不对座舱内的设备做控制，或依据第一手势的类型对应的通用指令控制座舱内的设备。
[0012]在其中一种可能的实现方式中，手势识别模型包括第三预设数量的卷积层，每个卷积层输出时序特征和卷积结果；手势识别模型的输入数据为实时图像和第三预设数量的卷积层获得的当前帧的前一帧的所有时序特征。
[0013]在其中一种可能的实现方式中，获得第一位置分类结果之后，利用座舱内所有座舱位置的第一独热的调制向量对第一位置分类结果进行投票，确定第二位置分类结果；其中，第一独热的调制向量是依据实时图像的实际位置类别标签生成的；并且，若第一中心点位于第二位置分类结果所指示的座舱位置所在的区域内，则将第二位置分类结果作为第一位置类别检测结果并输出。
[0014]在其中一种可能的实现方式中，接收实时图像前，还包括：接收座舱内的光线强度信息；依据光线强度信息控制座舱内摄像设备使用可见光或近红外光进行拍摄。
[0015]在其中一种可能的实现方式中，对手势识别模型进行训练包括：将连续图像样本输入初始模型；获得连续图像样本经第三预设数量的卷积层后获得的手势卷积结果和位置卷积结果，每个卷积层依次包括时序偏移模块和卷积模块，时序偏移模块的输入数据为前一卷积层输出的时序特征；将手势卷积结果和位置卷积结果分别输入手势分类器和位置分类器，获得第二手势类别检测结果和第二位置类别检测结果；依据第二手势类别检测结果与连续图像样本的手势类别标签之间、第二位置类别检测结果与连续图像样本的实际位置类别标签之间的损失函数对初始模型进行迭代训练，获得手势识别模型。
[0016]在其中一种可能的实现方式中，位置分类器的输入数据为位置卷积结果和位置调
制器生成的第二独热的调制向量的点积，第二独热的调制向量是依据连续图像样本的实际位置类别标签生成的。
[0017]在其中一种可能的实现方式中，连续图像样本经第三预设数量的卷积层后还获得手势动作人的第二中心点；并且，还利用通过对连续图像样本的人体检测获得的手势动作人的第三中心点与第二中心点之间的损失函数对初始模型进行迭代训练。
[0018]在其中一种可能的实现方式中，座舱内摄像设备设置在座舱的顶灯或舱内后视镜处。
[0019]第二方面，本专利技术提供了一种座舱内手势交互装置，包括实时图像接收模块、手势识别模块以及控制模块；实时图像接收模块用于接收座舱内的实时图像；手势识别模块用于将实时图像输入手势识别模型，获得手势识别模型输出的第一手势类别检测结果和第一位置类别检测结果，第一手势类别检测结果指示第一手势的类型，第一位置类别检测结果指示第一手势的动作人所在的第一座舱位置；控制模块用于依据第一座舱位置上第一手势对应的控制指令控制座舱内的设备；其中，对于不同的第一座舱位置，相同的第一手势对应的控制指令不同。
[0020]在其中一种可能的实现方式中，手势识别模型包括处理模块、判断模块以及输出模块；处理模块用于对实时图像进行处理，获得第一手势分类结果、第一位置分类结果以及第一手势动作人的第一中心点；判断模块用于判断第一中心点是否位于第一位置分类结果所指示的座舱位置所在的区域内；输出模块用于在第一中心点位于第一位置分类结果所指示的座舱位置所在的区域内时将第一位置分类结果作为第一位置类别检测结果并输出，并且将第一手势分类结果作为第一手势类别检测结果并输出。
[0021]在其中一种可能的实现方式中，处理模块包括时序特征提取器，时序特征提取器包括偏移特征存储模块和第三预设数量的卷积层，每个卷积层依次包括时序偏移模本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种座舱内手势交互方法，其特征在于，包括：接收座舱内的实时图像；将所述实时图像输入手势识别模型，获得所述手势识别模型输出的第一手势类别检测结果和第一位置类别检测结果，所述第一手势类别检测结果指示第一手势的类型，所述第一位置类别检测结果指示所述第一手势的动作人所在的第一座舱位置；依据所述第一座舱位置上所述第一手势对应的控制指令控制座舱内的设备；其中，对于不同的第一座舱位置，相同的第一手势对应的控制指令不同。2.根据权利要求1所述的座舱内手势交互方法，其特征在于，在获得所述第一手势类别检测结果之后，利用当前帧和所述当前帧之前的连续第一预设数量帧的手势类别检测结果进行投票，确定所述当前帧的第一手势类别检测结果是否有效；若有效，则依据所述第一座舱位置上所述第一手势对应的控制指令控制座舱内的设备。3.根据权利要求2所述的座舱内手势交互方法，其特征在于，若所述当前帧的第一手势类别检测结果有效，则利用当前帧和所述当前帧之前的连续第二预设数量帧的位置类别检测结果进行投票，确定所述当前帧的第一位置类别检测结果是否有效；若所述当前帧的第一位置类别检测结果有效，则依据所述第一座舱位置上所述第一手势对应的控制指令控制座舱内的设备。4.根据权利要求1所述的座舱内手势交互方法，其特征在于，所述手势识别模型对所述实时图像进行处理，获得所述第一手势类别检测结果和所述第一位置类别检测结果，具体包括：对所述实时图像进行处理，获得第一手势分类结果、第一位置分类结果以及第一手势动作人的第一中心点；将所述第一手势分类结果作为所述第一手势类别检测结果并输出；判断所述第一中心点是否位于所述第一位置分类结果所指示的座舱位置所在的区域内；若是，则将所述第一位置分类结果作为所述第一位置类别检测结果并输出。5.根据权利要求4所述的座舱内手势交互方法，其特征在于，若所述第一中心点未位于所述第一位置分类结果所指示的座舱位置所在的区域内，则判定所述第一位置类别检测结果为未知区域并输出。6.根据权利要求5所述的座舱内手势交互方法，其特征在于，若所述第一位置类别检测结果为未知区域，则不对座舱内的设备做控制，或依据所述第一手势的类型对应的通用指令控制座舱内的设备。7.根据权利要求4所述的座舱内手势交互方法，其特征在于，所述手势识别模型包括第三预设数量的卷积层，每个所述卷积层输出时序特征和卷积结果；所述手势识别模型的输入数据为所述实时图像和所述第三预设数量的卷积层获得的当前帧的前一帧的所有时序特征。8.根据权利要求4或7所述的座舱内手势交互方法，其特征在于，获得第一位置分类结果之后，利用座舱内所有座舱位置的第一独热的调制向量对所述第一位置分类结果进行投票，确定第二位置分类结果；其中，所述第一独热的调制向量是依据所述实时图像的实际位
置类别标签生成的；并且，若所述第一中心点位于所述第二位置分类结果所指示的座舱位置所在的区域内，则将所述第二位置分类结果作为所述第一位置类别检测结果并输出。9.根据权利要求1所述的座舱内手势交互方法，其特征在于，接收所述实时图像前，还包括：接收座舱内的光线强度信息；依据所述光线强度信息控制座舱内摄像设备使用可见光或近红外光进行拍摄。10.根据权利要求7所述的座舱内手势交互方法，其特征在于，对所述手势识别模型进行训练包括：将连续图像样本输入初始模型；获得所述连续图像样本经所述第三预设数量的卷积层后获得的手势卷积结果和位置卷积结果，每个所述卷积层依次包括时序偏移模块和卷积模块，所述时序偏移模块的输入数据为前一卷积层输出的时序特征；将所述手势卷积结果和所述位置卷积结果分别输入手势分类器和位置分类器，获得第二手势类别检测结果和第二位置类别检测结果；依据所述第二手势类别检测结果与所述连...

【专利技术属性】
技术研发人员：沈锦瑞，林垠，殷保才，胡金水，殷兵，
申请(专利权)人：科大讯飞股份有限公司，
类型：发明
国别省市：