基于多模态手势识别和用户认证的智能手表交互系统技术方案

本发明专利技术公开一种多模态手势识别和用户认证的智能手表交互系统，包括：手势检测单元，能根据惯性测量传感器的惯性传感信号检测用户手势的开始并启动摄像头获取视频信号；手势识别和用户认证单元，能根据视频信号进行用户手势识别和用户认证，及根据惯性传感信号进行用户手势识别和用户认证；自适应权值的模态融合单元，能通过自适应权值计算方式将根据视频信号进行用户手势识别和用户认证结果与根据惯性传感信号进行用户手势识别和用户认证结果融合，得出融合后用户手势识别和用户认证结果；迁移学习单元，能通过微调的迁移学习方式更新手势识别和用户认证单元的模型

【技术实现步骤摘要】
基于多模态手势识别和用户认证的智能手表交互系统


[0001]本专利技术涉及智能感知领域，尤其涉及一种基于多模态手势识别和用户认证的智能手表交互系统
。

技术介绍

[0002]近些年来，随着电子技术的进步，包括设备规格的减小
、
传感器功能的丰富和硬件功耗的降低，推动了智能手表的发展
。
智能手表为用户的日常生活带来了很多方便，常用的功能有移动支付
、
健康监测
、
消息通知等等
。
然而同时，智能手表在交互系统方面仍然存在一些不足
。
目前市面上常见的商用智能手表主要有两种交互机制：一是通过触摸屏直接操作手表，但智能手表的触摸屏尺寸有限，给用户的使用带来了很多不便；二是通过连接手机间接控制手表，但这样就意味着智能手表不能独立使用，在某些场景下无法满足用户的需求
。
因此，如何实现一个方便
、
普适
、
安全的智能手表交互系统势在必行
。
[0003]作为一个交互系统，需要发送控制本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种多模态手势识别和用户认证的智能手表交互系统，其特征在于，包括：手势检测单元
、
手势识别和用户认证单元
、
自适应权值的模态融合单元和迁移学习单元；其中，所述手势检测单元，与用户的智能手表的惯性测量传感器和摄像头通信连接，能根据惯性测量传感器采集的惯性传感信号检测用户手势的开始并启动摄像头获取视频信号；所述手势识别和用户认证单元，分别与所述摄像头和惯性测量传感器通信连接，能根据所述摄像头获取的视频信号进行用户手势识别和用户认证，以及根据惯性测量传感器采集的惯性传感信号进行用户手势识别和用户认证；所述自适应权值的模态融合单元，与所述手势识别和用户认证单元通信连接，能通过自适应权值计算方式将根据摄像头获取的视频信号进行用户手势识别和用户认证结果与根据惯性测量传感器采集的惯性传感信号进行用户手势识别和用户认证结果融合，得出融合后用户手势识别和用户认证结果；所述迁移学习单元，与所述自适应权值的模态融合单元通信连接，能通过微调的迁移学习方式对所述手势识别和用户认证单元所用的模型进行更新，实现对新用户智能手表的快速部署
。2.
根据权利要求1所述的多模态手势识别和用户认证的智能手表交互系统，其特征在于，所述手势检测单元包括：用户手势判定模块和摄像头启动模块；其中，所述用户手势判定模块，与所述用户的智能手表的惯性测量传感器通信连接，能判定惯性测量传感器采集的惯性传感信号是否超过预定阈值，若超过，则确定用户手势的开始；所述摄像头启动模块，与所述用户手势判定模块通信连接，能在所述用户手势判定模块确定用户手势的开始后，发送启动智能手表的摄像头的指令，以启动摄像头获取视觉信号
。3.
根据权利要求1或2所述的多模态手势识别和用户认证的智能手表交互系统，其特征在于，所述手势识别和用户认证单元包括：基于视觉的识别与认证模块和基于惯性传感的识别与认证模块；其中，所述基于视觉的识别与认证模块，与所述摄像头通信连接，能对摄像头获取的视觉信号依次进行预处理
、
深度学习分类得出基于视觉的识别与认证结果；所述基于惯性传感的识别与认证模块，与所述惯性传感器通信连接，能对惯性传感器采集的惯性传感信号依次进行预处理
、
深度学习分类得出基于惯性传感的识别与认证结果
。4.
根据权利要求3所述的多模态手势识别和用户认证的智能手表交互系统，其特征在于，所述基于视觉的识别与认证模块包括：视觉信号预处理子模块和视觉信号深度学习分类模型；其中，所述视觉信号预处理子模块，与所述摄像头通信连接，能通过阈值算法过滤掉视觉信号中的背景信息，只保留用户手势；所述视觉信号深度学习分类模型，与所述视觉信号预处理子模块的输出端通信连接，能通过依次进行的共享特征提取
、
注意力学习
、
平行分类
、
多任务学习得出基于视觉的手势识别与用户认证结果
。
5.
根据权利要求4所述的多模态手势识别和用户认证的智能手表交互系统，其特征在于，所述视觉信号深度学习分类模型包括：第一共享特征提取模块
、
第一注意力学习模块
、
第一平行分类网络和第一多任务学习模块；其中，所述第一共享特征提取模块，能通过两层卷积神经网络提取手势识别任务与用户认证任务的共享特征；所述第一注意力学习模块，与所述第一共享特征提取模块的输出端通信连接，能通过压缩和激励的注意力机制方式提高所述第一共享特征提取模块输出的共享特征的表征能力；所述第一平行分类网络，与所述第一注意力学习模块的输出端通信连接，能对所述注意力学习模块输出的共享特征进行分类，分别得出手势识别分类结果与用户认证分类结果；所述第一多任务学习模块，与所述第一平行分类网络的输出端连接，能同时对手势识别和用户认证进行分类，得出手势识别和用户认证的分类结果
。6.
根据权利要求5所述的多模态手势识别和用户认证的智能手表交互系统，其特征在于，所述第一共享特征提取模块采用3×3×3卷积核的
3D
卷积神经网络；所述第一注意力学习模块由依次连接的压缩子模块
、
激活子模块和解压子模块，所述压缩子模块能使用
3D
全局池化函数将特征图中的每个通道都压缩至1×1×1的大小，所述激活子模块通过线性连接层与激活函数学习到所述压缩子模块压缩后每个通道的重要性，所述解压子模块将特征图还原至原始大小；所述第一平行分类网络由结构相同且平行设置的两个分类子网络组成，每个分类子网络均包含3层
3D
卷积神经网络和4层全连接层；所述第一多任务学习模块的总的损失函数公式如下：其中，
L1、L2分别表示手势识别任务的损失函数与用户认证任务的损失函数，
ρ1和
ρ2分别表示手势识别任务的方差不确定性参数与用户认证任务的方差不确定性参数
。7.
根据权利...

【专利技术属性】
技术研发人员：李向阳，周颢，郭楷文，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：