【技术实现步骤摘要】
本专利技术涉及非接触式手势识别，更具体地，涉及一种基于雷视云的轻量化多模态融合手势识别方法。
技术介绍
1、随着神经网络和深度学习技术的发展，非接触式手势识别技术已经应用于人机交互、智能家居、医学健康等领域，工业界和学术界对手势识别技术开展了诸多相关研究。目前的非接触式手势识别系统类型包括基于无线射频信号的手势识别，基于毫米波雷达的手势识别。其中基于无线射频信号的手势识别技术容易受到干扰；另外，通过毫米波雷达获取手势的4d点云序列，能够全面反映目标的距离、角度、速度等信息，但是4d点云序列容易受到噪声影响，并且输出稀疏，在复杂的背景下还容易出现径向发散，均匀性差等缺陷，从而影响最终手势识别的效果。
2、现有技术公开一种基于微多普勒特征的手势识别方法及系统，方法包括：采用穿墙雷达观测被障碍物遮挡的指挥手势，得到雷达回波信号；所述障碍物包括墙体；对雷达回波信号进行多普勒谱与短时傅里叶变换时频谱分析，提取由障碍物遮挡指挥手势所引起的多维微多普勒特征；建立由历史观测雷达回波信号中提取的多维微多普勒特征和对应的指挥手势组成的训练集，对分类器进行训练；将实时提取的障碍物遮挡的指挥手势引起的多维微多普勒特征输入训练好的分类器进行识别，确定被遮挡的指挥手势。然而该方法依旧无法摆脱微多普勒图的在径向上运动的动作不容易被区分的问题，从而影响最终手势识别的效果。
技术实现思路
1、本专利技术的目的在于公开一种识别效果更好的基于雷视云的轻量化多模态融合手势识别方法。
2、为了实现上
3、sl：获取视频数据、微多普勒数据和点云序列；
4、s2：分别计算视频数据、微多普勒数据和点云序列的归一化值，得到视频数据归一化值、微多普勒数据归一化值和点云序列归一化值；
5、s3：根据视频数据归一化值、微多普勒数据归一化值和点云序列归一化值，得到视频数据有效采集时间阈值、微多普勒数据有效采集时间阈值和点云序列有效采集时间阈值；
6、s4：根据视频数据有效采集时间阈值、微多普勒数据有效采集时间阈值和点云序列有效采集时间阈值计算统一有效采集时间，将视频数据、微多普勒数据和点云序列根据统一有效采集时间进行截取，获得视频有效数据、微多普勒采集数据和点云序列有效数据；
7、s5：将视频有效数据、微多普勒有效数据和点云序列有效数据分别输入到各自的特征提取网络中，获得视频模态特征、微多普勒模态特征以及点云序列模态特征，然后视频模态特征、微多普勒模态特征以及点云序列模态特征进行特征融合，获得多模态融合特征；
8、s6：构建手势分类网络，将多模态融合特征输入到手势分类网络中进行训练，得到基于雷视云的轻量化多模态融合手势识别模型；
9、s7：获取手势信息，根据手势信息通过基于雷视云的轻量化多模态融合手势识别模型得到识别结果，完成手势识别。
10、2.根据权利要求1所述的基于雷视云的轻量化多模态融合手势识别方法，其特征在于，在步骤sl中，视频数据、微多普勒数据和点云序列包括：
11、视频数据表示如下：
12、vd＝[vd1，vd2，...，vdn，...，vdn]，
13、
14、其中，vd为视频数据，vdn表示第n帧vd，表示第n帧视频数据的第m个关键点的坐标，m＝1，2，..，m表示关键点索引，n＝1，2，...，n表示视频数据的帧索引；
15、微多普勒数据表示如下：
16、dd＝[dd1，dd2，...，dds，...，dds]，
17、
18、其中，dd为微多普勒数据，dds表示第s帧微多普勒数据，s＝1，2，...，s表示微多普勒数据的帧索引，表示dds上索引为(rg，dp)的元素值，fftd(rg，dp)表示中频信号的二维频域变换，rg、dp表示微多普勒数据的两个维度，且rg＝1，2，...rg，dp＝1，2，...，dp，fftr(rg，nc)表示中频信号的一维频域变换，nc＝1，2，...，nc表示chirp信号索引；
19、点云序列表示如下：
20、pd＝[pd1，pd2，...，pdl，...，pdl]，
21、
22、其中，pd为点云序列，pdl表示第l帧点云序列，表示第l帧点云序列的第h个坐标点，h＝1，2，...，h表示坐标点的索引，l＝1，2，...，l表示点云序列的帧索引。
23、进一步地，在步骤s2中，计算视频数据的归一化值包括：
24、s2.1.1：将m均初始化为1；
25、s2.1.2：计算在相邻两帧之间的距离
26、
27、其中，表示第n帧vd的第m个关键点的维度值，表示第n+1帧视频数据的第m个关键点的维度值；
28、s2.1.3：计算的均值
29、s2.1.4：计算vdn上的归一化值
30、其中，表示第m个关键点的所有的最大值，表示第m个关键点的所有的最小值；
31、s2.1.5：计算视频数据的归一化值：
32、进一步地，在步骤s2中，计算微多普勒数据的归一化值包括：
33、s2.2.1：将rg、dp、nc均初始化为1；
34、s2.2.2：计算微多普勒数据中的均值
35、
36、s2.2.3：计算的归一化值
37、
38、其中，表示的最大值，表示的最小值；
39、s2.2.4：计算微多普勒数据的归一化值：
40、进一步地，在步骤s2中，计算点云序列的归一化值包括：
41、s2.3.1：初始化h为1
42、s2.3.2：计算在相邻两帧之间的距离
43、
44、其中，表示第l帧pd的第h个坐标点的维度值，表示第l+1帧点云序列的第h个坐标点的维度值；
45、s2.3.3：计算的距离均值
46、s2.4.4：计算的归一化值
47、其中，表示第h个坐标点的所有的最大值，表示第h个坐标点的所有的最小值；
48、s2.3.5：计算pd的归一化值：
49、进一步地，在步骤s3中，根据视频数据归一化值、微多普勒数据归一化值和点云序列归一化值，得到视频数据有效采集时间阈值、微多普勒数据有效采集时间阈值和点云序列有效采集时间阈值包括：
50、其中根据视频数据归一化值得到视频数据有效采集时间阈值包括：
51、s3.1.1：计算视频数据的遍历阈值thv、视频数据的阈值遍历步长stepv：
52、thv＝min(vsn)
53、其中，εv表示视频数据的遍历次数；
54、s3.1.2：初始化vdn小于thv的帧数nv0、vdn大于thv的帧数nv1、本文档来自技高网...
【技术保护点】
1.基于雷视云的轻量化多模态融合手势识别方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于雷视云的轻量化多模态融合手势识别方法，其特征在于，在步骤S1中，视频数据、微多普勒数据和点云序列包括：
3.根据权利要求1所述的基于雷视云的轻量化多模态融合手势识别方法，其特征在于，在步骤S2中，计算视频数据的归一化值包括：
4.根据权利要求1所述的基于雷视云的轻量化多模态融合手势识别方法，其特征在于，在步骤S2中，计算微多普勒数据的归一化值包括:
5.根据权利要求1所述的基于雷视云的轻量化多模态融合手势识别方法，其特征在于，在步骤S2中，计算点云序列的归一化值包括:
6.根据权利要求1所述的基于雷视云的轻量化多模态融合手势识别方法，其特征在于，在步骤S3中，根据视频数据归一化值、微多普勒数据归一化值和点云序列归一化值，得到视频数据有效采集时间阈值、微多普勒数据有效采集时间阈值和点云序列有效采集时间阈值包括：
7.根据权利要求1所述的基于雷视云的轻量化多模态融合手势识别方法，其特征在于，在步骤S4中，根据视频
8.根据权利要求1所述的基于雷视云的轻量化多模态融合手势识别方法，其特征在于，在步骤S5中，将视频有效数据、微多普勒有效数据和点云序列有效数据分别输入到各自的特征提取网络中，获得视频模态特征、微多普勒模态特征以及点云序列模态特征，然后视频模态特征、微多普勒模态特征以及点云序列模态特征进行特征融合，获得多模态融合特征包括：
9.根据权利要求1所述的基于雷视云的轻量化多模态融合手势识别方法，其特征在于，在步骤S6中，构建手势分类网络，将多模态融合特征输入到手势分类网络中进行训练，得到基于雷视云的轻量化多模态融合手势识别模型包括：
10.根据权利要求9所述的基于雷视云的轻量化多模态融合手势识别方法，其特征在于，在步骤S6.2中，将训练数据输入到手势分类网络中进行一轮训练包括：
...【技术特征摘要】
1.基于雷视云的轻量化多模态融合手势识别方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于雷视云的轻量化多模态融合手势识别方法，其特征在于，在步骤s1中，视频数据、微多普勒数据和点云序列包括：
3.根据权利要求1所述的基于雷视云的轻量化多模态融合手势识别方法，其特征在于，在步骤s2中，计算视频数据的归一化值包括：
4.根据权利要求1所述的基于雷视云的轻量化多模态融合手势识别方法，其特征在于，在步骤s2中，计算微多普勒数据的归一化值包括:
5.根据权利要求1所述的基于雷视云的轻量化多模态融合手势识别方法，其特征在于，在步骤s2中，计算点云序列的归一化值包括:
6.根据权利要求1所述的基于雷视云的轻量化多模态融合手势识别方法，其特征在于，在步骤s3中，根据视频数据归一化值、微多普勒数据归一化值和点云序列归一化值，得到视频数据有效采集时间阈值、微多普勒数据有效采集时间阈值和点云序列有效采集时间阈值包括：
7.根据权利要求1所述的基于雷视云的轻量化多模态融合手势识别方法，其特征在于，...
【专利技术属性】
技术研发人员：刘震宇，李树聪，马崇润，涂思龙，林锶颖，贾宸炀，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。