一种基于毫米波雷达和机器视觉的手语识别方法技术

本发明专利技术公开了一种基于毫米波雷达和机器视觉的手语识别方法，首先通过毫米波雷达进行手心位置的检测，获取关键帧的时间信息和位置信息，然后采用多线程融合方法，将毫米波雷达获取的关键帧的时间信息与通过摄像头获取的视频数据的时间信息进行融合；接着通过坐标系转换，将毫米波雷达获取的关键帧的位置信息与摄像头获取的视频数据的位置信息进行空间融合，接下来根据时间融合以及空间融合后的视频数据，提取出手部区域关键帧，最后通过预设神经网络对手部区域关键帧进行识别，得到识别结果。本发明专利技术的方法可以实现连续手语的识别，提高识别的准确率和实时性。

A sign language recognition method based on millimeter wave radar and machine vision

【技术实现步骤摘要】
一种基于毫米波雷达和机器视觉的手语识别方法
本专利技术涉及手语的智能翻译
，具体涉及一种基于毫米波雷达和机器视觉的手语识别方法。
技术介绍
中国现有聋哑人数目庞大，手语识别在聋哑人教学及交流方面有着极其重要的作用。在当前研究中，随着新型体感交互设备的普及与机器学习理论的深入，如何基于视觉快速准确的捕获三维手语运动数据并实时理解连续手语的语义，已经成为自然人机交互领域的关键问题。本申请专利技术人在实施本专利技术的过程中，发现现有技术的方法，至少存在如下技术问题：专利文献CN109696963A公开了一种基于手语翻译手套的手语识别方法，从准确性上来分析，穿戴式设备手语句子平均识别率仅为72％。且设备昂贵，不利于大范围的推广应用。专利文献CN109460748A公开了一种基于三目视觉的手语识别方法，通过解决双目设备的视觉盲区缺陷以及独立的手势识别方案无法准确地获取聋哑人手语所要传达的信息等问题，从而提升准确性。然而，由于此种图像识别方法处理速度受限，在连续语句识别方面精度不高。同时提取特征受到复杂背景的影响很大，无法普遍推广。<本文档来自技高网...

【技术保护点】
1.一种基于毫米波雷达和机器视觉的手语识别方法，其特征在于，包括：/n步骤S1：通过毫米波雷达进行手心位置的检测，获取关键帧的时间信息和位置信息；/n步骤S2：采用多线程融合方法，将毫米波雷达获取的关键帧的时间信息与通过摄像头获取的视频数据的时间信息进行融合；/n步骤S3：通过坐标系转换，将毫米波雷达获取的关键帧的位置信息与摄像头获取的视频数据的位置信息进行空间融合；/n步骤S4：根据时间融合以及空间融合后的视频数据，提取出手部区域关键帧；/n步骤S5：通过预设神经网络对手部区域关键帧进行识别，得到识别结果。/n

【技术特征摘要】
1.一种基于毫米波雷达和机器视觉的手语识别方法，其特征在于，包括：
步骤S1：通过毫米波雷达进行手心位置的检测，获取关键帧的时间信息和位置信息；
步骤S2：采用多线程融合方法，将毫米波雷达获取的关键帧的时间信息与通过摄像头获取的视频数据的时间信息进行融合；
步骤S3：通过坐标系转换，将毫米波雷达获取的关键帧的位置信息与摄像头获取的视频数据的位置信息进行空间融合；
步骤S4：根据时间融合以及空间融合后的视频数据，提取出手部区域关键帧；
步骤S5：通过预设神经网络对手部区域关键帧进行识别，得到识别结果。


2.如权利要求1所述的方法，其特征在于，步骤S1具体包括：
步骤S1.1：通过毫米波雷达对手语轨迹进行采样，计算手语轨迹中各个采样点在连续时间内的点密度，得到手语轨迹的点密度曲线；
步骤S1.2：采取等间隔划分方法，并设定阈值T，对手语轨迹的点密度曲线进行处理，得到划定间隔及阈值后的手心点密度曲线；
步骤S1.3：根据划定间隔及阈值后的手心点密度曲线，将每个区间中大于阈值T的最大值对应的点作为关键帧，并获取关键帧的时间信息和位置信息。


3.如权利要求2所述的方法，其特征在于，步骤S1.1具体包括：
步骤S1.1.1：通过毫米波雷达连续发射时间间隔相等的调频信号，以测量手心与毫米波的距离信息以及相对于毫米波的角度和速度；
步骤S1.1.2：根据手心与毫米波的距离信息以及相对于毫米波的角度和速度，计算手语轨迹中各个...

【专利技术属性】
技术研发人员：郭雨欣，陈言滔，马文煊，赵国盛，宋雨佳，
申请(专利权)人：武汉大学，
类型：发明
国别省市：湖北;42