一种基于深度学习的实时手语手势识别系统技术方案

本发明专利技术公开一种基于深度学习的实时手语手势识别系统，目的是解决现有利用手部骨骼关节点识别手语手势成本昂贵的问题；目前想获取手部骨骼关节点的三维坐标，需要使用可穿戴式的设备或者使用深度摄像头，使得实验成本大大增加，所以本发明专利技术利用谷歌MediaPipe框架，只需要使用一个普通摄像头来获得手部的三维坐标点；再通过训练好的深度神经网络GoogLeNet模型，实现实时手语手势识别；同时，本发明专利技术相较于传统的图像处理方式，速度更快，准确率更高，大大提高工作效率。大提高工作效率。大提高工作效率。

【技术实现步骤摘要】
一种基于深度学习的实时手语手势识别系统


[0001]本专利技术涉及人工智能领域，尤其涉及一种基于深度学习的实时手语手势识别系统。

技术介绍

[0002]据世界卫生组织的数据统计，全球患有听力障碍的疾病的人数超过2.5亿。对于普通人来说一般采用口语结合书面语的方式，适当配合身体姿势和人的表情来进行交际，而聋哑人交流主要是使用手语语言。
[0003]手语是一种借助手势来表达使用者意图的肢体语言，其经过手部的形状、位置、运动轨迹和方向来组合成为一个手语词。虽然在日常生活中聋哑人可以使用手语来表达自己的看法，但其中也有诸多不便。比如，大多数普通人并不了解手语，无法与聋哑人进行沟通。因此，手语识别技术便成了聋哑人与世界沟通的一种方法。所谓的手语识别是通过计算机技术对聋哑人使用的手语进行语义分析，进而转化为普通人能看懂或听懂的文字或声音的一种计算机技术。手语识别技术的研究不仅能够对聋哑人的生活学习以及工作条件进行改善和提高，为他们提供更优质的服务。特别是在例如医院，车站等一些公共场所，手语识别技术更加有着广泛的应用，能够帮助聋哑人更好的融入社会，享本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的实时手语手势识别系统，其特征在于，所述方法包括：步骤一、利用MediaPipe框架获取手语字母各个特征点的三维坐标信息；步骤二、根据手部的特征点的三维坐标信息计算各个关节点到手腕特征点的欧式距离；步骤三、根据上述特征信息计算的欧氏距离组成数列，带入卷积神经网络模型进行预分类，利用三元组损失函数TripletLoss最终识别出待识别的手语手势；步骤四、取连续m帧识别的手语手势相一致的结果作为最终确定的识别结果。2.根据权利要求1所述的方法，其特征在于，所述步骤二具体为：将收集到的手部特征点三维坐标计算出与在手...

【专利技术属性】
技术研发人员：徐军，高辉，
申请(专利权)人：哈尔滨理工大学，
类型：发明
国别省市：