当前位置: 首页 > 专利查询>安阳工学院专利>正文

一种基于深度学习的实时手语识别系统及装置制造方法及图纸

技术编号:44939701 阅读:25 留言:0更新日期:2025-04-12 01:16
本发明专利技术提供一种基于深度学习的实时手语识别系统及装置,涉及视频识别技术领域。该基于深度学习的实时手语识别系统及装置,利用摄像头获取实时的手语RGB视频,将视频进行抽帧,把抽帧剩下的图像进行图像预处理,将处理后的数据输入Mediapipe网络进行关键点检测,之后将检测的关键点数据输入Transformer网络进行手语分类。该系统有实时性、识别率高等特点,能够实时检测人体关键点并进行手语识别,手语识别系统可以将手语动作转化为可理解的文字或语音信息,从而帮助聋哑人士与非手语用户进行无障碍的交流,具有广泛的应用前景,可部署在聋哑学校、商场、医院等地方辅助听障人士交流。

【技术实现步骤摘要】

本专利技术涉及视频识别,具体为一种基于深度学习的实时手语识别系统及装置


技术介绍

1、手语是一种以手部动作、手势和身体姿势为基础的视觉语言,被聋哑人士用来进行沟通和表达。然而,对于非手语用户来说,理解手语并进行交流可能是一项挑战。手语识别技术的出现为聋哑人士提供了更多的交流方式。通过利用计算机视觉和机器学习技术,手语识别系统可以将手语动作转化为可理解的文字或语音信息,从而帮助聋哑人士与非手语用户进行无障碍的交流。

2、手语识别的意义在于,它能够促进聋哑人士的社交融入和参与度。这项技术使得聋哑人士能够更轻松地与家人、朋友和社会大众进行沟通,消除了他们在面对面交流中的障碍。此外,手语识别技术还为聋哑人士提供了更多的教育和就业机会,使他们能够参与到更广泛的社会活动中去。

3、目前,手语识别技术已经取得了一定的进展,但仍面临一些挑战。手语的多样性和复杂性使得手语识别算法的设计变得复杂。此外,不同的手语系统存在差异,需要针对不同的手语系统进行适配和训练。这就需要更多的研究和开发来提高手语识别的准确性和实用性。目前手语识别方式主要分为两种,一本文档来自技高网...

【技术保护点】

1.一种基于深度学习的实时手语识别系统及装置,包括图像采集的摄像头模块、数据处理分析的主机模块和展示手语识别结果的显示模块,其特征在于:所述摄像头将采集到的数据实时传到数据处理分析主机模块,经过数据预处理和神经网络模型推理后结果传输到显示模块,用户便可以获取手语视频的含义;

2.根据权利要求1所述的一种基于深度学习的实时手语识别系统及装置,其特征在于,所述实时手语识别模型的训练和识别方法包括以下具体步骤:

3.根据权利要求2所述的一种基于深度学习的实时手语识别系统及装置,其特征在于:训练过程中使用的损失函数为交叉熵损失函数,交叉熵损失函数按照预测类别与实际类别进行...

【技术特征摘要】

1.一种基于深度学习的实时手语识别系统及装置,包括图像采集的摄像头模块、数据处理分析的主机模块和展示手语识别结果的显示模块,其特征在于:所述摄像头将采集到的数据实时传到数据处理分析主机模块,经过数据预处理和神经网络模型推理后结果传输到显示模块,用户便可以获取手语视频的含义;

2.根据权利要求1所述的一种基于深度学习的实时手语识别系统及装置,其特征在于,所述实时手语识别模型的训练和识别方法包括以下具体步骤:

3.根据权利要求2所述的一种基于深度学习的实时手语识别系统及装置,其特征在于:训练过程中使用的损失函数为交叉熵损失函数,交叉熵损失函数按照预测类别与实际类别进行比较,根据概率与实际预期值的差距进行...

【专利技术属性】
技术研发人员:张桢君李阳娄彦利程向明张益恭苏婕刘笛闫怀平
申请(专利权)人:安阳工学院
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1