一种基于目标检测算法的AI手语翻译方法与系统技术方案

技术编号:40975458 阅读:46 留言:0更新日期:2024-04-18 21:23
本发明专利技术公开了一种基于目标检测算法的AI手语翻译方法与系统,具体涉及手语翻译技术领域,通过数据库对物体动作进行收集以形成数据集变传输至手语图像识别模块,再对数据集进行标注,并通过目标检测算法对标注后的指定数据进行数据集的训练与比对以获取最小的损失值,根据最小的损失值获取与识别物体最接近的权重参数,通过与识别物体最接近的权重参数作为输入参数,根据识别代码进行物体动作的判断,根据判断结果进行标签操作,并将已标签的物体动作传输至控制芯片,将摄像头获取的当前手语手势与已标签的物体动作进行比对,并通过语音输出模块将比对结果进行语音输出;让聋哑人更好地理解普通人表达的意思,提高沟通效率。

【技术实现步骤摘要】

本专利技术涉及手语翻译,具体为一种基于目标检测算法的ai手语翻译方法与系统。


技术介绍

1、在我国有2000多万的听力语言残障人士,他们无法像健全人一样通过说和聆听与外界进行沟通,只能通过无声的手语与旁人交流。为了让聋哑人士好地融入社会,有效地与社会进行交流,手语翻译演着至关重要的角色。在这个社会融合度高的大环境下,聋哑人士也需要通过手语等其他的方式来与他人进行自然交流。在日常生活中,聋哑人士存在着许许多多不方便,在诸多方面存在着问题,如听障者在听别人讲话时往往遇到困难,特别是噪声环境中遇到的困难更大,他们听一些非言语信号如闹钟、门铃和电话铃声等也会有困难,许多患者在参与社会交往活动中,特别是当人们很快地改变谈话内容时,往往不能听明白谈话内容。他们与家人、朋友及同事进行交流时也存在许多困难,大部分患者接听电话时也不能进行正常的谈话,由于患者存在听力障碍,因此他们的就业范围及工作机会相对减少,受教育的机会也减少了。同时由于他们在许多人的场合及噪声环境中存在着交流困难,限制了他们的社会活动及交往,他们的娱乐活动如看电影、听音乐会等也就随之减少,患者感到被社会及本文档来自技高网...

【技术保护点】

1.一种基于目标检测算法的AI手语翻译方法,其特征在于,包括步骤:

2.根据权利要求1所述的一种基于目标检测算法的AI手语翻译方法,其特征在于,所述最小的损失值通过分类损失值、物体置信度损失值与定位损失值根据设定比例进行计算。

3.根据权利要求2所述的一种基于目标检测算法的AI手语翻译方法,其特征在于,所述分类损失值通过二元交叉熵损失函数对物体的正样本进行计算;所述物体置信度损失值通过二元交叉熵损失函数对物体的所有样本进行计算;所述定位损失值通过重叠联合比损失函数对物体的正样本进行计算。

4.根据权利要求1所述的一种基于目标检测算法的AI手语翻译方法,...

【技术特征摘要】

1.一种基于目标检测算法的ai手语翻译方法,其特征在于,包括步骤:

2.根据权利要求1所述的一种基于目标检测算法的ai手语翻译方法,其特征在于,所述最小的损失值通过分类损失值、物体置信度损失值与定位损失值根据设定比例进行计算。

3.根据权利要求2所述的一种基于目标检测算法的ai手语翻译方法,其特征在于,所述分类损失值通过二元交叉熵损失函数对物体的正样本进行计算;所述物体置信度损失值通过二元交叉熵损失函数对物体的所有样本进行计算;所述定位损失值通过重叠联合比损失函数对物体的正样本进行计算。

4.根据权利要求1所述的一种基于目标检测算法的ai手语翻译方法,其特征在于,所述识别后的语音通过语音输出模块进行语音速度、语音音量及语音类别设置。

5.根据权利要求1所述的一种基于目标检测算法的ai手语翻译方法,其特征在于,通过所述语音识别模块对采集的语音信号进行特征提取,并通过解码搜索单元将提取的特征进行标签转换并搜索最接近的物体动作,并将物体动...

【专利技术属性】
技术研发人员:章晓敏杨涛田思刘丽
申请(专利权)人:宁波财经学院
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1