一种基于动作识别的手语翻译系统技术方案

技术编号:8563506 阅读:258 留言:0更新日期:2013-04-11 05:22
本发明专利技术公开了一种基于动作识别的手语翻译系统,包括有盒体,盒体内设置有主控制器、接入主控制器的DSP、接入DSP的FPGA,接入主控制器的语音芯片,盒体侧壁上设置有一对摄像头,摄像头分别接入FPGA、DSP。本发明专利技术能有效地对手语者的手语动作进行翻译,并且利用设定的标点动作图像按意思进行翻译,翻译准确可靠,能大大促进听力障碍人群的交流工作。

【技术实现步骤摘要】

本专利技术涉及动作识别装置领域,具体为一种基于动作识别的手语翻译系统
技术介绍
手语是一种广泛应用于听力障碍人群交流的语言,其是通过手语者的动作来表达意思的,因此手语是一种视觉性的语言。在手语中有规定的动作与英文26个字母、数字相互对应,并且一些常用的语句都有对应的手语动作,人们可以通过手语者的动作来明白手语者想要表达的意思。由于手语是视觉性的语言,因此,可通过动作识别的方式,由智能终端采集动作图像后进行判断得到手语者要表带的意思。但现有技术尚没有基于动作识别的手语翻译系统。
技术实现思路
本专利技术的目的是提供一种基于动作识别的手语翻译系统,以解决现有技术没有基于动作识别的手语翻译系统的问题。为了达到上述目的,本专利技术所采用的技术方案为 一种基于动作识别的手语翻译系统,其特征在于包括有盒体,盒体内设置有主控制器、接入主控制器的DSP、接入DSP的FPGA,以及接入主控制器的语音芯片,盒体侧壁上设置有一对摄像头,所述摄像头分别接入FPGA,所述DSP分别通过I2C总线与两摄像头连接;所述主控制器内设有标准手语动作图像数据、每个手语动作对应的字母信息,两摄像头在FPGA、DSP控制下采集手语者的手语动作图像,并通过DSP将采集到的手语动作图像传送至主控制器,所述主控制器将传送来的手语动作图像与标准手语动作图像进行比对,并根据比对结果判断手语者的手语动作对应的字母信息,然后主控制器将手语者完整手语动作所包含的字母信息排序后并按正常人语法翻译成语句,最后主控制器控制语音芯片将语句读出。所述的一种基于动作识别的手语翻译系统,其特征在于所述主控制器中设定若干标点动作图像,所述标点动作图像与标点符号一一对应,所述主控制器接收手语者手语动作图像时,首先判断是否包含标点动作图像,若没有标点动作图像则不进行比对,若有标点动作图像,对于第一个标点动作图像以第一个标点动作图像前的手语者手语动作图像为一组进行比对,对于最后一个标点动作图像以最后个标点动作图像后的手语者手语动作图像为一组进行比对。对于其他标点动作图像以相邻标点动作图像之间的手语者手语动作图像为一组进行比对。所述的一种基于动作识别的手语翻译系统,其特征在于所述盒体内还设置有接入主控制器的无线模块。所述的一种基于动作识别的手语翻译系统,其特征在于所述盒体侧壁上还设置有接入主控制器的接线端口。本专利技术采用双摄像头采集手语者的手语动作图像,依据Bumblebee双目测量原理,应用FPGA驱动两个摄像头,并通过DSP的I2C总线使两个摄像头同步采集运动图像,图像数据在DSP进行预处理后传送至主控制器,由主控制器进行比对后翻译,并将翻译的语句通过语音芯片播放。本专利技术能有效地对手语者的手语动作进行翻译,并且利用设定的标点动作图像按意思进行翻译,翻译准确可靠,能大大促进听力障碍人群的交流工作。附图说明图1为本专利技术结构原理示意图。具体实施例方式如图1所示。一种基于动作识别的手语翻译系统,包括有盒体1,盒体I内设置有主控制器2、接入主控制器2的DSP3、接入DSP3的FPGA4,以及接入主控制器2的语音芯片5,盒体I侧壁上设置有一对摄像头6,摄像头6分别接入FPGA4,DSP3分别通过I2C总线与两摄像头6连接;主控制器2内设有标准手语动作图像数据、每个手语动作对应的字母信息,两摄像头6在FPGA4、DSP3控制下采集手语者的手语动作图像,并通过DSP3将采集到的手语动作图像传送至主控制器2,主控制器2将传送来的手语动作图像与标准手语动作图像进行比对,并根据比对结果判断手语者的手语动作对应的字母信息,然后主控制器2将手语者完整手语动作所包含的字母信息排序后并按正常人语法翻译成语句,最后主控制器控制语音芯片将语句读出。主控制器2中设定若干标点动作图像,标点动作图像与标点符号 对应,主控制器2接收手语者手语动作图像时,首先判断是否包含标点动作图像,若没有标点动作图像则不进行比对,若有标点动作图像,对于第一个标点动作图像以第一个标点动作图像前的手语者手语动作图像为一组进行比对,对于最后一个标点动作图像以最后个标点动作图像后的手语者手语动作图像为一组进行比对。对于其他标点动作图像以相邻标点动作图像之间的手语者手语动作图像为一组进行比对。盒体I内还设置有接入主控制器2的无线模块7。盒体I侧壁上还设置有接入主控制器2的接线端口 8。本文档来自技高网...

【技术保护点】
一种基于动作识别的手语翻译系统,其特征在于:包括有盒体,盒体内设置有主控制器、接入主控制器的DSP、接入DSP的FPGA,以及接入主控制器的语音芯片,盒体侧壁上设置有一对摄像头,所述摄像头分别接入FPGA,所述DSP分别通过I2C总线与两摄像头连接;所述主控制器内设有标准手语动作图像数据、每个手语动作对应的字母信息,两摄像头在FPGA、DSP控制下采集手语者的手语动作图像,并通过DSP将采集到的手语动作图像传送至主控制器,所述主控制器将传送来的手语动作图像与标准手语动作图像进行比对,并根据比对结果判断手语者的手语动作对应的字母信息,然后主控制器将手语者完整手语动作所包含的字母信息排序后并按正常人语法翻译成语句,最后主控制器控制语音芯片将语句读出。

【技术特征摘要】
1.一种基于动作识别的手语翻译系统,其特征在于包括有盒体,盒体内设置有主控制器、接入主控制器的DSP、接入DSP的FPGA,以及接入主控制器的语音芯片,盒体侧壁上设置有一对摄像头,所述摄像头分别接入FPGA,所述DSP分别通过I2C总线与两摄像头连接;所述主控制器内设有标准手语动作图像数据、每个手语动作对应的字母信息,两摄像头在FPGA、DSP控制下采集手语者的手语动作图像,并通过DSP将采集到的手语动作图像传送至主控制器,所述主控制器将传送来的手语动作图像与标准手语动作图像进行比对,并根据比对结果判断手语者的手语动作对应的字母信息,然后主控制器将手语者完整手语动作所包含的字母信息排序后并按正常人语法翻译成语句,最后主控制器控制语音芯片将语句读出。2.根据权利要求1所述的一种基...

【专利技术属性】
技术研发人员:陈拥权张羽胡翀豪
申请(专利权)人:合肥寰景信息技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1