本实用新型专利技术公开了一种基于动作识别及语音识别技术的唇语翻译系统，包括有壳体，壳体内设置有FPGA及DSP，壳体上设置有一对用于采集人体唇语的摄像头和一个用于采集人体声音的语音识别模块，两摄像头和语音识别模块分别通过信号线接入FPGA，FPGA与DSP双向通信连接，DSP分别通过I2C/SPI总线与两摄像头和语音识别模块连接，DSP还通过USB总线与上位机通讯连接，上位机外接显示器，上位机将DSP传来的摄像头采集的人体唇语的图像数据和语音识别模块采集的人体声音的音频数据合成视频信号，再将视频信号转化为手语动作并在显示器上显示。本实用新型专利技术可实现双摄像头的同步图像采集，并实现了基于动作识别及语音识别技术的唇语翻译，具有很好的应用前景。（*该技术在2022年保护过期，可自由使用*）
【技术实现步骤摘要】
本技术涉及电子设备领域，具体为一种基于动作识别及语音识别技术的唇语翻译系统。
技术介绍
基于视频的动作识别设备由主机、显示器、动作识别模块等构成，可通过动作识别设备中的摄像头采集人体的运动图像，并通过集成的图像算法芯片，对运动图像进行解析，形成人体运动的三维动态坐标，经主机的图像合成与仿真，最后在显示器中显示相应的动作视频，因此动作识别设备可作为唇语翻译系统的基础设备。而现有技术中尚没有基于动作识别及语音识别技术的唇语翻译系统。
技术实现思路
本技术的目的是提供一种基于动作识别及语音识别技术的唇语翻译系统，以解决现有技术中尚没有基于动作识别及语音识别技术的唇语翻译系统的问题。为了达到上述目的，本技术所采用的技术方案为:一种基于动作识别及语音识别技术的唇语翻译系统，包括有壳体，其特征在于:所述壳体内设置有FPGA及DSP，壳体上设置有一对用于采集人体唇语的摄像头和一个用于采集人体声音的语音识别模块，两摄像头和语音识别模块分别通过信号线接入FPGA，所述FPGA与DSP双向通信连接，所述DSP分别通过I2C/SPI总线与两摄像头和语音识别模块连接，DSP还通过USB总线与上位机通讯连接，上位机外接显示器，上位机将DSP传来的摄像头采集的人体唇语的图像数据和语音识别模块采集的人体声音的音频数据合成视频信号，再将视频信号转化为手语动作并在显示器上显示。所述的一种基于动作识别及语音识别技术的唇语翻译系统，其特征在于:所述FPGA上接入有两个SRAM，所述DSP上接入有一个SDRAM和一个Nand/Nor FLASH。本技术依据Bumblebee双目测量原理,应用FPGA驱动两个摄像头和语音识别模块，并通过DSP的I2C/SPI总线使两个摄像头和语音识别模块同步采集运动图像和语音信号，图像数据和语音信号在DSP进行预处理后传送至上位机。上位机将DSP传来的摄像头采集的人体唇语的图像数据和语音识别模块采集的人体声音的音频数据合成视频信号，再将视频信号转化为手语动作并在显示器上显示。本技术可实现双摄像头附图说明图1为本技术结构框图。具体实施方式如图1所示。一种基于动作识别及语音识别技术的唇语翻译系统，包括有壳体，壳体内设置有FPGA及DSP，壳体上设置有一对用于采集人体唇语的摄像头I和一个用于采集人体声音的语音识别模块2，两摄像头I和语音识别模块2分别通过信号线接入FPGA，FPGA与DSP双向通信连接，DSP分别通过I2C/SPI总线与两摄像头I和语音识别模块2连接，DSP还通过USB总线与上位机3通讯连接，上位机3外接显示器4，上位机3将DSP传来的摄像头I采集的人体唇语的图像数据和语音识别模块2采集的人体声音的音频数据合成视频信号，再将视频信号转化为手语动作并在显示器4上显示。FPGA上接入有两个SRAM，所述DSP上接入有一个SDRAM和一个Nand/Nor FLASH。权利要求1.一种基于动作识别及语音识别技术的唇语翻译系统，包括有壳体，其特征在于:所述壳体内设置有FPGA及DSP，壳体上设置有一对用于采集人体唇语的摄像头和一个用于采集人体声音的语音识别模块，两摄像头和语音识别模块分别通过信号线接入FPGA，所述FPGA与DSP双向通信连接，所述DSP分别通过I2C/SPI总线与两摄像头和语音识别模块连接，DSP还通过USB总线与上位机通讯连接，上位机外接显示器，上位机将DSP传来的摄像头采集的人体唇语的图像数据和语音识别模块采集的人体声音的音频数据合成视频信号，再将视频信号转化为手语动作并在显示器上显示。2.根据权利要求1所述的一种基于动作识别及语音识别技术的唇语翻译系统，其特征在于:所述FPGA上接入有两个SRAM，所述DSP上接入有一个SDRAM和一个Nand/Nor FLASH。专利摘要本技术公开了一种基于动作识别及语音识别技术的唇语翻译系统，包括有壳体，壳体内设置有FPGA及DSP，壳体上设置有一对用于采集人体唇语的摄像头和一个用于采集人体声音的语音识别模块，两摄像头和语音识别模块分别通过信号线接入FPGA，FPGA与DSP双向通信连接，DSP分别通过I2C/SPI总线与两摄像头和语音识别模块连接，DSP还通过USB总线与上位机通讯连接，上位机外接显示器，上位机将DSP传来的摄像头采集的人体唇语的图像数据和语音识别模块采集的人体声音的音频数据合成视频信号，再将视频信号转化为手语动作并在显示器上显示。本技术可实现双摄像头的同步图像采集，并实现了基于动作识别及语音识别技术的唇语翻译，具有很好的应用前景。文档编号G10L15/00GK203070287SQ20122068961公开日2013年7月17日 申请日期2012年12月13日 优先权日2012年12月13日专利技术者陈拥权, 王略志, 刘思杨, 胡翀豪 申请人:合肥寰景信息技术有限公司本文档来自技高网...
【技术保护点】
一种基于动作识别及语音识别技术的唇语翻译系统，包括有壳体，其特征在于：所述壳体内设置有FPGA及DSP，壳体上设置有一对用于采集人体唇语的摄像头和一个用于采集人体声音的语音识别模块，两摄像头和语音识别模块分别通过信号线接入FPGA，所述FPGA与DSP双向通信连接，所述DSP分别通过I2C/SPI总线与两摄像头和语音识别模块连接，DSP还通过USB总线与上位机通讯连接，上位机外接显示器，上位机将DSP传来的摄像头采集的人体唇语的图像数据和语音识别模块采集的人体声音的音频数据合成视频信号，再将视频信号转化为手语动作并在显示器上显示。
【技术特征摘要】
【专利技术属性】
技术研发人员：陈拥权，王略志，刘思杨，胡翀豪，
申请(专利权)人：合肥寰景信息技术有限公司，
类型：实用新型
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。