【技术实现步骤摘要】
本技术涉及手语和唇语互译系统领域,具体为一种基于动作识别及语音技术的手语和唇语互译系统。
技术介绍
基于视频的动作识别设备由主机、动作识别模块等构成,可通过动作识别设备中的摄像头采集人体的运动图像,并通过集成的图像算法芯片,对运动图像进行解析,形成人体运动的三维动态坐标,经主机的图像合成与仿真,最后得到相应的动作视频,因此动作识别设备可作为手语和唇语互译系统的基础设备。而现有技术中尚没有基于动作识别及语音技术的手语和唇语互译系统。
技术实现思路
本技术的目的是提供一种基于动作识别及语音技术的手语和唇语互译系统,以解决现有技术中尚没有基于动作识别及语音技术的实现手语和唇语互译系统的问题。为了达到上述目的,本技术所采用的技术方案为:一种基于动作识别及语音技术的手语和唇语互译系统,包括有壳体,其特征在于:所述壳体内设置有FPGA及DSP,壳体上设置有一对用于采集聋哑人手语动作的摄像头A和一对用于采集正常人唇语的摄像头B以及一个用于采集正常人声音的语音识别模块,两摄像头A、两摄像头B、语音识别模块分别通过信号线接入FPGA,所述FPGA与DSP双向通信连接,所述DSP分别通过I2C/SPI总线与两摄像头A、两摄像头B、语音识别模块连接,DSP还通过USB总线与上位机通讯连接,上位机外接有显示器、语音播放模块,上位机将DSP传来的摄像头A采集的聋哑人手语动作的图像数据合成视频信号,再将视频信号转化为语音信息通过语音播放模块播出,上位机将DSP传来的摄像头B采集的正常人唇语的图像数据和语音识别模块采集的正常人声音的音频数据合成视频信号,再将视频信号转化为手语动作并在显示器上 ...
【技术保护点】
一种基于动作识别及语音技术的手语和唇语互译系统,包括有壳体,其特征在于:所述壳体内设置有FPGA及DSP,壳体上设置有一对用于采集聋哑人手语动作的摄像头A和一对用于采集正常人唇语的摄像头B以及一个用于采集正常人声音的语音识别模块,两摄像头A、两摄像头B、语音识别模块分别通过信号线接入FPGA,所述FPGA与DSP双向通信连接,所述DSP分别通过I2C/SPI总线与两摄像头A、两摄像头B、语音识别模块连接,DSP还通过USB总线与上位机通讯连接,上位机外接有显示器、语音播放模块,上位机将DSP传来的摄像头A采集的聋哑人手语动作的图像数据合成视频信号,再将视频信号转化为语音信息通过语音播放模块播出,上位机将DSP传来的摄像头B采集的正常人唇语的图像数据和语音识别模块采集的正常人声音的音频数据合成视频信号,再将视频信号转化为手语动作并在显示器上显示。
【技术特征摘要】
1.一种基于动作识别及语音技术的手语和唇语互译系统,包括有壳体,其特征在于:所述壳体内设置有FPGA及DSP,壳体上设置有一对用于采集聋哑人手语动作的摄像头A和一对用于采集正常人唇语的摄像头B以及一个用于采集正常人声音的语音识别模块,两摄像头A、两摄像头B、语音识别模块分别通过信号线接入FPGA,所述FPGA与DSP双向通信连接,所述DSP分别通过I2C/SPI总线与两摄像头A、两摄像头B、语音识别模块连接,DSP还通过USB总线与上位机通讯连接,上位机外接有显示器...
【专利技术属性】
技术研发人员:陈拥权,王略志,刘思杨,胡翀豪,
申请(专利权)人:合肥寰景信息技术有限公司,
类型:实用新型
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。