一种手语语音互译系统及手语语音互译方法技术方案

本发明专利技术公开了一种手语语音互译系统，手势图像采集模块１０１采集手势的视频数据输入图像预处理模块１０２进行图像预处理，采用图像特征提取模块１０３对经图像预处理后的视频数据进行图像特征提取后输出５６维特征向量，利用５６维特征向量构建手语模型１０４，连续动态手语识别模块１０５识别手语模型１０４，输出识别结果，识别结果经中文发声模块１０６转化为中文语音；声音信号采集装置采集的声音信号输入Ｍｉｃｒｏｓｏｆｔ　Ｓｐｅｅｃｈ　ＳＤＫ　５．１的语音识别编程接口转换为文字输出；通过三维建模软件建立三维模型和三维动画；利用Ｐａｎｄａ插件将三维模型和三维动画信息导出成．ｘ格式文件；利用ＤｉｒｅｃｔＸ　３Ｄ加载．ｘ格式的三维模型和动画输出手语动画。

【技术实现步骤摘要】

本专利技术属于图像模式识别的应用领域，特别涉及一种图像处理和特征提取的图像和语 音相互转化的方法的应用。
技术介绍
-手语语音互译系统(Sign Language & Speech Intertranslating System)的研究不 仅有助于改善和提高聋观人的生活学习和工作条件，为他们提供更好的服务，同时也可以 应用于计算机辅助哑语教学、电视节目双语播放、虚拟人的研究、电影制作中的特技处理、 动画的制作、医疗研究、游戏娱乐等诸多方面。从手语输入设备来看，手语识别系统主要分为基于数据手套的识别系统和基于视觉 (图像)的手语识别系统。基于视觉的手语识别系统是利用摄像机采集手语信息，并进行识别，该方法的优点是 输入设备比较便宜，使用方便。基于数据手套的手语识别系统，是利用数据手套和位置跟 踪测量手语在空间运动的轨迹和时序信息，这种方法识别率比较高，缺点是打手语的人要 穿戴复杂的数据手套和位置跟踪器，并且输入设备比较昂贵。目前主要手语图像识别方法有模板匹配方法、神经网络方法及隐马尔可夫模型 (H羅)。模板匹配主要用于少量孤立手语的识别，该方法计算简单、速度快。神经网络方 法具本文档来自技高网...

【技术保护点】
一种手语语音互译系统，其特征在于：该系统由基于视觉的手语识别子系统（１）、语音翻译子系统（２）构成。

【技术特征摘要】

【专利技术属性】
技术研发人员：冯祖仁，郭文涛，郑珂，张翔，常洪浩，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：87[中国|西安]