语音可视化系统及语音可视化方法技术方案

本发明专利技术涉及一种语音可视化系统及语音可视化方法，该语音可视化系统包括说话人运动数据采集模块、至少一语音数据采集模块、至少一语音识别模块、发音器官运动数据采集模块、三维说话人头像静态建模模块、运动控制参数变换模块、单音素发音器官运动模拟模块、连续发音运动模拟模块和显示模块。该语音可视化方法包括：同步采集说话人的说话人运动数据和语音数据；对语音数据进行处理；建立发音器官运动数据库；建立三维说话人头像静态三维模型；建立校准后的发音器官运动数据库；实现各个单音素的所有发音器官协同变形模拟；接收说话人的语音信息；模拟三维说话人头像发音运动；显示三维说话人头像发音运动的三维可视化信息。

【技术实现步骤摘要】

本专利技术涉及一种。
技术介绍
目前，生物模拟技术主要是对生物的外观行为特征的模拟，对生物体内部器官的模拟仅限于再现其静态状态。其不足之处在于不能模拟说话人内部发 音器官的真实动作。
技术实现思路
有鉴于此，有必要针对生物模拟技术不能模拟说话人内部发音器官的真实 动作的问题，提供一种能模拟说话人内部发音器官的真实动作的语音可视化系统。一种语音可视化系统，包括说话人运动数据采集模块、至少一语音数据采 集模块、至少一语音识别模块、发音器官运动数据采集模块、三维说话人头像 静态建模模块、运动控制参数变换模块、单音素发音器官运动模拟模块、连续 发音运动模拟模块和显示模块；所述说话人运动数据采集模块用于采集说话人 的说话人运动数据；所述至少一语音数据采集模块用于同步采集说话人的语音 数据；所述至少一语音识别模块用于从语音数据中提取音素序列文本、音素时 间长度信息、连续协同发音信息和连续音素音频数据；所述发音器官运动数据 采集模块用于根据各音素的时间长度对说话人运动数据进行处理，建立与音素 对应的发音器官运动数据库；所述三维说话人头像静态建模模块用于根据生理 解剖学结构数据建立可观测发音器官的各个软组织和硬组织的三维说话人头像 静态三维模型，提供可观测发音器官所有三维说话人头像静态三维模型数据， 以及所定义运动控制特征点的静态三维数据；所述运动控制参数变换模块将发 音器官运动数据库与三维说话人头像静态三维模型进行配准，获得校准后的发音器官运动数据库；所述单音素发音器官运动^t拟^^莫块利用三维动态变形^^莫拟 算法，加载从校准后的发音器官运动数据库中得到的运动控制参数，实现各个 单音素的所有发音器官协同变形模拟；所述连续发音运动模拟模块用于接收音 素时间长度信息和连续音素音频数据，采用发音器官协同运动与音素音频同步 算法实现三维说话人头像发音同步，结合说话人表情模拟三维说话人头像发音 运动；所述显示模块用于显示三维说话人头像发音运动的三维可视化信息。优选的，所述至少一语音数据采集模块的个数为一个，所述至少一语音识 别模块的个数为一个，该语音数据采集模块与该语音识别模块连接，该语音识 别模块与发音器官运动数据釆集模块连接。优选的，所述至少一语音数据采集模块包括第一语音数据采集模块和第二 语音数据采集模块，所述至少 一语音识别模块包括第 一语音识别模块和第二语 音识别模块；该第一语音数据采集模块与该第一语音识别模块连接，该第一语 音识别模块与发音器官运动数据采集模块连接；该第二语音数据采集模块与该 第二语音识别模块连接，该第二语音识别模块与连续发音运动模拟模块连接。优选的，所述语音识别模块包括声学特征参数提取模块、声学模型数据库 存储模块、语言模型数据库存储模块和解码模块；所述声学模型数据库存储模 块用于存储声学模型数据库；所述语言模型数据库存储模块用于存储语言模型 数据库；所述声学特征参数提取模块用于从语音数据中提取语音信号特征参 数；所述解码模块根据声学模型数据库和语言模型数据库，运用广度优先的搜 索算法对语音信号特征参数进行解码识别，输出音素序列文本、音素时间长度 信息、连续协同发音信息和连续音素音频数据。此外，还提供一种语音可视化方法。一种语音可视化方法，包括同步采集说话人的说话人运动数据和语音数 据；对语音数据进行处理；建立发音器官运动数据库；建立三维说话人头像静 态三维模型；建立校准后的发音器官运动数据库；实现各个单音素的所有发音 器官协同变形模拟；接收说话人的语音信息；模拟三维说话人头像发音运动； 显示三维说话人头像发音运动的三维可视化信息。优选的，所述建立发音器官运动数据库包括定义控制各发音器官变形运动的特征点；提取面部特征点二维参数；提取口腔内部特征点二维参数；建立 发音器官运动数据库。优选的，所述建立校准后的发音器官运动数据库包括获取各特征点的静 态数据；获得特征参数变换矩阵；获得校准后的发音器官运动数据库。优选的，所述实现各个单音素的所有发音器官协同变形模拟包括对发音 器官进行分类；对各类发音器官分别进行运动^t拟；实现发音器官协同变形模 拟。优选的，所述对发音器官进行分类包括根据三维说话人头像模型和发音 器官的生理物理属性将发音器官分为软组织类发音器官、开合类发音器官和固 定类发音器官。优选的，所述对各类发音器官分别进行运动模拟包括对软组织类发音器 官采用基于位移的算法进行运动模拟或者采用基于物理的算法进行运动模拟； 对开合类发音器官建立局部旋转坐标系，根据校准后的发音器官运动数据库进 行转开合运动模拟；对固定类发音器官，保持运动不变。上述语音可视化系统利用语音可视化技术，采用计算机图形学的变形运动 模拟方法和高识别准确率的自动语音识别技术，能模拟说话人内部发音器官的 真实动作。通过视觉和听觉两类信息的有机融合，全面模拟人类语言发音的过 程，可以真实地反映发音器官的运动情况，有效地提升语言感知的程度。附图说明图l是语音可视化系统的示意图。图2是第一语音识别模块的示意图。图3是发音器官运动数据采集模块的工作流程图。图4是运动控制参数变换模块的工作流程图。图5是单音素发音器官运动模拟模块的工作流程图。具体实施例方式图1是语音可视化系统的示意图。语音可视化系统100包括说话人运动数据采集模块101、第一语音数据采集模块102、第一语音识别模块103、发音器 官运动数据采集模块104、三维说话人头像静态建模模块105、运动控制参数变 换模块106、单音素发音器官运动模拟模块107、第二语音识别模块109、连续 发音运动模拟模块110和显示模块111。说话人运动数据采集模块101用于采集说话人运动数据。说话人运动凄t据 可以是二维数据或三维数据。说话人运动数据可以通过对i兌话人的正面和正交 侧面进行录像，以及对说话人进行X光透像(或者进行核》兹共振成像)的方法 获得。或者利用运动捕捉技术对说话人面部和唇部的特征点进行运动跟踪，直 接获取说话人运动数据。或者利用三维电磁发音记录仪(Electromagnetic Articulography)对说话人进行采样，直接获取说话人运动数据。第一语音数据采集模块102用于采集说话人的语音数据(自然连续语音)。 说话人的语音数据可以通过对说话人的语音进行录音的方法获得。上述说话人运动数据采集和语音数据采集是同步进行的。第一语音识別模块103用于从语音数据中提取音素序列文本、音素时间长 度信息、连续协同发音信息和连续音素音频数据。发音器官运动数据采集模块104用于根据各音素的时间长度对说话人运动 数据进行处理，建立与音素对应的发音器官运动数据库。三维说话人头像静态建模模块105用于根据生理解剖学结构数据建立可观 测发音器官的各个软组织和硬组织的三维说话人头像静态三维模型，提供可观 测发音器官所有三维说话人头像静态三维模型数据，以及所定义运动控制特征 点的静态三维数据。发音器官包括上下唇、上下齿、齿龈、下颚、软颚、小 舌、舌尖、舌面和舌根。其中上齿、齿龈、软颚和舌根为发音动作中不变形的 器官，而上下唇、下齿、下颚、舌尖、舌面和小舌为运动变形器官。运动控制参数变换模块106将发音器官运动数据库与三维说话人头像静态 三维模型进行配准，获得校准后的发音器官运动数据库。本文档来自技高网...

【技术保护点】
一种语音可视化系统，其特征在于：包括说话人运动数据采集模块、至少一语音数据采集模块、至少一语音识别模块、发音器官运动数据采集模块、三维说话人头像静态建模模块、运动控制参数变换模块、单音素发音器官运动模拟模块、连续发音运动模拟模块和显示模块；所述说话人运动数据采集模块用于采集说话人的说话人运动数据；所述至少一语音数据采集模块用于同步采集说话人的语音数据；所述至少一语音识别模块用于从语音数据中提取音素序列文本、音素时间长度信息、连续协同发音信息和连续音素音频数据；所述发音器官运动数据采集模块用于根据各音素的时间长度对说话人运动数据进行处理，建立与音素对应的发音器官运动数据库；所述三维说话人头像静态建模模块用于根据生理解剖学结构数据建立可观测发音器官的各个软组织和硬组织的三维说话人头像静态三维模型，提供可观测发音器官所有三维说话人头像静态三维模型数据，以及所定义运动控制特征点的静态三维数据；所述运动控制参数变换模块将发音器官运动数据库与三维说话人头像静态三维模型进行配准，获得校准后的发音器官运动数据库；所述单音素发音器官运动模拟模块利用三维动态变形模拟算法，加载从校准后的发音器官运动数据库中得到的运动控制参数，实现各个单音素的所有发音器官协同变形模拟；所述连续发音运动模拟模块用于接收音素时间长度信息和连续音素音频数据，采用发音器官协同运动与音素音频同步算法实现三维说话人头像发音同步，结合说话人表情模拟三维说话人头像发音运动；所述显示模块用于显示三维说话人头像发音运动的三维可视化信息。...

【技术特征摘要】

【专利技术属性】
技术研发人员：王岚，陈辉，欧阳建军，
申请(专利权)人：深圳先进技术研究院，
类型：发明
国别省市：94[中国|深圳]