大规模生理发音数据处理中声道的形态规范方法技术

本发明专利技术公开了一种大规模生理发音数据处理中声道的形态规范方法，该方法包括步骤：首先是模板的建立，然后是标志点的标定，最后是根据模板和说话人模型中标志点的对应关系确定各自薄板样条函数的参数。与现有技术相比，本发明专利技术和传统的利用直线化的标准方法相比，通过对不同发音人的声道进行形态上的规范，来实现生理发音数据的规范的同时，却还能保持生理发音的运动特性和空间位置关系。

【技术实现步骤摘要】

本专利技术涉及语音发音形态学分析处理领域，特别是涉及一种对网络协议的安全缺陷建模技术。本专利技术属于语音发音形态学分析处理领域。在语音生理发音研究过程中，由于实验者之间声道形态的差异使得对生理发音的运动本质特征的研究及建模十分困难。尤其是在对于大规模数据处理时，难以手工完成对于不同说话人的数据规范化。所以，提出了一种基于薄板样条函数的标准化声道形状的方法。和广泛使用的直线化标准化方法相比，的方法可以在保持实验者的个性特征的前提下有效的减少形态上的差异。本方法对于处理大规模生理发音数据有非常重要的作用。
技术介绍
语音学是对人类语言发音进行研究的学科。主要的研究内容有两方面，一方面是研究发音器官在生理发音过程中作用的生理发音语音学，另一方面是研究语音声学特性的声学语音学。早期的语音学更多的研究语音的声学特性，如今，也有越来越多的研究人员开始从事生理发音过程中发音器官机理的研究。然而，研究人员并没有像在声学语音研究过程中那样，充分的利用生理发音语音数据库进行试验。除了获得生理发音数据比较困难外，还因为不同实验者之间声道形状存在着个体的差异，要想消除这些差异必须实现声道形状形态上的标准化，然而在生理发音的研究中标准化的技术依然是个瓶颈。因此在语音生理发音的研究中，为了减少不同说话对象的形态学上的差异将不同的说话者生理发音数据进行规范化对于挖掘隐藏在不同说话人背后的发音本质和运动特性是个必不可少的过程。使用的规范化方法规范后，生理发音模型不仅减少个体之间形态差异的同时还保留了发音器官在生理发音过程时的运动特性。方便进行发音的模拟。因为在发音的过程中声道的形态改变程度非常大，所以仅通过简单刚性物体的仿射变换来对声道进行规范化是很困难的。目前，研究生理发音的学者已经提出了几种声道规范化的方法，然而都是基于直线化的方法。Bechman等人采用直线化声道壁的方法对MRI记录的数据进行坐标的变换，从而实现数据的规范化。Hashi等人将生理发音中发元音时的声道运动形态标准化后，形成了 X光数据库。以上这两种方法都通过对上颚壁轮廓曲线直线化的方法来实现声道在长度上的标准化，虽然使用直线化的方法可以减少说话人之间的差异，但是根据试验中的数据显示，不同说话人之间的形态差异不仅与声道长度有关，还与声道前后腔的容积大小息息相关。将声道直线化的方法不仅在标准化之后丢失上颚和舌头表面两条轮廓曲线的空间位置相对关系，而且丢失了不同发音者声道形态差异的非线性关系。尤其是对在声道局部高度形变位置采集到的数据来说，将丢失重要的非线性关系，甚至增大了个体数据在X轴方向的差异。在图像校准和图形匹配领域中，大家广泛使用一种基于薄板样条映射转换函数的非刚性规范化方法，它可以有效的解决上述直线化方法规范化过程中出现的问题。由于以前的规范方法都是采用直线化来实现声道的规范化，这些方法中存在生理发音空间的相对位置和非线性运动特性丢失的缺陷。因此，为了避免声道形态信息的丢失，正因为如此，本研究提出了一个基于薄板样条函数的方法来对不同发音者之间的EMMA生理发音数据进行规范。使用了三个发音者的EMMA生理发音数据，通过对三个人的上颚和舌头轮廓形状平均，而获得规范化声道的模板。接着利用现有的一个网格系统来分别对三个说话者生理发音空间和平均得到的声道模板生理发音空间进行标志点地标定。然后由每个说话人发音空间标志点和模板空间中标志点的对应关系确定薄板样条变换函数，由此就可以利用这个薄板样条函数进行生理发音数据的坐标变换，从而实现规范化
技术实现思路
基于上述现有技术存在的问题，本专利技术提出了一种，确定每个发音者生理发音空间到模板生理发音空间坐标变换各自对应的薄板样条函数，用这个方法保留上颚和舌头间发音空间上的相对位置，同时也保留其发音过程中器官的非线性运动特性；最终，通过规范化使得个体间声道的形态差异的减少。，使用基于薄板样条映射转换函数的实现非刚性标准化方法解决上述直线化方法标准化过程中的缺陷问题。正因为如此，本专利技术提出了一种，其特征在于，该方法包括以下步骤步骤一，从生理发音数据库中获得多组上颚和舌头表面轮廓线条数据，依据该数据得到生理发音过程中声道的平均形状建立本方法的多组模板；步骤二、利用网格系统对前一步骤的多组模板的声道形状中的标志点进行标注，具体做法首先，依据生理发音数据库中所有元音生理发音的数据计算舌头表面轮廓曲线的平均形状，然后再由数据库中所有舌表面的数据计算出舌头表面中心点的平均位置；依据舌头表面轮廓曲线的平均形状和舌表面中心点平均位置确定网格系统；将得到的整个网格系统分割成十个同样大小的扇区，使十个扇区覆盖整个生理发音过程中声道运动的空间，并且每个扇区的边分别和上颚曲线、中位曲线、舌表面曲线以及舌表面之下曲线相交，从而到44个相交的点，将这44个点就作为声道的标注点；步骤三、利用上述标注点与生理发音数据库中原始点之间一一对应关系来确定薄板样条函数参数，实现生理发音数据处理中声道的形态规范，与现有技术相比，本专利技术和传统的利用直线化的标准方法相比，通过对不同发音人的声道进行形态上的规范，来实现生理发音数据的规范的同时，却还能保持生理发音的运动特性和空间位置关系；有利于对发音过程中器官的运动本质进行分析，而不必考虑个体之间的差异。附图说明图I为本专利技术的三个实验者和模板的标志点；图2为规范化之前的原始数据，每个子图显示其中一个元音的数据；图3为规范化之后的数据；图4为使用直线化方法规范化声道之后的数据；图5为实验者原始数据和规范化数据的规范差比较图6为每个实验者标准化前和标准化后的元音生理发音图像具体实施例方式本专利技术提出了一个基于薄板样条映射转换函数的方法来解决实现不同实验者之间的EMMA数据的规范化。使用了三个发音者的EMMA数据，通过对三个人的上颚和舌头轮廓形状平均，而获得标准化的声道模板。接着利用现有的一个网格系统来分别对三个说话者发音空间和平均得到的声道模板空间标志点进行标定。然后由每个说话人发音空间标志点和模板空间中标志点的对应关系确定薄板样条变换函数，由此就可以利用这个薄板样条函数进行坐标上变换，从而实现规范化。以下结合附图及较佳实施例，对依据本专利技术提供的具体实施方式、结构、特征及其功效，详细说明如下。要想确定基于薄板样条函数的标准化方法需要经过三个步骤首先是模板的建立，然后是标志点的标定，最后是根据模板和说话人模型中标志点的对应关系确定各自薄板样条函数的参数。 模板建立本专利技术中的利用了来自NTT的EMMA数据库，其中包括了三个发音者的生理发音和声学语音的数据，即EMMA数据库。数据库中电磁发音记录仪捕获的声道轮廓的图像数据，对三个发音者上颚和舌头表面轮廓曲线进行平均，去除个体之间声道的形态差异，从而得到声道形态上的平均轮廓，作为规范化方法中的参照模板。标志点标定由于EMMA记录的数据是二维的，并不像MRI和X射线等图像记录系统一样记录的是三维的发音数据而且可以很清楚的捕获生理发音过程中声道器官在空间上的形变运动。Beautemps等人于1995年提出的从中失轮廓和共振峰频率中提取出的声道面积函数作为元音和摩擦音模型，为了解决这个问题，我们使用上述模型修改后得到的 一种网格系统来分别对三个实验者和模板的声道空间进行标志点标注，来准确的确定生本文档来自技高网...

【技术保护点】
一种大规模生理发音数据处理中声道的形态规范方法，其特征在于，该方法包括以下步骤：步骤一，从生理发音数据库中获得多组上颚和舌头表面轮廓线条数据，依据该数据得到生理发音过程中声道的平均形状建立本方法的多组模板；步骤二、利用网格系统对前一步骤的多组模板的声道形状中的标志点进行标注，具体做法：首先，依据生理发音数据库中所有元音生理发音的数据计算舌头表面轮廓曲线的平均形状，然后再由数据库中所有舌表面的数据计算出舌头表面中心点的平均位置；依据舌头表面轮廓曲线的平均形状和舌表面中心点平均位置确定网格系统；将得到的整个网格系统分割成十个同样大小的扇区，使十个扇区覆盖整个生理发音过程中声道运动的空间，并且每个扇区的边分别和上颚曲线、中位曲线、舌表面曲线以及舌表面之下曲线相交，从而到44个相交的点，将这44个点就作为声道的标注点；步骤三、利用上述标注点与生理发音数据库中原始点之间一一对应关系来确定薄板样条函数参数，实现生理发音数据处理中声道的形态规范，具体算法包括：假设声道二维坐标系中有n个坐标点，薄板样条的曲翘可由2(n+3)个参数描述，这些参数由6个全局线性参数以及n个标志点的共2n个非线性参数组成，其中一半是x轴方向的参数描述，另一半是y轴方向的参数描述。这2(n+3)个参数可由[7]中提到的线性系统确定。假设表示平面上n个标志点，本实验中是44个标志点的情况。这些标志点的坐标带入薄板样条函数求得的对应的函数值是可见薄板样条差值函数f(x，y)表示的是的一个映射关系。薄板样条差值函数定义如下：f(x,y)=a1+a2x+a3y+Σi=1nwiri2lnri2---(1)上述的等式(1)，a1+a2x+a3y是线性变换，是非线性变换；其中r含义如下代表每个发音者空间中将要进行变换的点，相对于各个标志点的距离平方，x和y分别代表薄板样条f(x，y)中即插入薄板样条函数将要进行变换的点的坐标。等式(1)是以各个标志点坐标为负载中心在无限空间范围内薄板形变的等式。薄板在以为负载中心的情况下的权值为wi。薄板的样条插值函数由两部分构成；一部分由前三个元素描述的线性变化，剩下的部分是描述样条曲翘的非线性变化。通过使函数f差值函数的弯曲能量Ef能达到最小的限定条件，以及将标志点的坐标一一对应关系来确定a1,a2,a3和wi的值，从而确定薄板样条函数。其中Ef定义如下：式(2)代表弯曲能量，可以看出当代表弯曲能量的Ef最小时，f(x，y)进行的变换将达到最低的扭曲程度，接近于薄板平面上的变换。以下是三个约束条件：Σi=1nwi=0---(3)Σi=1nx^iwi=0---(4)Σi=1ny^iwi=0---(5)约束条件(3)表明所有应用在薄板上的负载的和应该是零。这要求薄板在强制负载的情况下保持静止而不是运动。约束(4)和(5)提出的要求是当在薄板强加负载且不旋转的情况下x轴和y轴各自方向的运动是零。TPS参数向量a包含a1,a2和a3三个分量，向量w包含若干个wi分量，这两个向量可以通过下面的线性方程计算得到：APPT0wa=v0---(6)其中其中n等于标志点的个数，j等于需要变换的原始数据坐标点的个数，由于每个需要变换的坐标点都要以不同的标志点为中心求解负载，所以A中是n×m个rij。矩阵P的第i行是一维三元向量O是3×3的零矩阵。在等式（6）的最右边的0是一维三元的零向量。w,a和v是分别由wi，a1,a2,a3和vi分量组成的一维向量。等式最左边的(n+3)×(n+3)矩阵接下来用K表示。参考给定的每个实验者EMMA数据的标志点(x′,y′)与模板中定义的标志点对应关系，的重点是EMMA数据的坐标到模板坐标系中对应坐标的映射。所以关心的是由多对控制点定义的薄板样条函数经过变形得到的2D点。为此，用TPS函数分别对数据的x坐标和y坐标进行映射。从等式6可以推导出薄板样条到映射的曲翘变换，可以通过下述公式恢复：wxwyaxay=K-1x^′y^′00---(7)其中和是分别由从和分量组成的一维向量。wx和ax是x轴的参数，wy和ay是y轴的参数。点(xj,yj)到坐标的转换由以下公式求得：x′y′=BQwxwyaxay---(8)其中Bji=((xj-x^i)2+(yj-y^i)2)ln((xj-x^i)2+(yj-y^i)2),i=1,...,n,j=1,...,m.Q矩阵的第j排为向量(1,xj,yj)，结果中向量x′和y′的第j排是将x和y带入带入公式...

【技术特征摘要】

【专利技术属性】
技术研发人员：魏建国，陈龙，党建武，宋婵，王宇光，
申请(专利权)人：天津大学，
类型：发明
国别省市：