一种自闭症语音特征辅助识别机器人及方法技术

本发明专利技术公开了一种自闭症语音特征辅助识别机器人及方法，所述机器人包括：自闭症语音特征识别模型构建及训练单元，利用长短记忆神经网络和卷积神经网络构建自闭症语音特征识别模型，以量化的语音特征作为传感信号输入模型，对语音特征在传感信号的表现特征进行学习，并利用反向传播法对所述模型进行训练，实现分类器在网络权重的优化，最终获得可用于语音信号识别的自闭症语音特征识别模型；语音采集单元，采集机器人与被测者互动过程中被测者的语音信息；语音信息预处理单元，用于将采集的语音信息进行预处理，将语音特征量化为M维的语音特征向量；语音特征识别单元，利用训练好的模型，对经预处理后的语音信号进行语音特征识别。征识别。征识别。

【技术实现步骤摘要】
一种自闭症语音特征辅助识别机器人及方法


[0001]本专利技术涉及语音情感识别
，特别是涉及一种基于LSTM(Long Short-Term Memory，长短期记忆网络)与CNN(Convolutional Neural Networks，卷积神经网络)的自闭症语音特征辅助识别机器人及方法。

技术介绍

[0002]孤独症谱系障碍(autism spectrum disorder，ASD)又称自闭症，已经越来越被社会所关注。在中国，0至14岁的自闭症儿童患者数量在300万至500万之间。目前对孤独症的评估方法，主要集中在语言交流障碍、社会交往障碍、重复刻板行为三方面。对ASD进行有效的、准确的评估需要临床经验丰富的专业医疗人员对儿童进行观察，并一同进行试验。这样的方法需要大量的人力对数据进行整理，效率低下并存在一定的人为主观性，评估结果的误差会比较大。
[0003]另一方面，现有的语音情感识别方法中，主要有基于深度信念网络的语音情感识别方法、基于长短期记忆网络(LSTM)的语音情感识别方法和基于卷积神经网络(CNN)的语音情感识别方法。上述三种方法中，存在的主要缺点是无法兼顾各个网络模型的优点。比如，深度信念网络可以将一维序列用作输入，但是无法利用序列前后间的相关性；长短期记忆网络虽然能够利用序列前后间的相关性，但是提取的特征维数较高；卷积神经网络无法直接对语音序列进行处理，需先对语音信号进行傅里叶变换，将其转换为频谱后作为输入。传统的语音情感识别方法在特征提取和分类发展前景小，以及现有的基于深度学习的语音情感方法网络结构比较单一。
[0004]综上所述，现有自闭症筛查技术中，人工筛查依然是主导，但人工筛查需要花费大量的人力整理数据，并且人工筛查存在一定的主观性，因此筛查结果有一定的误差，而现有自闭症语音特征识别技术中，只是单纯将语音里的内容转换成文字内容，这种方法只适合低功能自闭症对象，并不适合高功能自闭症对象；另一方面，现有语音情感识别技术中，大部分人使用支持向量机(SVM)、隐马尔可夫模型(HMM)进行语音识别，但是模型精度不高，容易受噪声的影响。

技术实现思路

[0005]为克服上述现有技术存在的不足，本专利技术之目的在于提供一种自闭症语音特征辅助识别机器人及方法，以辅助解决现有自闭症筛查中存在的人工筛选误差大、效率低的问题，并提高了语音特征识别的鲁棒性和准确性。
[0006]为达上述及其它目的，本专利技术提出一种自闭症语音特征辅助识别机器人，包括：
[0007]自闭症语音特征识别模型构建及训练单元，利用长短记忆神经网络和卷积神经网络构建自闭症语音特征识别模型，以量化的语音特征作为传感信号输入所述自闭症语音特征识别模型，对语音特征在传感信号的表现特征进行学习，并利用反向传播法对所述自闭症语音特征识别模型进行训练，实现分类器在网络权重的优化，最终获得可用于语音信号
识别的自闭症语音特征识别模型；
[0008]语音采集单元，用于采集机器人与被测者互动过程中被测者的语音信息；
[0009]语音信息预处理单元，用于将采集的语音信息进行预处理，将语音特征量化为M维的语音特征向量；
[0010]语音特征识别单元，用于利用训练好的自闭症语音特征识别模型，对经所述语音采集单元采集、所述语音信息预处理单元处理后的语音信号进行语音特征识别。
[0011]优选地，所述所述自闭症语音特征识别模型由输入层、LSTM网络层、BN1层、CNN网络层、池化层、BN2层、Flatten层、dropout层、全连接层、输出层依次连接。
[0012]优选地，所述LSTM网络用于对长序列语音进行处理，其由LSTM1层、LSTM2层依次连接，所述LSTM1层与所述LSTM2层激活函数均为Tanh，所述LSTM网络输出为语音特征序列。
[0013]优选地，所述LSTM网络的LSTM1层和LSTM2层分别包括输出门、输入门、遗忘门，通过各个门的参数来控制输出信息输入门i
t
由当前输入数据x
t
和前一时刻单元输出h
t-1
决定，遗忘门f
t
控制历史信息的传递，输出门O
t
计算LSTM网络的输出值h
t
。
[0014]优选地，所述CNN网络为卷积层，将经过上层处理的特征向量和当前层的卷积核执行卷积运算，增强原始信号的特征并减少噪声，最后由激活函数给出卷积计算结果。
[0015]优选地，所述CNN网络由conv1D1层、池化层、conv1D2层依次连接。
[0016]优选地，所述语音信息预处理单元进一步包括：
[0017]预加重处理模块，用于对输入的语音信号进行预加重；
[0018]分帧加窗模块，用于将语音信号分段来分析其特征参数，分析出由每一帧特征参数组成的特征参数时间序列；
[0019]快速傅立叶变换模块，用于对每一帧信号，通过快速傅立叶变换得到对应的频谱；
[0020]三角带通滤波模块，用于将经过快速傅里叶得到的频谱通过一组Mel尺度的三角形滤波器组，得到Mel频谱；
[0021]计算对数能量模块，用于计算每一帧信号的对数能量，以区分清音和浊音、判断每一帧中的无声段和有声段；
[0022]离散余弦变换模块，用于将计算出的对数能量代入离散余弦变换公式，计算出L阶的MEL倒普参数C(n)。
[0023]优选地，所述预加重中语音通过的数字滤波器为：
[0024]H(z)＝1-μz-1
[0025]其中μ为预加重系数，z为一个复数，指的是语音信号的频率；
[0026]预加重网络的输出和输入的语音信号S(n)的关系为：
[0027][0028]其中a也为预加重系数。
[0029]优选地，所述分帧加窗模块用可移动的有限长度窗口进行加权的方式来实现的，加窗信号为：
[0030]S_W(n)＝S(n)*w(n)
[0031]窗函数为：
[0032][0033]为达到上述目的，本专利技术还提供一种自闭症语音特征辅助识别方法，包括如下步骤：
[0034]步骤S1，基于长短记忆神经网络和卷积神经网络构建自闭症语音特征识别模型，以量化的语音特征作为传感信号输入所述自闭症语音特征识别模型，对语音特征在传感信号的表现特征进行学习，并利用反向传播法对所述自闭症语音特征识别模型进行训练，实现分类器在网络权重的优化，最终获得可用于语音信号识别的自闭症语音特征识别模型；
[0035]步骤S2，采集机器人与被测者互动过程中被测者的语音信息；
[0036]步骤S3，将采集的语音信息进行预处理，将语音特征量化为M维的语音特征向量；
[0037]步骤S4，对经步骤S2采集、步骤S3处理后的语音信号利用训练好的自闭症语音特征识别模型进行语音特征识别。
[0038]与现有技术相比，本专利技术提供一种自闭症语音特征辅助识别机器人及方法，通过利用长短期记忆神经网本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种自闭症语音特征辅助识别机器人，包括：自闭症语音特征识别模型构建及训练单元，利用长短记忆神经网络和卷积神经网络构建自闭症语音特征识别模型，以量化的语音特征作为传感信号输入所述自闭症语音特征识别模型，对语音特征在传感信号的表现特征进行学习，并利用反向传播法对所述自闭症语音特征识别模型进行训练，实现分类器在网络权重的优化，最终获得可用于语音信号识别的自闭症语音特征识别模型；语音采集单元，用于采集机器人与被测者互动过程中被测者的语音信息；语音信息预处理单元，用于将采集的语音信息进行预处理，将语音特征量化为M维的语音特征向量；语音特征识别单元，用于利用训练好的自闭症语音特征识别模型，对经所述语音采集单元采集、所述语音信息预处理单元处理后的语音信号进行语音特征识别。2.如权利要求1所述的一种自闭症语音特征辅助识别机器人，其特征在于：所述所述自闭症语音特征识别模型由输入层、LSTM网络层、BN1层、CNN网络层、池化层、BN2层、Flatten层、dropout层、全连接层、输出层依次连接。3.如权利要求2所述的一种自闭症语音特征辅助识别机器人，其特征在于：所述LSTM网络用于对长序列语音进行处理，其由LSTM1层、LSTM2层依次连接，所述LSTM1层与所述LSTM2层激活函数均为Tanh，所述LSTM网络输出为语音特征序列。4.如权利要求3所述的一种自闭症语音特征辅助识别机器人，其特征在于：所述LSTM网络的LSTM1层和LSTM2层分别包括输出门、输入门、遗忘门，通过各个门的参数来控制输出信息输入门i
t
由当前输入数据x
t
和前一时刻单元输出h
t-1
决定，遗忘门f
t
控制历史信息的传递，输出门O
t
计算LSTM网络的输出值h
t
。5.如权利要求4所述的一种自闭症语音特征辅助识别机器人，其特征在于：所述CNN网络为卷积层，将经过上层处理的特征向量和当前层的卷积核执行卷积运算，增强原始信号的特征并减少噪声，最后由激活函数给出卷积计算结果。...

【专利技术属性】
技术研发人员：陈首彦，张铭焰，杨晓芬，赵志甲，朱大昌，
申请(专利权)人：广州大学，
类型：发明
国别省市：