一种基于fastText和CRF的音乐领域命令理解方法技术

本发明专利技术涉及一种基于fastText和CRF的音乐领域命令理解方法，包括以下步骤：步骤1：训练字向量，得到预训练好的字向量和训练数据集合；步骤2：对从所述步骤1中所得的训练数据集合进行fastText模型训练，从预训练好的字向量得到所有字的向量，进行求和平均操作，得到句子语义向量C，把C输入模型，通过和计算得到意图识别结果y；步骤3：将输入样本输入为序列，对输入序列每个字进行字性标注，输出得到句子标注序列标签，然后根据标注序列标签提取出对应的音乐实体；步骤4：对步骤3中所得的所述目标序列标签进行处理，得到对应的音乐领域实体。本发明专利技术通过fastText技术判断用户话语是否含有音乐领域相关意图，结合CRF进行相关参数提取，解决音乐领域相关参数提取错误导致意图判断错误的问题。

【技术实现步骤摘要】
一种基于fastText和CRF的音乐领域命令理解方法
本专利技术涉及多媒体分析
，具体涉及一种基于fastText和CRF的音乐领域命令理解方法。
技术介绍
对话系统是人机交互的一种相当重要的形式，也是自然语言处理过程中的一个关键的研究方向。在音乐领域，能否正确解析出用户话语命令是完成用户指定任务的基础，在很多地方比如语音助手、音乐平台都有很丰富的应用场景。对于用户某条话语，条件随机场(CRF)模型并不能很好的区分其是否表达了一个音乐领域内的意图。CRF一般在序列标注、命名实体识别过程表现较好，但在识别音乐实体之前，需要判断此用户话语是否表达音乐意图，这样做有二个好处，一是若判断用户话语没有表达音乐意图，则不需要进行后续实体提取操作，因为此时已经完成无音乐意图解析操作，二是若不做判断，则很有可能一段用户话语没有表现音乐意图，但是被错误的提取出了音乐实体，比如“刘德华的老婆是谁”这句用户话语，若不先进行音乐意图判断操作，则很有可能将“刘德华”识别成歌手实体，从而这句话也被解析成音乐意图，而实际上这句话并没有表达音乐领域的相关意图。本专利技术提出了一种基于快速文本分类(fastText)模型和条件随机场(CRF)模型的方法，fastText模型的目标为判断用户的话语是否表达了一个音乐领域的意图。若该话语确实表达了音乐领域的意图，那么为了完成该意图，CRF模型目标是提取该话语的相关参数(话语中的相关参数也被成为”槽”)，从而本专利技术能更好的理解音乐领域用户话语的命令。现有技术大多数把这个问题定义成一个序列标注问题，输入为句子序列，输出目标为句子标注序列标签，然后根据标注序列标签就能提取出对应的音乐实体。过程如下：定义X为输入句子随机变量序列，Y为目标标注随机变量序列，s(yi,x,i)是状态特征，状态特征依赖于当前位置，t(yi-1,yi,x,i)为转移特征，转移特征依赖当前和前一个位置，其中yi,yi-1是标注序列的标签，x是输入序列，i表示输入位置。我们这里统一表示状态特征和转移特征，(1)假设有K1个转移特征，K2个状态特征，K＝K1+K2，则可以用以下公式表示：(2)然后对转移特征与状态特征在各个位置i求和，记作：其中n表示序列长度。用wk表示特征fk(y,x)的权值，即：CRF的全局特征可以定义为此时条件随机场可以表示成：其中对于训练样本集合我们要优化的目标为最大化其中M为训练集数目大小。通过训练集，我们调整参数W从而使得优化目标取得最大值。模型训练完成之后，即特征向量权重W求解完成，对于新来输入序列x，我们通过求解以下式子得到预测标签序列，从而得到音乐实体：得到y’。即是目标序列标签，根据目标序列标签提出实体。现有技术大多数直接提取该话语的音乐领域相关参数，这样做很有可能一段用户话语没有表现音乐意图，但是被错误的提取出了音乐实体，比如“刘德华的老婆是谁”这句用户话语，若不先进行音乐意图判断操作，则很有可能将“刘德华”识别成歌手实体，从而这句话也被解析成音乐意图，而实际上这句话并没有表达音乐领域的意图。而这种类型的用户话语是相当多的，现有技术不能很好的处理这种情况，从而造成大量误判。
技术实现思路
本专利技术目的是：提供一种基于fastText和CRF的音乐领域命令理解方法。本专利技术的技术方案是：一种基于fastText和CRF的音乐领域命令理解方法，其特征在于：包括以下步骤：步骤1：训练字向量，得到预训练好的字向量和训练数据集合；步骤2：对从所述步骤1中所得的训练数据集合进行fastText模型训练，从预训练好的字向量得到所有字的向量，进行求和平均操作，得到句子语义向量C，把C输入模型，通过h＝tanh(Wc·C+bc)和y＝softmax(U·h+bh)计算得到意图识别结果y；其中Wc，U为神经网络的权重矩阵,softmax，tanh为激活函数，bc和bh为神经网络的偏置，y为输出结果；步骤3：将输入样本输入为序列，对输入序列每个字进行字性标注，输出得到句子标注序列标签，然后根据标注序列标签提取出对应的音乐实体，所述提取出对应的音乐实体的过程为：定义X为输入样本随机变量序列，Y为目标标注随机变量序列，s(yi,x,i)为状态特征，状态特征依赖于当前位置，t(yi-1,yi,x,i)为转移特征，转移特征依赖当前和前一个位置，其中yi,yi-1是标注序列的标签，x是输入序列，i表示输入位置，K1为转移特征数量，K2为状态特征数量，K＝K1+K2，则可以用以下公式表示：然后对转移特征与状态特征在各个位置i求和，记作：其中n表示序列长度，用wk表示特征fk(y,x)的权值，即：CRF的全局特征可以定义为此时条件随机场可以表示成：其中训练样本集合则优化的目标为其中M为训练集数目大小，调整参数W从而使得优化目标取得最大值，模型训练完成之后，即特征向量权重W求解完成，对于新来输入序列x，通过求解以下式子得到预测标签序列，从而得到目标序列标签：步骤4：对步骤3中所得的所述目标序列标签进行处理，得到对应的音乐领域实体。进一步的：所述步骤1中的训练字向量为采用word2vec工具用维基百科整个中文语料训练出预训练好的字向量。进一步的：所述的训练中，设置一个窗口大小为z，每次取z个字，把它们的字向量求平均作为输入C，然后隐藏h＝tanh(Wc·C+bc)，最后通过全连接层得到y＝softmax(U·h+bh)，其中Wc，U为神经网络的权重矩阵,softmax，tanh为激活函数，bc和bh为神经网络的偏置，y为输出结果。其要优化的目标为L＝ylogy'+(1-y)log(1-y')，其中y'为真实标签植。与现有技术相比，本专利技术的优点是：本专利技术通过fastText技术对用户话语进行判断，先判断是否含有音乐领域相关意图，若判断该话语表达了音乐领域相关意图，则使用CRF进行相关参数提取，若判断该话语没有表达音乐领域相关意图，则判断结束，不需要进行后续操作，这样就能解决后面音乐领域相关参数提取错误导致的意图判断错误的问题。附图说明下面结合附图及实施例对本专利技术作进一步描述：图1为本专利技术的流程图；下面结合实施例对本专利技术作进一步描述：具体实施方式实施例：步骤1：训练过程：训练数据集类型如下：请播放周杰伦的稻香artist：周杰伦，song：稻香刘德华的老婆是谁No-music对于训练数据集合，我们分别训练fastText和CRF模型：(1)fastText模型训练过程：对于训练集中的No-music(无音乐意图)，则标记为负样本标签0，否则标记为正样本标签1。即训练数据变为以下格式：请播放周杰伦的稻香1刘德华的老婆是谁0构建好训练集之后，Fasttext模型训练过程如上。预测过程：对于新的话语句子：唱一首稻香，首先分字处理：唱一首稻香，然后从预训练好的字向量得到所有字的向量，进行求和平均操作，得到句子语义向量C。把C输入模型，通过h＝tanh(Wc·C+bc)和y＝softmax(U·h+bh)计算得到意图识别结果y。步骤2：CRF模型训练过程：在CRF模型训练过程中，数据格式变换成以下格式：请播放周杰伦的稻香OOOA-BA-IA-EOS-BS-E刘德华的老婆是谁OOOOOOOO对于每一条输入样本，输入为序列，输出目标也为序列本文档来自技高网...

【技术保护点】
1.一种基于fastText和CRF的音乐领域命令理解方法，其特征在于：包括以下步骤：步骤1：训练字向量，得到预训练好的字向量和训练数据集合；步骤2：对从所述步骤1中所得的训练数据集合进行fastText模型训练，从预训练好的字向量得到所有字的向量，进行求和平均操作，得到句子语义向量C，把C输入模型，通过h＝tanh(Wc·C+bc)和y＝softmax(U·h+bh)计算得到意图识别结果y；其中Wc，U为神经网络的权重矩阵,softmax，tanh为激活函数，bc和bh为神经网络的偏置，y为输出结果；步骤3：将输入样本输入为序列，对输入序列每个字进行字性标注，输出得到句子标注序列标签，然后根据标注序列标签提取出对应的音乐实体，所述提取出对应的音乐实体的过程为：定义X为输入样本随机变量序列，Y为目标标注随机变量序列，s(yi,x,i)为状态特征，状态特征依赖于当前位置，t(yi‑1,yi,x,i)为转移特征，转移特征依赖当前和前一个位置，其中yi,yi‑1是标注序列的标签，x是输入序列，i表示输入位置，K1为转移特征数量，K2为状态特征数量，K＝K1+K2，则可以用以下公式表示：

【技术特征摘要】
1.一种基于fastText和CRF的音乐领域命令理解方法，其特征在于：包括以下步骤：步骤1：训练字向量，得到预训练好的字向量和训练数据集合；步骤2：对从所述步骤1中所得的训练数据集合进行fastText模型训练，从预训练好的字向量得到所有字的向量，进行求和平均操作，得到句子语义向量C，把C输入模型，通过h＝tanh(Wc·C+bc)和y＝softmax(U·h+bh)计算得到意图识别结果y；其中Wc，U为神经网络的权重矩阵,softmax，tanh为激活函数，bc和bh为神经网络的偏置，y为输出结果；步骤3：将输入样本输入为序列，对输入序列每个字进行字性标注，输出得到句子标注序列标签，然后根据标注序列标签提取出对应的音乐实体，所述提取出对应的音乐实体的过程为：定义X为输入样本随机变量序列，Y为目标标注随机变量序列，s(yi,x,i)为状态特征，状态特征依赖于当前位置，t(yi-1,yi,x,i)为转移特征，转移特征依赖当前和前一个位置，其中yi,yi-1是标注序列的标签，x是输入序列，i表示输入位置，K1为转移特征数量，K2为状态特征数量，K＝K1+K2，则可以用以下公式表示：然后对转移特征与状态特征在各个位置i求和，记作：其中n表...

【专利技术属性】
技术研发人员：李贤，段礼强，乐雨泉，
申请(专利权)人：苏州亭云智能科技有限公司，
类型：发明
国别省市：江苏,32