识别面试视频中关键词的方法、装置、设备及存储介质制造方法及图纸

本申请涉及神经网络领域，提供识别面试视频中关键词的方法、装置、设备及存储介质，方法包括：使用多个训练文本对所述多视角自训练神经网络模型进行训练，将采集的语音信号转换成待识别文本；从待识别文本中提取多个待识别词语，所述待识别词语为面试官反馈的是否标注的待识别词语；生成提示信息，显示提示信息和待识别词语，提示信息用于提示面试官对待识别词语做标注；利用多视角自训练神经网络模型计算各待识别词语为关键词的关键词概率；当关键词概率处于概率阈值的范围内时，将处于概率阈值的范围内的待识别词语均标记为关键词；向至少一个面试服务器发送关键词和通知消息。采用本方案，能够提高识别文本中关键词的正确率。

【技术实现步骤摘要】
识别面试视频中关键词的方法、装置、设备及存储介质
本申请涉及神经网络领域，尤其涉及一种识别面试视频中关键词的方法、装置、设备及存储介质。
技术介绍
随着信息技术的快速发展，AI技术已经被运用到各行各业。其中，人力资源领域就是使用较为广泛的典型领域。不论是图像模块，还是语音模块，都已经成为了AI技术快速发展的事实，尤其在语音模块，各类语音系统层出不穷，语音识别、语音转换、语音交互、语音合成等已逐渐走向成熟，这为语音技术的发展带来了前所未有的机遇。但是，现有的语音技术仅仅停留在粗略估算语音语义的阶段，虽然通过对比语音信号和发音者的视觉唇形的相似度来获取语音信号中的关键词可以识别出部分关键词，但是仍然不能准确定位到关键词中的细节部分，导致在很多情况下无法获取到精确信息，从而无法在更多领域推广和使用，尤其在视频面试领域。
技术实现思路
本申请提供了一种识别面试视频中关键词的方法、装置、设备及存储介质，能够解决现有技术中获取语音信号中发音者的关键词的准确率不高的问题。第一方面，本申请提供一种识别面试视频中关键词的方法，本文档来自技高网...

【技术保护点】
1.一种识别面试视频中关键词的方法，其特征在于，所述方法包括：/n将采集的多个训练文本输入到多视角自训练神经网络模型，以对所述多视角自训练神经网络模型进行训练，所述训练文本用于对所述多视角自训练神经网络模型训练；/n采集语音信号，调用语音识别系统，将所述语音信号转换成待识别文本；/n从所述待识别文本中提取多个待识别词语，所述待识别词语为面试官反馈的是否标注的待识别词语；/n生成提示信息，显示所述提示信息和待识别词语，所述提示信息用于提示面试官对待识别词语做标注；/n将所述多个待识别词语输入到所述多视角自训练神经网络模型，计算各待识别词语为关键词的关键词概率；/n将所述关键词概率与概率阈值比较，...

【技术特征摘要】
1.一种识别面试视频中关键词的方法，其特征在于，所述方法包括：
将采集的多个训练文本输入到多视角自训练神经网络模型，以对所述多视角自训练神经网络模型进行训练，所述训练文本用于对所述多视角自训练神经网络模型训练；
采集语音信号，调用语音识别系统，将所述语音信号转换成待识别文本；
从所述待识别文本中提取多个待识别词语，所述待识别词语为面试官反馈的是否标注的待识别词语；
生成提示信息，显示所述提示信息和待识别词语，所述提示信息用于提示面试官对待识别词语做标注；
将所述多个待识别词语输入到所述多视角自训练神经网络模型，计算各待识别词语为关键词的关键词概率；
将所述关键词概率与概率阈值比较，当所述关键词概率处于所述概率阈值的范围内时，将处于所述概率阈值的范围内的待识别词语均标记为关键词；
根据预设的面试服务器名单向所述面试服务器名单中的至少一个面试服务器发送所述关键词和所述通知消息，所述通知消息用于提示面试服务器及时上传最终面试结果。


2.根据权利要求1所述的方法，其特征在于，所述将采集的多个训练文本输入到多视角自训练神经网络模型，包括：
按照标注将训练文本分为第一训练文本和第二训练文本，所述第一训练文本为存在标注的训练文本，所述第二训练文本为无标注的训练文本；
依据编码规则将第一训练文本转换成第一词向量，将第二训练文本转换成第二词向量；
提取第一词向量的第一特征，以及提取第二词向量的第二特征；
将所述第一特征和所述第二特征输入到多视角自训练神经网络模型，分别计算得到所述第一特征对应的第一关键词概率、以及得到所述第二特征对应的第二关键词概率；
将所述第一关键词概率、所述第二关键词概率分别与预设的概率阈值比较；
当任一第一损失概率或第二损失概率低于预设的概率阈值的下限时，将该第一损失概率或第二损失概率设为新的概率阈值的下限；
当任一第一损失概率或第二损失概率高于预设的概率阈值的上限时，将该第一损失概率或第二损失概率设为新的概率阈值的上限。


3.根据权利要求1所述的方法，其特征在于，所述提取第一词向量的第一特征，以及提取第二词向量的第二特征，包括：
将所述第一词向量和所述第二词向量分别输入GRU编码器；
在GRU编码器中对第一词向量、第二词向量分别进行转换和特征提取操作，以得到所述第一词向量中的所述第一特征，以及所述第二词向量中的第二特征。


4.根据权利要求3所述的方法，其特征在于，所述在GRU编码器中对第一词向量、第二词向量分别进行转换和特征提取操作，以得到所述第一词向量中的所述第一特征，以及所述第二词向量中的第二特征，包括：
根据t-1时刻的隐藏层、t时刻的第一词向量、以及t时刻的第二词向量计算重置门和更新门；
根据所述重置门、t时刻的第一词向量和t时刻的第二词向量计算候选隐藏层；
根据所述候选隐藏层分别计算第一词向量和第二词向量中的隐藏层信息；
根据隐藏层信息提取第一词向量的第一特征、以及提取第二词向量的第二特征；其中，提取所述第一特征和所述第二特征的公式如下：
ht′＝σ(WOht)
其中，ht′为第一特征、第二特征，ht为隐藏层信息，WO为特征权重矩阵，是预设的矩阵，σ为计算函数。步骤(4)计算得到的第一特征、第二特征为关键词的特征。


5.根据权利要求2-4中任一项所述的方法，其特征在于，所述将所述第一特征和所述第二特征输入到多视角自训练神经网络模型，分别计算得到所述第一特征对应的第一关键词概率、以及得到所述第二特征对应的第二关键词概率，包括：
采用第一概率公式，通过SoftMax从主视角计算第一特征的第一概率，所述第一概率公式为：p1＝NN(ht')＝softmax(U·ReLU(W(ht'))+b)；其中，p1为第一概率，ht′为t时刻的第一特征，ReLU为激活函数，U、W为概率矩阵，是预设的矩阵，b为关键概率参数，是预设的常数，用于弥补第一关键概率计算的误差，softmax为计算函数；
从辅助视角利用损失函数调整所述第一概率得到所述第一关键词概率，所述第二关键词概率为：其...

【专利技术属性】
技术研发人员：金戈，徐亮，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东;44