基于语音信号的跨模态生物特征识别方法及系统技术方案

本发明专利技术提供一种语音信号的跨模态生物特征识别方法，其步骤：S1:获取包括待识别语音信号、多人的多模态生物特征信息；S2：针对每一种单一模态利用神经网络模型提取特征，获取声纹特征及对应的其它模态生物特征的固定维度的向量；S3：确认多模态生物特征的声纹特征向量与其它维度的特征向量是否来自同一个人，针对获得的多个并联而成的向量对以及相应的0或1标签，并进行监督分类训练，选择损失函数评估最优的模型和参数，输出0或1确认识别结果。通过输入为语音信号，系统凭借输入的语音信号在若干个候选人的其他模态的生物特征信号中，识别出该语音信号发音人的其他模态的生物特征信息。

Cross modal biometric recognition method and system based on speech signal

【技术实现步骤摘要】
基于语音信号的跨模态生物特征识别方法及系统
本专利技术本专利技术涉及一种生物特征识别方法及系统，尤其涉及一种基于语音信号的跨模态生物特征识别方法及系统。
技术介绍
随着人工智能技术在生物特征识别领域的广泛应用，人脸识别，声纹识别，指纹识别，虹膜识别，掌纹识别，步态识别等技术获得了很高的识别率以及大量的可以落地的应用场景。在现实生活中，我们对于要测试的生物特征信息，如人脸图片，语音片段，指纹，掌纹，虹膜图片等，都要预先拥有该人对应模态的注册数据。比如人脸识别，需要预先有注册人脸图片；声纹识别，需要预先有注册语音信号；指纹识别，需要有预先指纹图片；步态识别，需要有预先采集的注册步态视频。但在一些实际应用中，有时没有测试生物特征识别模态数据对应的注册数据。例如，有诈骗嫌疑人的电话录音，但没有其注册语音，所以无法开展声纹识别。但如果该诈骗嫌疑人的其他模态的生物特征信号被预先采集过，例如身份证照片。就可以利用电话录音数据来跨模态的识别哪张人脸图片时来自这个发音人的。同一个人的不同模态的生物特征数据存在较强的相关性，例如，通过听一段录音，我本文档来自技高网...

【技术保护点】
1.一种语音信号的跨模态生物特征识别方法，其特征在于，其步骤：/nS1:获取包括待识别语音信号、多人的多模态生物特征信息；/nS2：针对每一种单一模态利用神经网络模型提取特征，获取声纹特征及对应的其它模态生物特征的固定维度的向量；/nS3：确认多模态生物特征的声纹特征向量与其它维度的特征向量是否来自同一个人，步骤2中提取的声纹特征向量和其它模态生物特征向量并联成一个向量对；若声纹特征和其它维度的特征来自于同一个人，则该向量对的输出人为标签为1，若来自不同的两个人，则标签为0；/nS4：针对获得的多个并联而成的向量对以及相应的0或1标签，并进行监督分类训练，选择损失函数评估最优的模型和参数，输出...

【技术特征摘要】
1.一种语音信号的跨模态生物特征识别方法，其特征在于，其步骤：
S1:获取包括待识别语音信号、多人的多模态生物特征信息；
S2：针对每一种单一模态利用神经网络模型提取特征，获取声纹特征及对应的其它模态生物特征的固定维度的向量；
S3：确认多模态生物特征的声纹特征向量与其它维度的特征向量是否来自同一个人，步骤2中提取的声纹特征向量和其它模态生物特征向量并联成一个向量对；若声纹特征和其它维度的特征来自于同一个人，则该向量对的输出人为标签为1，若来自不同的两个人，则标签为0；
S4：针对获得的多个并联而成的向量对以及相应的0或1标签，并进行监督分类训练，选择损失函数评估最优的模型和参数，输出0或1确认识别结果。


2.如权利要求1所述的语音信号的跨模态生物特征识别方法，其特征在于，上述S2步骤中，利用神经网络模型提取所述待识别语音信号，把输入的所述待识别语音信号利用python工具包提取梅尔谱特征，搭建Resnet神经网络模型经网络模型，神经网络模型的输入是python程序工具包提取的梅尔谱向量，输出为固定维度128维的g-vector特征，g-vector特征是神经网络的输出。


3.如权利要...

【专利技术属性】
技术研发人员：潘成华，
申请(专利权)人：江苏网进科技股份有限公司，
类型：发明
国别省市：江苏;32