一种基于多模态的欺骗检测方法技术

本发明专利技术涉及欺骗检测技术领域，其目的在于提供一种基于多模态的欺骗检测方法，包括：接收多模态数据，所述多模态数据包括待测用户的视频数据、文本数据和音频数据；分别对所述视频数据、文本数据和音频数据进行特征提取，得到对应的视频特征、文本特征和音频特征；对所述视频特征、所述文本特征和所述音频特征进行特征融合，得到融合后特征；将所述融合后特征输入多模态模型进行处理，得到欺骗检测结果。本发明专利技术的测谎准确度高，同时可进行非接触式测谎。谎。谎。

【技术实现步骤摘要】
一种基于多模态的欺骗检测方法


[0001]本专利技术涉及欺骗检测
，特别是涉及一种基于多模态的欺骗检测方法。

技术介绍

[0002]欺骗检测是计算机语言学、心理学、军事及情报学等各学科研究的重要方向，目前的欺骗检测方法大致分为以下两大类：一是基于言语线索的检测方法；具体地，基于言语线索的检测方法主要是通过分析语法以及词性等特征来检测被测用户所说的话为真话还是假话。研究发现基于语言探究和字数统计词典的心理语言学特征可用于测谎，并且说谎者会使用更多的负面情绪词。多个研究表明，不同的语言特征(字数、词性和句子统计特征)以及文本句法复杂性等都与说谎存在联系。
[0003]二是基于非言语线索的检测方法；具体地，该方法主要分为三类：基于生理、声音和视觉线索的检测方法。其中，基于生理的检测方法包括使用测谎仪、热成像方法测量被测用户的面部血流量和面部皮肤温度以及使用脑功能磁共振成像(Functional Magnetic Resonance Imaging，FMRI)测量被测用户的脑血流量等。然而，这些方法都需要被测用户配合，且设备昂贵，还需要操本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模态的欺骗检测方法，其特征在于：包括：接收多模态数据，所述多模态数据包括待测用户的视频数据、文本数据和音频数据；分别对所述视频数据、文本数据和音频数据进行特征提取，得到对应的视频特征、文本特征和音频特征；对所述视频特征、所述文本特征和所述音频特征进行特征融合，得到融合后特征；将所述融合后特征输入多模态模型进行处理，得到欺骗检测结果。2.根据权利要求1所述的一种基于多模态的欺骗检测方法，其特征在于：对所述视频数据进行特征提取，得到视频特征，包括：基于3D
‑
CNN滤波器对所述视频数据进行滤波处理，得到滤波后特征图；对所述滤波后特征图进行卷积处理，得到卷积后特征图；使用最大池化核对卷积后特征图进行池化处理，得到池化后特征图；将池化后特征图输入全连接层，然后基于softmax激活函数进行处理，得到视频特征。3.根据权利要求1所述的一种基于多模态的欺骗检测方法，其特征在于：对所述文本数据进行特征提取时，基于卷积神经网络实现；对所述文本数据进行特征提取，得到文本特征，包括：构建数据字典，通过所述数据字典将所述文本数据一一映射为向量编码；采用embedding层将所述向量编码映射至高维空间，得到所述文本数据中每句话的特征向量；将所述特征向量输入CNN层，通过一层卷积层进行卷积处理，再通过一层最大池化层进行池化处理，得到语句特征；将所述语句特征输入全连接网络，然后基于ReLU激活函数进行处理，得到文本特征。4.根据权利要求1所述的一种基于多模态的欺骗检测方法，其特征在于：对所述音频数据进行特征提取，得到音频特征，包括：从音频数据中去除背景噪声，得到除噪后音频数据；使用z标准化对所述除噪后音频数据进行语音归一化，得到归一化处理后音频数据；对所述归一化处理后音频数据进行高维音频特征提取处理，得到高维音频特征；将所述高维音频特征进行降维处理，得到音频特征。5.根据权利要求1所述的一种基于多模态的欺骗检测方法，其特征在于：采用哈达玛积对所述视频特征、所述文本特征和所述音频特征进行特征融合。6.根据权利要求5所述的一种基于多模态的欺骗检测方法，其特征在于：采用哈达玛积对所述视频特征、所述文本特征和所述音频特征进行特征融合，得到融合后特征，包括：将所述视频特征、所述文本特征和所述音频特征都转换为指定维度的矩阵...

【专利技术属性】
技术研发人员：宋彬，刘俊杰，秦浩，涂学峰，
申请(专利权)人：灵图数据杭州有限公司，
类型：发明
国别省市：