本申请公开了一种谎言识别方法、装置、存储介质及处理器。涉及人工智能领域，该方法包括：获取目标对象在预设时段的人脸图像；使用预设掩码循环神经网络提取人脸图像的图像特征；获取目标对象在预设时段的语音信息；使用长短期记忆网络提取语音信息的语音特征；使用最大软分类对图像特征和语音特征进行分析，确定对目标对象的谎言识别结果，其中，最大软分类为使用多组数据通过机器学习训练出的，多组数据中每组数据均包括：图像特征和图像特征标识的谎言标签，语音特征中标识的谎言标签，谎言标签用于指示是否说谎。通过本申请，解决了相关技术中说谎检测的效果差的问题。相关技术中说谎检测的效果差的问题。相关技术中说谎检测的效果差的问题。
【技术实现步骤摘要】
谎言识别方法、装置、存储介质及处理器
[0001]本申请涉及人工智能领域领域，具体而言，涉及一种谎言识别方法、装置、存储介质及处理器。
技术介绍
[0002]人工智能在如何辨别说谎领域，通常是设定一些特定性问题，通过摄像头记录受访者回答问题的音视频。目前大多数研究是运用机器学习技术提取说谎的特征从而进行分类，这些说谎特征包括：
[0003]1、微表情
[0004]在回答特定问题时，说谎者会试图弥补说出的谎言，增强他们的信心，通常动作幅度微微增大，尤其表现在面部表情。比如，突然快速眨眼睛，耳朵会轻微的颤动，脸部肌肉抽搐，下意识摸鼻尖，头会不自觉的微微摆动，脚会抖动等行为特征。这些微表情持续时间短暂，有些变化幅度较为轻微，故没有经过特定训练的人们很难正确地检测出，而有时多个专家共同决策时也会有不一致的结果。故有的文献参考人脸识别方法，先从一段长视频中发生微表情变化的片段检测出，提取出发生微表情的图片，在图片上对皱眉、抬眉毛、抿嘴、嘟嘴、歪头五个行为标框并打上对应表情标签。他们的实验使用VGG的网络架构进行目标检测训练和分类，使用卷积网络对不同标签下的数据进行特征提取得到一张特征矩阵图；然后确定默认边界框，对每个边界框预测偏移量和分类概率；接着将不同特征图获得的边界框结合起来，执行非极大值抑制的方法过滤一部分重叠或者不正确的边框，生成最终的边界框集合；最后对边界框和表情类别进行分类。
[0005]2、语音检测
[0006]说谎语音从语音流的角度看，谎言信息一般隐藏于语音流的语音片段中而不易被发现；从信息流的角度看，谎言信息是语音信息流中的局部信息，说谎时由于紧张而使声道结构发生微妙变化，从而不同程度的影响着语义、韵律特征、共振峰以及心理声学特征等参数，因而使得能够体现说谎状态的语音特征呈现稀疏分布。
[0007]但是，在说谎检测上，有研究使用微表情进行分析检测说谎，需要对多个器官部位进行检测并进行分类，由于不是查找单个部位而是多个部位导致反应速度慢。而在语音检测上，语音信号中所能体现谎言的信息量较为薄弱，最后导致正确率比较低。
[0008]针对相关技术中说谎检测的效果差的问题，目前尚未提出有效的解决方案。
技术实现思路
[0009]本申请的主要目的在于提供一种谎言识别方法、装置、存储介质及处理器，以解决相关技术中说谎检测的效果差的问题。
[0010]为了实现上述目的，根据本申请的一个方面，提供了一种谎言识别方法。该方法包括：获取目标对象在预设时段的人脸图像；使用预设掩码循环神经网络提取所述人脸图像的图像特征；获取所述目标对象在所述预设时段的语音信息；使用预设长短期记忆网络提
取所述语音信息的语音特征；使用最大软分类对所述图像特征和所述语音特征进行分析，确定对所述目标对象的谎言识别结果，其中，所述最大软分类为使用多组数据通过机器学习训练出的，所述多组数据中每组数据均包括：图像特征和图像特征标识的谎言标签，语音特征中标识的谎言标签，所述谎言标签用于指示是否说谎。
[0011]可选地，使用预设掩码循环神经网络提取所述人脸图像的图像特征包括：使用所述预设掩码循环神经网络中的主干网络提取所述人脸图像的特征，得到人脸特征图，其中，所述主干网络包括：残差网络和特征金字塔网络；使用所述预设掩码循环神经网络中的区域生成网络在所述人脸特征图中提取感兴趣区域的五官特征图，其中，所述感兴趣区域至少包括：五官区域；基于所述五官特征图确定所述图像特征。
[0012]可选地，使用所述预设掩码循环神经网络中的主干网络提取所述人脸图像的特征，得到人脸特征图包括：识别所述人脸图像中的人脸可视化图像和人脸红外图像，其中，所述人脸可视化图像基于可视化相机采集的面部图像确定，所述人脸红外图像基于红外相机采集的面部图像确定；将所述人脸可视化图像输入第一预设图像编码器，得到可视化特征图；将所述人脸红外图像输入第二预设图像编码器，得到红外特征图；对所述人脸可视化特征图和所述人脸红外特征图进行特征维度的叠加，得到所述图像特征。
[0013]可选地，将所述人脸可视化图像输入第一预设图像编码器，得到可视化特征图包括：使用所述第一预设图像编码器的第一卷积核对所述人脸可视化图像进行处理，得到第一特征图，其中，所述第一卷积核的大小为1x3；使用所述第一预设图像编码器的第二卷积核对所述第一特征图进行处理，得到所述可视化特征图，其中，所述第二卷积核的大小为3x1；将所述人脸红外图像输入第二预设图像编码器，得到红外特征图包括：使用所述第二预设图像编码器的第一卷积核对所述人脸可视化图像进行处理，得到第二特征图，其中，所述第一卷积核的大小为1x3；使用所述第二预设图像编码器的第二卷积核对所述第一特征图进行处理，得到所述可视化特征图，其中，所述第二卷积核的大小为3x1。
[0014]可选地，使用最大软分类对所述图像特征和所述语音特征进行分析，确定对所述目标对象的谎言识别结果包括：将所述图像特征和所述语音特征进行叠加，得到混合特征；使用所述最大软分类对所述混合特征进行分析，得到分析结果；根据分析结果对所述目标对象进行谎言识别。
[0015]可选地，使用最大软分类对所述图像特征和所述语音特征进行分析，确定对所述目标对象的谎言识别结果包括：确定所述语音特征的权重值，其中，所述权重值由多组语音特征的历史数据进行分析确定；使用最大软分类和所述语音特征的权重值对所述图像特征和所述语音特征进行分析，确定对所述目标对象的谎言识别结果。
[0016]可选地，在使用最大软分类对所述图像特征和所述语音特征进行识别，得到谎言识别结果之前，所述方法还包括：获取提取图像特征的图像损失函数；获取提取语音特征的语音损失函数；根据所述图像损失函数和所述语音损失函数，确定所述最大软分类的模型损失函数。
[0017]为了实现上述目的，根据本申请的另一方面，提供了一种谎言识别装置。该装置包括：第一获取单元，用于获取目标对象在预设时段的人脸图像；第一提取单元，用于使用预设掩码循环神经网络提取所述人脸图像的图像特征；第二获取单元，用于获取所述目标对象在所述预设时段的语音信息；第二提取单元，用于使用预设长短期记忆网络提取所述语
音信息的语音特征；分析单元，用于使用最大软分类对所述图像特征和所述语音特征进行分析，确定对所述目标对象的谎言识别结果，其中，所述最大软分类为使用多组数据通过机器学习训练出的，所述多组数据中每组数据均包括：图像特征和图像特征标识的谎言标签，语音特征中标识的谎言标签，所述谎言标签用于指示是否说谎。
[0018]为了实现上述目的，根据本申请的另一方面，提供了一种处理器。该处理器用于运行程序，其中，所述程序运行时执行上述谎言识别方法。
[0019]为了实现上述目的，根据本申请的另一方面，提供了一种电子设备。该电子设备包括一个或多个处理器和存储器，所述存储器用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现上述谎言识别方法。
[002本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种谎言识别方法，其特征在于，包括：获取目标对象在预设时段的人脸图像；使用预设掩码循环神经网络提取所述人脸图像的图像特征；获取所述目标对象在所述预设时段的语音信息；使用预设长短期记忆网络提取所述语音信息的语音特征；使用最大软分类对所述图像特征和所述语音特征进行分析，确定对所述目标对象的谎言识别结果，其中，所述最大软分类为使用多组数据通过机器学习训练出的，所述多组数据中每组数据均包括：图像特征和图像特征标识的谎言标签，语音特征中标识的谎言标签，所述谎言标签用于指示是否说谎。2.根据权利要求1所述的方法，其特征在于，使用预设掩码循环神经网络提取所述人脸图像的图像特征包括：使用所述预设掩码循环神经网络中的主干网络提取所述人脸图像的特征，得到人脸特征图，其中，所述主干网络包括：残差网络和特征金字塔网络；使用所述预设掩码循环神经网络中的区域生成网络在所述人脸特征图中提取感兴趣区域的五官特征图，其中，所述感兴趣区域至少包括：五官区域；基于所述五官特征图确定所述图像特征。3.根据权利要求2所述的方法，其特征在于，使用所述预设掩码循环神经网络中的主干网络提取所述人脸图像的特征，得到人脸特征图包括：识别所述人脸图像中的人脸可视化图像和人脸红外图像，其中，所述人脸可视化图像基于可视化相机采集的面部图像确定，所述人脸红外图像基于红外相机采集的面部图像确定；将所述人脸可视化图像输入第一预设图像编码器，得到可视化特征图；将所述人脸红外图像输入第二预设图像编码器，得到红外特征图；对所述人脸可视化特征图和所述人脸红外特征图进行特征维度的叠加，得到所述图像特征。4.根据权利要求3所述的方法，其特征在于，将所述人脸可视化图像输入第一预设图像编码器，得到可视化特征图包括：使用所述第一预设图像编码器的第一卷积核对所述人脸可视化图像进行处理，得到第一特征图，其中，所述第一卷积核的大小为1x3；使用所述第一预设图像编码器的第二卷积核对所述第一特征图进行处理，得到所述可视化特征图，其中，所述第二卷积核的大小为3x1；将所述人脸红外图像输入第二预设图像编码器，得到红外特征图包括：使用所述第二预设图像编码器的第一卷积核对所述人脸可视化图像进行处理，得到第二特征图，其中，所述第一卷积核的大小为1x3；使用所述第二预设图像编...
【专利技术属性】
技术研发人员：饶宇熹，宁博，左杰文，汤仲淳，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。