一种基于多特征融合的测谎分析方法及装置制造方法及图纸

本发明专利技术提供一种基于多特征融合的测谎分析方法及装置，所述方法的步骤包括：将采集的音频数据和图像数据分别划分为多个音频子数据和多个图像帧；在多个音频子数据筛选差异音频子数据，在多个图像帧中筛选差异图像帧；确定是否将所述差异图像帧和差异音频子数据融合；若是，则分别获取差异音频子数据的音频参数和差异图像帧的图像参数，构建为第一融合向量，并输入预设的分类器模型中，输出测谎结果；若否，则基于过零率参数和短时能量参数确定构建第二融合向量的音频子数据和图像帧，并将音频子数据的音频参数和图像帧的图像参数构建为第二融合向量，并输入预设的分类器模型中，输出测谎结果。输出测谎结果。输出测谎结果。

【技术实现步骤摘要】
一种基于多特征融合的测谎分析方法及装置


[0001]本专利技术涉及心理测评
，尤其涉及一种基于多特征融合的测谎分析方法及装置。

技术介绍

[0002]测谎技术是通过一定物理技术的辅助，测试被测对象是否有撒谎的现象的方法。测谎通常使用一套准备好的问题提问被测试者，与此同时，测谎仪也在不停地监视被测试者的生理活动状况。通过对仪器异常活动数据的分析得出结果。
[0003]多模态测谎技术是当前测谎技术的一个重要研究方向，现有的多模态测谎技术通常采用分别采集各模态数据，将各模态数据融合为输入向量，再将输入向量输入到分类模型，根据分类模型的输出结果判定是否说谎的方式。
[0004]但是现有技术在将各模态数据进行融合的过程中，缺少对数据进行甄别的过程，因此，难以保证各模态数据融合过程中的精准度，进而更难以保证输出测谎结果的客观性。

技术实现思路

[0005]鉴于此，本专利技术的实施例提供了一种基于多特征融合的测谎分析方法，以消除或改善现有技术中存在的一个或更多个缺陷。
[0006]本专利技术的一个方面提供了一种基本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多特征融合的测谎分析方法，其特征在于，所述方法的步骤包括：基于采集设备获取测谎过程中对待测者采集的多模态数据，所述多模态数据包括音频数据和图像数据；将采集的音频数据和图像数据分别划分为多个音频子数据和多个图像帧；基于傅里叶变换计算每个音频子数据的梅尔频率倒谱系数，基于多个音频子数据的所述梅尔频率倒谱系数的平均值在多个音频子数据中筛选出与所述梅尔频率倒谱系数的平均值的差最大的梅尔频率倒谱系数对应的音频子数据为差异音频子数据；基于图像帧的灰度值构建每个图像帧的特征向量，基于感知哈希算法计算特征向量之间的汉明距离，筛选出与其他图像帧的特征向量汉明距离之和最大的图像帧为差异图像帧；基于所述差异图像帧的采集时间和差异音频子数据的起始时间确定是否将所述差异图像帧和差异音频子数据融合；若是，则分别获取差异音频子数据的音频参数和差异图像帧的图像参数，构建为第一融合向量，并输入预设的分类器模型中，输出测谎结果；若否，则获取每个音频子数据的过零率参数和短时能量参数，分别筛选最大的过零率参数和短时能量参数，基于最大的过零率参数和短时能量参数计算音频特征标准化斜率；对每个图像帧进行特征点标记，基于相同特征点在不同图像帧的位置在多个图像帧中筛选出第一特征图像帧和第二特征图像帧，分别计算第一特征图像帧和第二特征图像帧的图像特征标准化斜率；基于音频特征标准化斜率和图像特征标准化斜率确定构建第二融合向量的音频子数据和图像帧，并将音频子数据的音频参数和图像帧的图像参数构建为第二融合向量，并输入预设的分类器模型中，输出测谎结果。2.根据权利要求1所述的基于多特征融合的测谎分析方法，其特征在于，在基于所述差异图像帧的采集时间和差异音频子数据的起始时间确定是否将所述差异图像帧和差异音频子数据融合的步骤中，计算所述差异图像帧的采集时间和差异音频子数据的起始时间之间的时间差，若所述时间差小于预设的时差阈值，则将所述差异图像帧和差异音频子数据融合；若所述时间差不小于预设的时差阈值，则不将所述差异图像帧和差异音频子数据融合。3.根据权利要求1所述的基于多特征融合的测谎分析方法，其特征在于，所述基于最大的过零率参数和短时能量参数计算音频特征标准化斜率的步骤包括：基于最大的过零率参数计算最大的过零率参数对应的音频子数据的过零率斜率；基于最大的短时能量参数计算最大的短时能量参数对应的音频子数据的短时能量斜率；基于过零率斜率和短时能量斜率计算每个音频子数据的音频特征标准化斜率；基于过零率斜率和短时能量斜率计算整体斜率，基于整体斜率计算音频子数据的音频特征标准化斜率。4.根据权利要求3所述的基于多特征融合的测谎分析方法，其特征在于，在基于过零率斜率和短时能量斜率计算整体斜率，基于整体斜率计算音频子数据的音频特征标准化斜率的步骤中，基于如下公式计算整体斜率：
其中，G
A
表示整体斜率，G
o
表示过零率斜率，G
e
为短时能量斜率；基于如下公式计算音频特征标准化斜率：其中，σ(G
A
)表示音频特征标准化斜率。5.根据权利要求3所述的基于多特征融合的测谎分析方法，其特征在于，在基于最大的过零率参数计算最大的过零率参数对应的音频子数据的过零率斜率；基于最大的短时能量参数计算最大的短时能量参数对应的音频子数据的短时能量斜率的步骤中，基于如下公式计算过零率斜率：其中，max
o
表示最大的过零率参数，Z
n
表示全部音频子数据的过零率的平均值，t
o
表示最大的过零率参数对应的音频子数据中频率首次经过零值的时间，t
o1
表示最大的过零率参数对应的音频子数据的起始时间，G
o
表示过零率斜率；基于如下公式计算短时能量斜率：其中，Max
e
表示最大的短时能量参数，E
n
表示全部音频子数据的短时能量参数的平均值，t
e
表示最大的短时能量参数对应的音频子数据中出现最大能量值的时间点，t
e1
最大的短时能量参数对应的音频子数据中能量值第一次出现波动的时间，G
e
为短时能量斜率。6.根据权利要求1所述的基于多特征融合的测谎分析方法，其特征在于，所述特征点包括两个眉部特征点和两个嘴部特征点，所述基于相同特征点在不同图像帧的位置在多个图像帧中筛选出第一特征图像帧和第二特征图像帧的步骤包括：计算每个图像帧中两个眉部特征点之间的眉间距距离和两个嘴角特征点之间的嘴部间距距离；分别将每个图像帧的眉间距距离和嘴部间距距离与第一个图像帧...

【专利技术属性】
技术研发人员：朱洪亮，樊琪，李逍遥，高明成，辛阳，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：