【技术实现步骤摘要】
一种基于语音和雷达双传感器的测谎方法及系统
本专利技术属于测谎领域，特别涉及一种基于语音和雷达双传感器的测谎方法及系统。
技术介绍
说谎是人类在一定的场景下，通过自身的虚假的描述来隐瞒事情的真相、使对方信服的一种特殊行为。测谎技术是心理学、生理学、语言学、认知学科、统计学、传感器技术、模式识别、刑侦学等多种学科交叉融合的一项重要技术，对于认识了解人类的行为特点，特别是是辅助刑侦司法案件有着重要的意义。而人类本身对于谎言的判断基本上是凭借主观的随机猜测，准确率很低，因此需要科学的、可靠的系统以及方法来指导人类检测谎言。以往对于谎言的检测主要借助于多道生理仪来检测说谎过程中的生理参数与正常情况下的异常，这种方法具有一定的可靠性，因为人类在说谎过程中的确会不自主地发生一些生理反应，比如心跳加快、呼吸受到抑制等。但这种方法要求被试者身上穿戴多种传感器，会对受试者造成不适，甚至会带来很大的压迫感，会给测量结果造成影响。当前国内对于谎言检测主要借助于语音分析，从语音或者语义的角度分析谎言的语音或语义特点。这种方法虽然说可以做到非...
【技术保护点】
1.一种基于语音和雷达双传感器的测谎方法，其特征在于，所述方法包括以下步骤：/n步骤1，利用麦克风和连续波雷达同步采集语音信号和雷达信号；/n步骤2，对步骤1采集的语音信号进行降噪、声音事件检测、预加重预处理；/n步骤3，针对步骤2得到的预处理后的语音信号，提取基频、发声概率、短时过零率、帧均方根能量、梅尔倒谱系数特征，并对这5种特征运用最大值、最小值、均值、标准差、偏度、峰度6种统计参数，得到语音特征集X；/n步骤4，对步骤1采集的雷达信号进行解调、滤波，得到呼吸信号和心跳信号；/n步骤5，分别对步骤4得到的呼吸信号和心跳信号进行时域、频域和非线性特征提取，得到呼吸特征集...
【技术特征摘要】
1.一种基于语音和雷达双传感器的测谎方法，其特征在于，所述方法包括以下步骤：
步骤1，利用麦克风和连续波雷达同步采集语音信号和雷达信号；
步骤2，对步骤1采集的语音信号进行降噪、声音事件检测、预加重预处理；
步骤3，针对步骤2得到的预处理后的语音信号，提取基频、发声概率、短时过零率、帧均方根能量、梅尔倒谱系数特征，并对这5种特征运用最大值、最小值、均值、标准差、偏度、峰度6种统计参数，得到语音特征集X；
步骤4，对步骤1采集的雷达信号进行解调、滤波，得到呼吸信号和心跳信号；
步骤5，分别对步骤4得到的呼吸信号和心跳信号进行时域、频域和非线性特征提取，得到呼吸特征集R和心跳特征集H；
步骤6，将步骤5得到的呼吸特征集R和心跳特征集H进行融合，得到生理特征集Y，之后对生理特征集Y和步骤3得到的语音特征集X进行特征融合，得到融合特征集Z；
步骤7，利用步骤6得到的融合特征集Z训练分类器，对语音样本进行测谎分类。
2.根据权利要求1所述的基于语音和雷达双传感器的测谎方法，其特征在于，步骤2中所述对步骤1采集的语音信号进行降噪，具体过程包括：
步骤2-1，针对分贝超过预设阈值的噪声即主要噪声，录制其噪声样本；
步骤2-2，对于步骤2-1得到的噪声样本，运用SOX音频处理程序生成噪声样本配置文件，并根据噪声样本配置文件对语音信号进行一次降噪，去除主要噪声；
步骤2-3，对步骤2-2得到的一次降噪后的语音信号，利用改进谱减法进行二次降噪，去除噪声样本外的其他类型噪声，得到纯净的语音信号。
3.根据权利要求2所述的基于语音和雷达双传感器的测谎方法，其特征在于，步骤5所述分别对步骤4得到的呼吸信号和心跳信号进行时域、频域和非线性特征提取，得到呼吸特征集R和心跳特征集H，具体包括：
步骤5-1，对呼吸信号进行时域、频域和非线性特征提取，得到呼吸特征集R；
A、时域特征：提取呼吸幅度均值、呼吸幅度标准差、呼吸平均幅度差、呼吸归一化平均幅度差作为呼吸信号的时域特征；其中，
(1)呼吸幅度均值μx，用于反映测谎过程中呼吸的平均幅度情况，表达式为：
式中，X(n)为第n个呼吸序列，N为呼吸序列总数，1≤n≤N；
(2)呼吸幅度标准差σx，用于反映测谎过程中呼吸的总体变化情况，表达式为：
(3)呼吸平均幅度差δx，用于反映测谎过程中呼吸幅度的短时变化的情况，表达式为：
(4)呼吸归一化平均幅度差δrx，用于反映测谎过程中呼吸幅度的短时变化对总体变化的影响，表达式为：
B、频域特征：提取呼吸低频段FL、呼吸中频段FM和呼吸高频段FH这三个频段功率谱幅度均值作为呼吸信号的频域特征；其中，FL＜p1Hz，p1Hz≤FM＜p2Hz，FH＞p2Hz；
C、非线性特征：提取呼吸去趋势波动标度指数、呼吸样本熵作为呼吸信号的非线性特征；
(1)呼吸去趋势波动标度指数
呼吸去趋势波动标度指数用于反映测谎过程中呼吸信号的非平稳特性，其计算步骤具体如下：
1)假设呼吸序列为X(n)，计算其均值μx：
2)计算呼吸序列的累计差值y(n)：
3)将y(n)不重叠地划分为a个窗，窗长为b；
4)对每段窗长区间利用最小二乘法拟合出局部趋势yb(n)，然后去除掉每个区间的局部趋势，得到新的呼吸序列并计算出新呼吸序列的均方根F(n)：
5)改变窗长b的大小然后重复以上步骤，直至获得所需的数据量；
6)根据上面步骤所计算的参数，以log(n)为横坐标、log[F(n)]为纵坐标绘制一条曲线，该曲线的斜率即为呼吸序列的呼吸去趋势波动标度指数；
(2)呼吸样本熵
呼吸样本熵用于评估测谎过程中呼吸信号的复杂性，其计算步骤为：
1)将呼吸时间序列表示为X(n)，以m为窗长，将呼吸时间序列分为s＝N-m+1个呼吸子序列：
Xm(t)＝(X(t),X(t+1),…,X(t+m-1)),1≤t≤N-m+1
式中，Xm(t)为第t个呼吸子序列；
2)定义序列Xm(i)和序列Xm(j)的距离为对应元素最大差值的绝对值并计算出每个呼吸子序列与其他所有呼吸子序列之间的距离dij：
dij＝maxk＝0,…,m-1(|Xm(i+k)-Xm(j+k)|)
式中，1≤i≤N-m,1≤j≤N-m,i≠j；
3)计算呼吸幅度标准差σx并定义阈值F＝r*σx，r为常数，取0.1-0.25；将上述2)计算出的距离dij中小于或等于F的个数与s的比值记计算所有呼吸子序列的的均值φm(t)：
4)改变窗长为m+1，重复上述1)到3)步，得到φm+1(t)；
5)计算呼吸样本熵SampEn(t)：
SampEn(t)＝ln[φm(t)]-ln[φm+1(t)]
步骤5-2，对心跳信号进行时域、频域和非线性特征提取，得到呼吸特征集R；
A、时域特征：提取心跳幅度均值、心跳幅度标准差、心跳平均幅度差、心跳归一化平均幅度差作为心跳信号的时域特征，具体计算方式与呼吸特征提取部分相同；
B、频域特征：提取心跳低频段FL'、心跳中频段FM'和心跳高频段FH'这三个频段功率谱幅度均值作为心跳信号的频域特征；其中，FL'＜p3Hz，p3Hz≤FM'＜p4Hz，FH'＞p4Hz，p3＞p1,p4＞p2；
C、非线性特征：提取心跳去趋势波动标度指数、心跳样本熵作为心跳信号的非线性特征，具体计算方式与呼吸特征提取部分相同。
4.根据权利要求3所述的基于语音和雷达双传感器的测谎方法，其特征在于，步骤6中所述对生理特征集Y和步骤3得到的语音特征集X进行特征融合，得到融合特征集Z，具体利用DCA算法实现。
5.根据权利要求4所述的基于语音和雷达双传感器的测谎方法，其特征在于，步骤6具体过程包括：
步骤6-1，对呼吸特征集R和心跳特征集H采取串行融合的特征融合方式，得到生理特征集Y：
Y＝[RH]
步骤6-2，计算语音特征集X和生理特征集Y每个类和所有特征数据的向量均值，下面以语音特征集X的过程进行说明，Y同理可得，具体如下：
式中，为语音特征集X第i类样本的向量均值，xij为语音特征集X第i类的第j个样本，ni为语音特征集X第i类的样本数；
式中，为语音特征集X所有样本数据的向量均值，k为类数，n为总样本数；
步骤6-3，分别计算语音信号特征集X和生理特征集Y的投影矩阵，以使X和Y特征集的类间相关性最小，下面以X的投影矩阵计算过程进行说明，Y同理可得，具体如下：
首先计算语音信号特征集X的类间散布矩阵Sbx：
其中，
类间相关性最小时，φbxTφbx为对角矩阵，又因φbxTφbx对称半正定，存在如下变换：
式中，P为正交特征向量矩阵，为非负实数特征值按降序排序的对角矩阵；
设Q是由矩阵P中r个最大非零特征值对应的r个特征向量组成，相应的有：
QT(φbxTφbx)Q＝A
则可得到X的投影矩阵Wbx：
同理可得Y的投影矩阵Wby；
步骤6-4，根据步骤6-3计算出的投影矩阵对X和Y进行投影，得到投影后的语音特征集Xp和生理特征集Yp：
Xp＝WbxTX
Yp＝WbyTY
步骤6-5，利用奇异值分解SVD对角化投影后的特征集的集间协方差矩阵，得到语音特征集转换矩阵Wx和生理特征集转换矩阵Wy，具体如下：
其中，Sxy＝XpYpT，B为对角元素非零的对角矩阵，其中U、V通过SVD可求得；
由可得：
式中，I为单位阵；
于是得到语音特征集转换矩阵Wx和生理特征集转换矩阵Wy：
Wx＝WcxTWbxT
Wy＝WcyTWbyT
步骤6-6，根据6-5计算出的转换矩阵，计算转换后的语音特征集Xdca和生理特征集Ydca：
Xdca＝WxX
Ydca＝WyY
步骤6-7，对6-6计算的语音特征集Xdca和生理特征集Ydca进行串行融合，得到融合特征集Z...
【专利技术属性】
技术研发人员：洪弘，李新，李彧晟，孙理，顾陈，朱晓华，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：江苏;32
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。