情绪识别方法、装置及存储介质制造方法及图纸

本发明专利技术提供一种情绪识别方法、装置及存储介质。该方法包括以下步骤：生成海量中性问题、准绳问题和相关问题，构建测试题库；根据测试题库生成测试问卷；切割测试对象回答测试问卷的视频，得到测试对象回答每个问题的视频片段；提取每个视频片段的表情特征向量，将其视为对应的每个问题的特征向量；计算中性问题的中心点特征向量、准绳问题的中心点特征向量以及每个相关问题的特征向量与中性问题的中心点特征向量的第一距离、每个相关问题的特征向量与准绳问题的中心点特征向量的第二距离；当第一距离大于第二距离时，判定该测试对象隐藏了真实情绪，当第一距离小于第二距离时，判定该测试对象表现出的情绪是真实的。

Emotion recognition method, device and storage medium

The invention provides an emotion recognition method, device and storage medium. The method includes the following steps: generating the mass neutral problem, the line problem and the related problems, constructing the test question bank, generating the test questionnaire according to the test question bank, cutting the test object to answer the video of the test questionnaire, getting the video clip of the test object to answer each question, and extracting the expression feature vectors of each video clip. It is considered as the eigenvector of each problem, the center point eigenvector of the neutral problem, the center point eigenvector of the line problem, the first distance of the eigenvector of each related problem and the center point eigenvector of the neutral problem, the eigenvector of each related problem and the center point characteristic of the line problem. Second distance of the quantity; when the first distance is more than second distance, the test object is determined to hide the true emotion. When the first distance is less than second distance, it is determined that the emotion of the test object is true.

【技术实现步骤摘要】
情绪识别方法、装置及存储介质
本专利技术涉及视频处理
，尤其涉及一种情绪识别方法、装置及计算机可读存储介质。
技术介绍
对照问题测试法(comparisonquestiontest，CQT)，也称准绳问题测试法或控制问题测试法(controlquestiontest)，由美国芝加哥的理德(JohnReid)于1947年专利技术。CQT通常涉及三种类型的问题：中性问题、准绳问题和相关问题。中性问题又称无关问题，是与测试主题无关，不会引起测试对象心理压力的问题。准绳问题是测试对象必然会或者很有可能会做出不诚实回答的问题，能够给测试对象造成一定的心理压力，但与测试主题无关，用于和相关问题作比较。相关问题即和测试主题有关的问题，是测试所要甄别的问题。CQT的理论基础是：诚实者害怕准绳问题，会对准绳问题产生较大的心理反应，而隐瞒真相者更害怕相关问题，会对相关问题产生更大的心理反应。在测试对象回答相关问题时，诚实者的情绪是真实的，而隐瞒真相者会刻意隐藏真实情绪。然而，目前缺少识别测试对象情绪的客观有效的方法。通常，对测试对象情绪的识别要么依赖测试人员的经验，要么通过多通道测试仪记录测试对象对每个问题的生理反应图谱。前者的判断结果往往不准确客观，后者是接触式的，容易对测试对象的人权构成侵犯，测试对象也容易产生抵触心理，从而影响测试结果。
技术实现思路
为解决现有技术存在的不足，本专利技术提供一种情绪识别方法、装置及计算机可读存储介质，通过结合CQT，对测试对象回答不同类型问题时的表情特征进行分析，实现客观、非接触式的情绪识别。为实现上述目的，本专利技术提供一种情绪识别方法，应用于电子装置，该方法包括：题库构建步骤：根据测试对象的信息自动生成海量的中性问题、准绳问题和相关问题，构建测试题库；问卷生成步骤：根据测试题库生成测试问卷；视频切割步骤：录制测试对象回答测试问卷的视频，以单个问题为单位对该视频进行切割，得到测试对象回答每个问题的视频片段；特征提取步骤：提取每个视频片段的表情特征向量，将每个视频片段的表情特征向量视为对应的每个问题的特征向量；计算步骤：计算中性问题的中心点特征向量、准绳问题的中心点特征向量以及每个相关问题的特征向量与中性问题的中心点特征向量之间的第一距离、每个相关问题的特征向量与准绳问题的中心点特征向量之间的第二距离；及识别步骤：当第一距离大于第二距离时，判定该测试对象回答该相关问题时隐藏了真实情绪，当第一距离小于第二距离时，判定该测试对象回答该相关问题时表现出的情绪是真实的。其中，所述录制测试对象回答测试问卷的视频的步骤，具体包括：通过现场摄像装置录制测试对象现场回答测试问卷的视频，或者通过远程摄像装置录制测试对象远程回答测试问卷的视频。优选地，所述测试问卷至少包括两个准绳问题，所述准绳问题的数量分别少于相关问题数量和中性问题数量，且同一类型的问题不相邻。优选地，所述特征提取步骤中提取每个视频片段的表情特征向量包括以下步骤：提取每个视频片段的动作特征，该动作特征包括头部朝向、眼球朝向和面部动作单元(actionunit，AU)；统计每个视频片段中各动作特征出现的次数及持续的时长；根据统计结果构造每个视频片段的高阶表情特征；利用特征筛选算法从每个视频片段的高阶表情特征中筛选出特征子集；对所述特征子集进行降维处理，得到每个视频片段的表情特征向量。本专利技术还提供一种电子装置，该电子装置包括存储器和处理器，所述存储器中包括情绪识别程序。该电子装置直接或间接地与摄像装置相连接，摄像装置将录制的视频传送至电子装置。该电子装置的处理器执行存储器中的情绪识别程序时，实现以下步骤：题库构建步骤：根据测试对象的信息自动生成海量的中性问题、准绳问题和相关问题，构建测试题库；问卷生成步骤：根据测试题库生成测试问卷；视频切割步骤：录制测试对象回答测试问卷的视频，以单个问题为单位对该视频进行切割，得到测试对象回答每个问题的视频片段；特征提取步骤：提取每个视频片段的表情特征向量，将每个视频片段的表情特征向量视为对应的每个问题的特征向量；计算步骤：计算中性问题的中心点特征向量、准绳问题的中心点特征向量以及每个相关问题的特征向量与中性问题的中心点特征向量之间的第一距离、每个相关问题的特征向量与准绳问题的中心点特征向量之间的第二距离；及识别步骤：当第一距离大于第二距离时，判定该测试对象回答该相关问题时隐藏了真实情绪，当第一距离小于第二距离时，判定该测试对象回答该相关问题时表现出的情绪是真实的。优选地，所述测试问卷至少包括两个准绳问题，所述准绳问题的数量分别少于相关问题数量和中性问题数量，且同一类型的问题不相邻。优选地，所述特征提取步骤中提取每个视频片段的表情特征向量包括以下步骤：提取每个视频片段的动作特征，该动作特征包括头部朝向、眼球朝向和面部AU；统计每个视频片段中各动作特征出现的次数及持续的时长；根据统计结果构造每个视频片段的高阶表情特征；利用特征筛选算法从每个视频片段的高阶表情特征中筛选出特征子集；对所述特征子集进行降维处理，得到每个视频片段的表情特征向量。此外，为实现上述目的，本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质中包括情绪识别程序，所述情绪识别程序被处理器执行时，实现如上所述的情绪识别方法中的任意步骤。本专利技术提供的情绪识别方法、装置及计算机可读存储介质，根据测试对象的信息自动生成海量的中性问题、准绳问题和相关问题，然后，选取一定数量的三类问题并排序，生成测试问卷。在测试对象回答测试问卷时，提取测试对象回答每个问题的视频片段的表情特征向量，将其视为对应的每个问题的特征向量，计算中性问题、准绳问题的中心点特征向量以及每个相关问题的特征向量与中性问题的中心点特征向量之间的第一距离和与准绳问题的中心点特征向量之间的第二距离，当第一距离大于第二距离时，判定该测试对象回答该相关问题时隐藏了真实情绪，当第一距离小于第二距离时，判定该测试对象回答该相关问题时表现出的情绪是真实的。利用本专利技术，可以客观、非接触地识别测试对象回答相关问题时的情绪状态。附图说明图1为本专利技术电子装置第一较佳实施例的应用环境图。图2为本专利技术电子装置第二较佳实施例的应用环境图。图3为图1、图2中情绪识别程序的程序模块图。图4为本专利技术情绪识别方法较佳实施例的流程图。本专利技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。具体实施方式下面将参考若干具体实施例来描述本专利技术的原理和精神。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。参照图1所示，为本专利技术电子装置第一较佳实施例的应用环境图。在该实施例中，摄像装置3通过网络2连接电子装置1，摄像装置3录制测试对象回答测试问卷的视频(主要是拍摄测试对象的正脸视频)，通过网络2传送至电子装置1，电子装置1利用本专利技术提供的情绪识别程序10分析所述视频，得到对测试对象的情绪识别结果。电子装置1可以是服务器、智能手机、平板电脑、便携计算机、桌上型计算机等具有存储和运算功能的终端设备。该电子装置1包括存储器11、处理器12、网络接口13及通信总线14。摄像装置3安装于特定场所，如审讯室、实验室、信用审核场所等，用于录制测试对象回答测试问卷的视频，然后通过网络2将所述视频传输至存储器1本文档来自技高网...

【技术保护点】
一种情绪识别方法，应用于电子装置，其特征在于，该方法包括：题库构建步骤：根据测试对象的信息自动生成海量的中性问题、准绳问题和相关问题，构建测试题库；问卷生成步骤：根据测试题库生成测试问卷；视频切割步骤：录制测试对象回答测试问卷的视频，以单个问题为单位对该视频进行切割，得到测试对象回答每个问题的视频片段；特征提取步骤：提取每个视频片段的表情特征向量，将每个视频片段的表情特征向量视为对应的每个问题的特征向量；计算步骤：计算中性问题的中心点特征向量、准绳问题的中心点特征向量以及每个相关问题的特征向量与中性问题的中心点特征向量之间的第一距离、每个相关问题的特征向量与准绳问题的中心点特征向量之间的第二距离；及识别步骤：当第一距离大于第二距离时，判定该测试对象回答该相关问题时隐藏了真实情绪，当第一距离小于第二距离时，判定该测试对象回答该相关问题时表现出的情绪是真实的。

【技术特征摘要】
1.一种情绪识别方法，应用于电子装置，其特征在于，该方法包括：题库构建步骤：根据测试对象的信息自动生成海量的中性问题、准绳问题和相关问题，构建测试题库；问卷生成步骤：根据测试题库生成测试问卷；视频切割步骤：录制测试对象回答测试问卷的视频，以单个问题为单位对该视频进行切割，得到测试对象回答每个问题的视频片段；特征提取步骤：提取每个视频片段的表情特征向量，将每个视频片段的表情特征向量视为对应的每个问题的特征向量；计算步骤：计算中性问题的中心点特征向量、准绳问题的中心点特征向量以及每个相关问题的特征向量与中性问题的中心点特征向量之间的第一距离、每个相关问题的特征向量与准绳问题的中心点特征向量之间的第二距离；及识别步骤：当第一距离大于第二距离时，判定该测试对象回答该相关问题时隐藏了真实情绪，当第一距离小于第二距离时，判定该测试对象回答该相关问题时表现出的情绪是真实的。2.如权利要求1所述的情绪识别方法，其特征在于，所述测试问卷至少包括两个准绳问题，所述准绳问题的数量分别少于相关问题数量和中性问题数量，且同一类型的问题不相邻。3.如权利要求1所述的情绪识别方法，其特征在于，所述特征提取步骤中提取每个视频片段的表情特征向量包括以下步骤：提取每个视频片段的动作特征；统计每个视频片段中各动作特征出现的次数及持续的时长；根据统计结果构造每个视频片段的高阶表情特征；利用特征筛选算法从每个视频片段的高阶表情特征中筛选出特征子集；对所述特征子集进行降维处理，得到每个视频片段的表情特征向量。4.如权利要求3所述的情绪识别方法，其特征在于，所述动作特征包括头部朝向、眼球朝向和面部动作单元。5.如权利要求1至4任意一项所述的情绪识别方法，其特征在于，所述录制测试对象回答测试问卷的视频的步骤，具体包括：通过现场摄像装置录制测试对象现场回答测试问卷的视频，或者通过远程摄像装置录制测试对象远程回答测试问卷的视频。6.如权利要...

【专利技术属性】
技术研发人员：韦峰，徐国强，
申请(专利权)人：上海壹账通金融科技有限公司，
类型：发明
国别省市：上海,31