一种用于智能面试的心理素质维度评价方法及装置，收集面试者的面试视频，通过函数计算部署的多个深度学习模块并行地进行特征抽取，获取面试者的低层视觉特征，再利用先验知识从以上低层特征中抽取出面试者的表情积极性、情绪积极性、目光专注度等高层语义特征，同时对视频特征进行时序分析，获得面试者的视频时序特征，高层语义特征及时序特征组成面试视频的层次式特征。最后将层次式特征输入全连接神经网络，得到心理素质等级分类器，用于面试的自动化智能评价。本发明专利技术能够高效地自动为面试官提供相对客观的面试者特征，提高面试效率。率。率。
【技术实现步骤摘要】
一种用于智能面试的心理素质维度评价方法及装置
[0001]本专利技术属于数据分析
，涉及对图像特征提取和分析，用于对在线面试者进行特征画像提取和建模分析，为一种用于智能面试的心理素质维度评价方法及装置。
技术介绍
[0002]目前传统主流的面试方式是面试官和面试者在同一时空内面对面交流的现场面试，但是由于时间和距离的限制颇多，出现了通过电话等远程面试方式，但面试官和面试者无法看到对方的脸，这不仅影响双方的面试体验，还存在着难以进行信息记录和快速有效传递等困扰。在互联网的飞速发展下，慢慢衍生出了数字化面试，这很好地解决了以上问题，但是在极具多样性和复杂性的市场需求中，大量依赖人力的人工面试效率低下，且易受到面试官主观因素的干扰。
[0003]现有的智能数字化AI面试大多由企业根据自身招人需求定制化自己的面试问题，面试者通过远程面试软件等方式回答问题，软件会对回答进行自主分析判断。代表产品有视频面试软件HireVue，面试软件系统会对答案进行粗略分析，同时企业也会对信息进行人工审核，从而综合判断面试者是否通过面试。虽然这样的视频面试打破了时空的限制，加快了企业招人的决策速度，也给了求职者更多和更方便的面试机会，但是问题在于这中面试过程中不仅仍然需要大量的人工参与，只是部分的自动化，且人工审核时带有极大的主观性，不能保证对面试者给出客观评价，尤其是在面试者的心理素质这一特征上，往往由于面试官的经验、观察不足，导致面试官对面试者的行为特征评估带有随机性和不确定性，难以客观准确评估面试者的心理素质状态。
技术实现思路
[0004]本专利技术要解决的问题是：线上视频面试中需要大量人力进行面试者评估筛选的问题，效率不高，以及面试官难以准确评估面试者心理素质能力，易受到主观因素影响的问题。
[0005]本专利技术的技术方案为：一种用于智能面试的心理素质维度评价方法，从面试视频中抽取包含面试者的视频帧，基于函数计算部署配置多个深度学习模块，并行地将视频帧输入深度学习模块进行感知特征抽取得到低层特征，包括面试者的微表情特征、人脸表情类别特征、情绪特征和目光视线特征，再利用先验知识从低层特征中抽取高层语义特征，高层语义特征包括面试者的表情积极性信息、情绪积极性信息和目光专注度信息；同时对视频帧的低层特征进行时序分析，获得面试者的图像时序特征，高层语义特征和图像时序特征组成面试视频的层次式特征表示，最后利用层次式特征训练神经网络拟合模型，得到心理素质等级分类器，训练好的神经网络拟合模型用于对新的面试视频进行心理素质维度评价。
[0006]进一步的，低层特征的提取如下：
[0007]1)通过微表情检测技术，检测抽取的各个视频帧，基于面部行为编码系统FACS获
得微表情的置信度，对各个微表情在各视频帧的置信度分别取均值，得到该视频的微表情特征；
[0008]2)通过人脸表情检测技术检测视频帧，得到表情类别，对各个表情特征在各视频帧的置信度分别取均值，得到该视频的人脸表情类别特征；
[0009]3)通过面部情绪识别技术检测面试者的情绪积极度，将帧图像的人脸输入到标准的ResNet34网络进行回归预测，得到一个情绪积极估计值，范围为[
‑
1，1]，数值越大表示越积极，对所有视频帧的情绪积极度取均值作为该视频的情绪特征；
[0010]4)通过视线检测技术检测面试者的双眼视线俯仰角和偏航角，得到目光视线特征。
[0011]进一步的，抽取高层语义特征具体为：
[0012]1)表情积极性：由低层特征中的表情类别特征和微表情特征非线性计算拟合而得，为一个浮点数，范围为[0,1]，拟合公式为：
[0013]fa＝w1
×
happy+w2
×
neutral+w3
×
AU1+w4
×
AU6+w5
×
AU12+w6
×
AU20
[0014]其中fa是表情积极度，happy是开心表情的置信度，neautral是自然表情的置信度，AU1是微表情的抬起眉毛内角，AU6是微表情的脸颊提升和眼轮匝肌外圈收紧，AU12是微表情的拉动嘴角倾斜向上，AU20是微表情的嘴角拉伸，wi代表根据先验知识设置的各个值的权重；
[0015]2)情绪积极性：使用低层特征中的情绪特征，为一个浮点数，范围为[
‑
1,1]；
[0016]3)目光专注度：由低层特征中的目光视线特征进行统计分析而得，为一个浮点数，根据抽取的帧中的相邻两帧的目光角度偏转角度计算是否出现乱瞟现象，对乱瞟次数做非线性归一化计算视线稳定性得分；
[0017]乱瞟判定：对左右眼分别计算每一帧视线偏离角度，公式计算如下
[0018]dist
p
＝sqrt[(pitch
i
‑
pitch
i
‑1)^2+(yaw
i
‑
yaw
i
‑1)^2][0019]若某一帧中至少一只眼视线的偏移值dist
p
大于设定阈值，则判为出现乱瞟现象一次，统计所有帧的乱瞟总次数，进行非线性归一化，公式如下：
[0020][0021]其中pitch
i
和yaw
i
分别是抽取的第i帧的视线俯仰角和偏航角，sqrt是对数据开根号，mean是计算均值，std是计算方差，atan是计算反三角函数arctan的值，F是每一帧的视线特征数据构成的列表。
[0022]进一步的，图像时序特征计算过程为：将所有低层特征以线性连接的方式，每一帧的所有特征合并为一个张量，以帧为单位顺序输入LSTM时序分析模块，得到图像时序特征张量。
[0023]本专利技术还提供一种用于智能面试的心理素质维度评价装置，配置有分布式数据处理模块，数据处理模块的输入为面试者面试视频，输出为心理素质维度评价信息，数据处理模块中配置有神经网络拟合模型，神经网络拟合模型由上述的方法训练得到，并执行所述评价方法。
[0024]本专利技术方法提供了一种针对在线AI面试的实际应用场景，研究了一种视线面试者心理素质的智能化自动化检测和评估技术。本专利技术灵活的组合使用了多种深度学习算法技
术，解决了在线面试中对面试者心理素质自动客观评测的实际问题，一方面提供了准确高效的评价方案，能够以相对实时的速度准确检测和计算面试者在面试视频中的表现；另一方面又充分发挥了面试领域的先验知识，相比纯粹的机器学习特征提取，我们添加了由面试领域的经验知识得到的高层语义特征加权计算方案，提高了算法模型的可解释性，更能适应实际面试中的打分场景，且拥有优异的表现。由于采用了轻量级的深度学习算法模型，并且使用了函数计算方式部署模型，使整个系统能够快速并行计算大量数据，，、实现了快速并准确的心理素质评价功能。
[0025]本专利技术的有益效果是：提出了一种用于智能面试的心理素质维度评价方法及对应的装置，通过自动本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种用于智能面试的心理素质维度评价方法，其特征是从面试视频中抽取包含面试者的视频帧，基于函数计算部署配置多个深度学习模块，并行地将视频帧输入深度学习模块进行感知特征抽取得到低层特征，包括面试者的微表情特征、人脸表情类别特征、情绪特征和目光视线特征，再利用先验知识从低层特征中抽取高层语义特征，高层语义特征包括面试者的表情积极性信息、情绪积极性信息和目光专注度信息；同时对视频帧的低层特征进行时序分析，获得面试者的图像时序特征，高层语义特征和图像时序特征组成面试视频的层次式特征表示，最后利用层次式特征训练神经网络拟合模型，得到心理素质等级分类器，训练好的神经网络拟合模型用于对新的面试视频进行心理素质维度评价。2.根据权利要求1所述的一种用于智能面试的心理素质维度评价方法，其特征是从面试视频中每隔k帧抽取一帧视频帧，直到抽完视频所有帧。3.根据权利要求1所述的一种用于智能面试的心理素质维度评价方法，其特征是低层特征的提取如下：1)通过微表情检测技术，检测抽取的各个视频帧，基于面部行为编码系统FACS获得微表情的置信度，对各个微表情在各视频帧的置信度分别取均值，得到该视频的微表情特征；2)通过人脸表情检测技术检测视频帧，得到表情类别，对各个表情特征在各视频帧的置信度分别取均值，得到该视频的人脸表情类别特征；3)通过面部情绪识别技术检测面试者的情绪积极度，将帧图像的人脸输入到标准的ResNet34网络进行回归预测，得到一个情绪积极估计值，范围为[
‑
1，1]，数值越大表示越积极，对所有视频帧的情绪积极度取均值作为该视频的情绪特征；4)通过视线检测技术检测面试者的双眼视线俯仰角和偏航角，得到目光视线特征。4.根据权利要求1所述的一种用于智能面试的心理素质维度评价方法，其特征是抽取高层语义特征具体为：1)表情积极性：由低层特征中的表情类别特征和微表情特征非线性计算拟合而得，为一个浮点数，范围为[0,1]，拟合公式为：fa＝w1
×
happy+w2
×
neutral+w3
×
AU1+w4
×
AU6+w5
×
AU12+w6
×
AU20其中fa是表情积极度，happy是开心表情的置信度，neautral是自然表情的置信度，AU1是微表情的抬起眉...
【专利技术属性】
技术研发人员：江辉，
申请(专利权)人：南京智能情资创新科技研究院有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。