【技术实现步骤摘要】
本专利技术涉及数据处理，特别地涉及一种基于多模态数据识别的面试辅助方法、装置、电子设备及计算机程序产品。
技术介绍
1、随着人工智能和人力资源技术的发展，情绪识别、面部分析、语音识别等多模态信息处理技术逐渐应用于招聘与面试场景。当前已有部分面试系统引入了微表情识别、声纹分析、文本语义理解等模块，用于评估求职者的面试表现。然而，现有技术在实际应用中仍存在以下问题：
2、一方面，现有多模态分析方法大多停留在对单一模态数据的独立处理阶段，即对面部图像、语音信号、面试文本分别进行分析，而缺乏跨模态信息的融合建模机制，无法有效利用不同模态之间的关联性。例如，当求职者口头回答逻辑清晰但同时出现频繁的眨眼或嘴角抽动等微表情信号时，传统方法往往无法做出综合判断，容易出现误判。
3、另一方面，现有面试系统多依赖基于人工智能知识图谱的分析方式，通过大模型对求职者的回答内容、语言节奏、面部行为等进行统一评估。尽管大模型在语义理解能力上表现出色，但由于其计算资源消耗大、响应时间长，难以满足面试过程中的实时决策需求。在实时性要求较高的场景...
【技术保护点】
1.一种基于多模态数据识别的面试辅助方法，其特征在于，包括：
2.根据权利要求1所述的面试辅助方法，其特征在于，根据微表情特征中的瞳孔直径变化率、语音特征中语音基频标准差和/或语音特征中语气中断次数判断求职者是否处于异常状态。
3.根据权利要求1所述的面试辅助方法，其特征在于，其中，所述异常状态基于微表情特征、语音特征和文本特征、对应的默认权重值以及微表情特征、语音特征和文本特征对应的多模态融合权重值计算得到的异常状态概率值确定。
4.根据权利要求1所述的面试辅助方法，其特征在于，响应于求职者的异常状态概率超过异常阈值时，调高微表情...
【技术特征摘要】
1.一种基于多模态数据识别的面试辅助方法，其特征在于，包括：
2.根据权利要求1所述的面试辅助方法，其特征在于，根据微表情特征中的瞳孔直径变化率、语音特征中语音基频标准差和/或语音特征中语气中断次数判断求职者是否处于异常状态。
3.根据权利要求1所述的面试辅助方法，其特征在于，其中，所述异常状态基于微表情特征、语音特征和文本特征、对应的默认权重值以及微表情特征、语音特征和文本特征对应的多模态融合权重值计算得到的异常状态概率值确定。
4.根据权利要求1所述的面试辅助方法，其特征在于，响应于求职者的异常状态概率超过异常阈值时，调高微表情特征和语音特征对应的权重值，并降低文本特征对应的权重值。
5.根据权利要求1所述的面试辅助方法，其特征在于，响应于求职者的异常状态概率超过异常阈值时，根据异常状态概率、微表情特征和语音特征对应的权重增量系数以及微表情特征、语音特征和文本特征对应的默认权重值调整微表情特征、语音特征和文本特征对应的权重值。
6.根据权利要求1所述的面试辅助方法，其特征在于，所述微表情特征、语音特征和文本特征对应的调整后权重值分别通过以下公式计算：
7.根据权利要...
【专利技术属性】
技术研发人员：吴尚昆，詹灿生，
申请(专利权)人：前锦网络信息技术上海有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。