一种基于深度学习的第一印象识别与回馈系统及方法技术方案

本发明专利技术提供的一种基于深度学习的第一印象识别与回馈系统及方法，采集模块用于采集视频样本，并从视频样本中筛选目标影像进行数据清洗；还用于对数据清洗后的目标影像进行标注，并根据标注结果计算第一印象数值；模型建立模块用于检测视频样本中脸部动作、手部动作和身体动作，根据检测结果建立影像特征学习模型和集成学习模型；检测模块用于利用影像特征学习模型和集成学习模型对待检测视频进行识别；反馈模块用于根据第一印象数值和预设的特定任务对经过检测模块识别得到的结果进行分析，输出反馈信息，这样能够客观地判断得到初见之人带给人的第一印象。

【技术实现步骤摘要】
一种基于深度学习的第一印象识别与回馈系统及方法
本专利技术属于电脑视觉与深度学习
，具体涉及一种基于深度学习的第一印象识别与回馈系统及方法。
技术介绍
现有的第一印象识别方法主要透过人在互动时观察对方的脸部特性、表情变化与身体仪态的表现，并根据社会风俗文化等教育来判断初见之人带给人的第一印象为何。且该方法是由人给予的文字回馈或经验判断得到，容易受判断人主观因素的影响，无法成为一个客观量化的标准。且该方法不能给用户提供可以透过演绎的方式(如需工作面试、演讲、相亲等)来达到良好第一印象的目的。
技术实现思路
针对现有技术中的缺陷，本专利技术提供一种基于深度学习的第一印象识别与回馈系统及方法，能够客观地判断得到初见之人带给人的第一印象。一种基于深度学习的第一印象识别与回馈系统，包括采集模块、模型建立模块、检测模块和反馈模块；所述采集模块用于采集视频样本，并从视频样本中筛选目标影像进行数据清洗；还用于对数据清洗后的目标影像进行标注，并根据标注结果计算第一印象数值；所述模型建立模块用于检测视频样本中脸部动作、手部动作和身体动作，根据检测结果建立影像特征学习模型和集成学习模型；所述检测模块用于利用影像特征学习模型和集成学习模型对待检测视频进行识别；所述反馈模块用于根据第一印象数值和预设的特定任务对经过检测模块识别得到的结果进行分析，输出反馈信息。优选地，所述采集模块中的视频样本包括从网络上下载的视频以及录制的视频。优选地，所述采集模块分别对目标影像中的每一帧影像进行多次标注，每个标注内容包括第一印象和印象分值；按照预设的分值过滤范围对标注内容进行头尾过滤，保留印象分值处于分值过滤范围内的标注；按照第一印象对过滤后的标注进行分类，并分别对每一类标注的印象分值求平均，得到每一类标注对应的所述第一印象数值。优选地，所述第一印象包括富有责任感、聪明、老实、自信、不好相处和情绪性。优选地，所述模型建立模块用于检测视频样本中脸部动作、手部动作和身体动作，根据检测结果与标注进行影像特征学习，建立多个模态各自独立的基于深度模型的影像特征学习模型，根据影像特征学习结果进行集成学习，建立集成学习模型。优选地，所述模型建立模块中影像特征学习失败时，其影像特征学习结果设置为零向量。一种基于深度学习的第一印象识别与回馈方法，包括采集步骤：采集视频样本，并从视频样本中筛选目标影像进行数据清洗；标注步骤：对数据清洗后的目标影像进行标注，并根据标注结果计算第一印象数值；模型建立步骤：检测视频样本中脸部动作、手部动作和身体动作，根据检测结果建立影像特征学习模型和集成学习模型；识别步骤：利用影像特征学习模型和集成学习模型对待检测视频进行识别；反馈步骤：根据第一印象数值和预设的特定任务对识别得到的结果进行分析，输出反馈信息。优选地，所述标注步骤中，分别对目标影像中的每一帧影像进行多次标注，每个标注内容包括第一印象和印象分值；按照预设的分值过滤范围对标注内容进行头尾过滤，保留印象分值处于分值过滤范围内的标注；按照第一印象对过滤后的标注进行分类，并分别对每一类标注的印象分值求平均，得到每一类标注对应的所述第一印象数值。优选地，所述模型建立步骤中，检测视频样本中脸部动作、手部动作和身体动作，根据检测结果与标注进行影像特征学习，建立多个模态各自独立的基于深度模型的影像特征学习模型，根据影像特征学习结果进行集成学习，建立集成学习模型。优选地，所述模型建立步骤中，影像特征学习失败时，其影像特征学习结果设置为零向量。由上述技术方案可知，本专利技术提供的一种基于深度学习的第一印象识别与回馈系统及方法，能够客观地判断得到初见之人带给人的第一印象。该方法配合分析数据的反馈，可协助用户在与人交互的过程当中表现出更多令人感到正面的印象与情绪感受。并且进一步可以将此分析数据应用在人机交互场景中，学习人与人良好交互时脸部肌肉变化、面部反应与手部与身体的表现，借以提升与用户互动中的自然体验效果。附图说明为了更清楚地说明本专利技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。图1为第一印象识别与回馈系统的结构框图。图2为第一印象识别与回馈方法的流程图。具体实施方式下面将结合附图对本专利技术技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本专利技术的技术方案，因此只作为示例，而不能以此来限制本专利技术的保护范围。需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本专利技术所属领域技术人员所理解的通常意义。实施例：一种基于深度学习的第一印象识别与回馈系统，如图1所示，包括采集模块、模型建立模块、检测模块和反馈模块；所述采集模块用于采集视频样本，并从视频样本中筛选目标影像进行数据清洗；还用于对数据清洗后的目标影像进行标注，并根据标注结果计算第一印象数值；所述采集模块中的视频样本包括从网络上下载的视频以及录制的视频(例如演讲视频、戏剧视频等)。所述第一印象包括富有责任感、聪明、老实、自信、不好相处和情绪性等。例如第一印象为富有责任感时，其印象分值越高说明视频中表现责任感越强，反之，其印象分值越低说明视频中表现责任感越弱。所述采集模块分别对目标影像中的每一帧影像进行多次标注(同一个目标影像可通过多个人员人工进行多次标注)，每个标注内容包括第一印象和印象分值；按照预设的分值过滤范围对标注内容进行头尾过滤(例如去掉印象分值中10％的最高分和10％最低分)，保留印象分值处于分值过滤范围内的标注；分值过滤范围用户可自行设定。按照第一印象对过滤后的标注进行分类，按照第一印象进行分类，例如富有责任感分一类，聪明分一类等。并分别对每一类标注的印象分值求平均，得到每一类标注对应的所述第一印象数值。所述模型建立模块用于检测视频样本中脸部动作、手部动作和身体动作，根据检测结果建立影像特征学习模型和集成学习模型；所述模型建立模块用于检测视频样本中脸部动作、手部动作和身体动作(此三种类别的检测分别通过脸部、手部与身体的标注资料与深度学习技术训练而得的检测模型得到)，根据检测结果与标注进行影像特征学习，建立多个模态各自独立的基于深度模型的影像特征学习模型(如针对脸部的影像作学习或者针对手部影像等)，而针对每个独立部位做模型架构与参数的调优，并且通过多个模态的输出结果(可以是每个模态的输出结果或者是输出特征)据影像特征学习结果进行集成学习，建立集成学习模型(EnsembleLearning)。以提升整体的识别效能(如将各个模态的输出特征向量做接合并使用多标签线性分类器做学习)。在此说明，所述模型建立模块中影像特征学习失败时，其影像特征学习结果设置为零向量。如果有部分的模态未被成功侦测出，那么只访问成功被侦测出结果的模型的预测值，并且在进行全体学习输入前将未侦测出模态的输出结果直接指定为零向量即可(表示在多标签数值上没有任何的贡献)。即在训练过程，如手部无法正确检测，则只单单考虑面部与身体的模型输出结果。所述检测模块用于利用影像特征学习模型和集成学习模型对待检测视频进行识别；所述反馈模块用于根据第一印象数值和预设的特定任务对经过检测模块识别得到的结果本文档来自技高网...

【技术保护点】
一种基于深度学习的第一印象识别与回馈系统，其特征在于，包括采集模块、模型建立模块、检测模块和反馈模块；所述采集模块用于采集视频样本，并从视频样本中筛选目标影像进行数据清洗；还用于对数据清洗后的目标影像进行标注，并根据标注结果计算第一印象数值；所述模型建立模块用于检测视频样本中脸部动作、手部动作和身体动作，根据检测结果建立影像特征学习模型和集成学习模型；所述检测模块用于利用影像特征学习模型和集成学习模型对待检测视频进行识别；所述反馈模块用于根据第一印象数值和预设的特定任务对经过检测模块识别得到的结果进行分析，输出反馈信息。

【技术特征摘要】
1.一种基于深度学习的第一印象识别与回馈系统，其特征在于，包括采集模块、模型建立模块、检测模块和反馈模块；所述采集模块用于采集视频样本，并从视频样本中筛选目标影像进行数据清洗；还用于对数据清洗后的目标影像进行标注，并根据标注结果计算第一印象数值；所述模型建立模块用于检测视频样本中脸部动作、手部动作和身体动作，根据检测结果建立影像特征学习模型和集成学习模型；所述检测模块用于利用影像特征学习模型和集成学习模型对待检测视频进行识别；所述反馈模块用于根据第一印象数值和预设的特定任务对经过检测模块识别得到的结果进行分析，输出反馈信息。2.根据权利要求1所述基于深度学习的第一印象识别与回馈系统，其特征在于，所述采集模块中的视频样本包括从网络上下载的视频以及录制的视频。3.根据权利要求1所述基于深度学习的第一印象识别与回馈系统，其特征在于，所述采集模块分别对目标影像中的每一帧影像进行多次标注，每个标注内容包括第一印象和印象分值；按照预设的分值过滤范围对标注内容进行头尾过滤，保留印象分值处于分值过滤范围内的标注；按照第一印象对过滤后的标注进行分类，并分别对每一类标注的印象分值求平均，得到每一类标注对应的所述第一印象数值。4.根据权利要求3所述基于深度学习的第一印象识别与回馈系统，其特征在于，所述第一印象包括富有责任感、聪明、老实、自信、不好相处和情绪性。5.根据权利要求1所述基于深度学习的第一印象识别与回馈系统，其特征在于，所述模型建立模块用于检测视频样本中脸部动作、手部动作和身体动作，根据检测结果与标注进行影像特征学习，建立多个模态各自独立的基于深度模型的影像特征学习模型，根据影像特征学习结果进行...

【专利技术属性】
技术研发人员：简仁贤，杨闵淳，何芳琳，潘一汉，
申请(专利权)人：竹间智能科技上海有限公司，
类型：发明
国别省市：上海,31