本申请涉及一种采集和识别情绪数据的方法、系统、装置和介质，其中，该方法包括：通过采集设备获取被采集人员的生理数据和脸部振动数据，通过时间采样标签将脸部振动数据与生理数据进行同步，对同步后的脸部振动数据进行不同标签的关联标注，建立关联索引；对标注后的脸部振动数据进行特征提取，分别生成脸部振动频次热度图和脸部振动幅度热度图，通过自定义卷积神经网络分别对脸部振动频次热度图和脸部振动幅度热度图进行数据处理，输出得到不同标签的概率分布值；将不同标签的概率分布值输入自定义综合决策机，通过决策机对情绪标签向量进行分类识别，得到情绪识别结果。解决缺少对情绪数据的采集分析的问题，实现对情绪数据的采集和检测识别。的采集和检测识别。的采集和检测识别。
【技术实现步骤摘要】
一种采集和识别情绪数据的方法、系统、装置和介质
[0001]本申请涉及数据处理
，特别是涉及一种采集和识别情绪数据的方法、系统、装置和介质。
技术介绍
[0002]随着人工智能技术的快速发展，其应用越来越广泛，尤其适用于心理治疗上。然而通过人工智能技术监测人类情绪变化，需要大量情绪样本数据来训练和优化模型参数。
[0003]人类情绪受外界因素和当前心理状态的影响，复杂多变，不好捕捉，很难采集。情绪样本采集的困难一方面是人类情绪触发与多种有关因素，心理因素难以把握，触发条件也不好把控；另一方面是外部采集环境不可控，如视频采集易受外部光源变化和周边物体反光的影响等。此外，对采样到的情绪样本进行分类时需要专业知识，人工成本也比较高。
[0004]因此，在相关技术中缺少经标定的、与情绪相关的可用于训练深度学习模型的人脸视频特征库和相关生理数据，至今，人工智能技术还未能在人员情绪分析检测方面取得突破。
[0005]目前针对相关技术中缺少对情绪数据的采集分析的问题，尚未提出有效的解决方案。
技术实现思路
[0006]本申请实施例提供了一种采集和识别情绪数据的方法、系统、装置和介质，以至少解决相关技术中缺少对情绪数据的采集分析的问题。
[0007]第一方面，本申请实施例提供了一种采集和识别情绪数据的方法，所述方法包括：
[0008]通过采集设备获取被采集人员的生理数据和脸部振动数据，通过时间采样标签将所述脸部振动数据与所述生理数据进行同步，并对同步后的脸部振动数据进行不同标签的关联标注，建立关联索引信息；
[0009]对标注后的脸部振动数据进行特征提取，分别生成脸部振动频次热度图和脸部振动幅度热度图，通过自定义卷积神经网络分别对所述脸部振动频次热度图和所述脸部振动幅度热度图进行数据处理，输出得到不同标签的概率分布值；
[0010]将所述不同标签的概率分布值输入自定义综合决策机，通过决策机对情绪标签向量进行分类识别，得到情绪识别结果。
[0011]在其中一些实施例中，在通过采集设备获取被采集人员的生理数据和脸部振动数据之前，所述方法包括：
[0012]获取能触发不同情绪的视频流数据，通过所述视频流数据触发被采集人员的情绪。
[0013]在其中一些实施例中，所述通过采集设备获取被采集人员的生理数据和脸部振动数据包括：
[0014]通过头部位置传感器和脑电波传感器分别获取被采集人员受情绪触发后的头部
全局运动参数和脑电波时域信号，以及通过腕带传感器获取心跳、脉搏时域数据，其中，获取的生理参数数据均带有采样时间信息；
[0015]还通过前端摄像机获取被采集人员在观看视频时的人脸图像数据，具体包括：摄像时采用940nm波段光源进行补光，并通过摄像机内部滤波在940nm波段附近采集图像；通过摄像机内置视频预处理软件对采集到的人脸图像数据进行双边滤波、人脸区域检测、帧差累积预处理，获取人脸区域微位移数据。
[0016]在其中一些实施例中，所述索引信息包括：触发不同情绪的视频流数据、被采集人员的观看视频、视频预处理数据、传感器获取的实时数据和情绪反馈类别。
[0017]在其中一些实施例中，对所述情绪类别的评定包括：
[0018]通过评估测试题评定被采集人员观看的触发流视频的情绪类别是否被有效触发，对索引信息的情绪类别信息进行交叉验证；
[0019]并通过交叉验证后的情绪类别标签数据训练决策机中的分类器。
[0020]在其中一些实施例中，通过自定义卷积神经网络分别对所述脸部振动频次热度图和所述脸部振动幅度热度图进行数据处理包括：
[0021]将所述脸部振动频次热度图和所述脸部振动幅度热度图分别输入到四个卷积层和四个池化层中，经扁平化处理得到两个512维度向量，其中，ReLu为激活函数，池化层采用最大池化函数；
[0022]将所述两个512维度向量串联后输入两个全连接层及Softmax层中，输出得到10维度的概率分布值。
[0023]在其中一些实施例中，通过决策机对情绪标签向量进行分类识别包括：
[0024]通过多数投票集成机制对决策机中各个分类器的分类结果进行最终决策，具体包括：每个分类器进行0或1投票，0表示消极情绪，1表示积极情绪，当决策机输出结果大于或等于3分时，最终分类结果为积极，反之，当输出结果为0到2分时，最后分类结果为消极。
[0025]第二方面，本申请实施例提供了一种采集和识别情绪数据的系统，所述系统包括：
[0026]采集标注模块，用于通过采集设备获取被采集人员的生理数据和脸部振动数据，通过时间采样标签将所述脸部振动数据与所述生理数据进行同步，并对同步后的脸部振动数据进行不同标签的关联标注，建立关联索引信息；
[0027]特征提取模块，用于对标注后的脸部振动数据进行特征提取，分别生成脸部振动频次热度图和脸部振动幅度热度图，通过自定义卷积神经网络分别对所述脸部振动频次热度图和所述脸部振动幅度热度图进行数据处理，输出得到不同标签的概率分布值；
[0028]分类识别模块，用于将所述不同标签的概率分布值输入自定义综合决策机，通过决策机对情绪标签向量进行分类识别，得到情绪识别结果。
[0029]第三方面，本申请实施例提供了一种电子装置，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的采集和识别情绪数据的方法。
[0030]第四方面，本申请实施例提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的采集和识别情绪数据的方法。
[0031]相比于相关技术，本申请实施例提供的采集和识别情绪数据的方法，通过采集设备获取被采集人员的生理数据和脸部振动数据，通过时间采样标签将脸部振动数据与生理
数据进行同步，并对同步后的脸部振动数据进行不同标签的关联标注，建立关联索引信息；对标注后的脸部振动数据进行特征提取，分别生成脸部振动频次热度图和脸部振动幅度热度图，通过自定义卷积神经网络分别对脸部振动频次热度图和脸部振动幅度热度图进行数据处理，输出得到不同标签的概率分布值；将不同标签的概率分布值输入自定义综合决策机，通过决策机对情绪标签向量进行分类识别，得到情绪识别结果。
[0032]本申请通过一套可触发观摩主体情绪的音视频材料，采集记录主体头肩部活动的影像以及传感器发送的体温、脉搏、心率变化等生理和头部位置信息，并对获取的数据信息进行自动分类标注；进标注后的数据包含多类情绪数据，对其进行特征提取和神经网络数据处理，能得到不同的情绪标签分类数据，最后通过本申请设计的综合决策机对情绪标签数据进行分类识别，得到最后的识别结果，从而解决相关技术中缺少对情绪数据的采集分析的问题，实现对情绪数据的采集和检测识别。
附图说明
[0033]此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种采集和识别情绪数据的方法，其特征在于，所述方法包括：通过采集设备获取被采集人员的生理数据和脸部振动数据，通过时间采样标签将所述脸部振动数据与所述生理数据进行同步，并对同步后的脸部振动数据进行不同标签的关联标注，建立关联索引信息；对标注后的脸部振动数据进行特征提取，分别生成脸部振动频次热度图和脸部振动幅度热度图，通过自定义卷积神经网络分别对所述脸部振动频次热度图和所述脸部振动幅度热度图进行数据处理，输出得到不同标签的概率分布值；将所述不同标签的概率分布值输入自定义综合决策机，通过决策机对情绪标签向量进行分类识别，得到情绪识别结果。2.根据权利要求1所述的方法，其特征在于，在通过采集设备获取被采集人员的生理数据和脸部振动数据之前，所述方法包括：获取能触发不同情绪的视频流数据，通过所述视频流数据触发被采集人员的情绪。3.根据权利要求1或2所述的方法，其特征在于，所述通过采集设备获取被采集人员的生理数据和脸部振动数据包括：通过头部位置传感器和脑电波传感器分别获取被采集人员受情绪触发后的头部全局运动参数和脑电波时域信号，以及通过腕带传感器获取心跳、脉搏时域数据，其中，获取的生理参数数据均带有采样时间信息；还通过前端摄像机获取被采集人员在观看视频时的人脸图像数据，具体包括：摄像时采用940nm波段光源进行补光，并通过摄像机内部滤波在940nm波段附近采集图像；通过摄像机内置视频预处理软件对采集到的人脸图像数据进行双边滤波、人脸区域检测、帧差累积预处理，获取人脸区域微位移数据。4.根据权利要求1所述的方法，其特征在于，所述索引信息包括：触发不同情绪的视频流数据、被采集人员的观看视频、视频预处理数据、传感器获取的实时数据和情绪反馈类别。5.根据权利要求4所述的方法，其特征在于，对所述情绪类别的评定包括：通过评估测试题评定被采集人员观看的触发流视频的情绪类别是否被有效触发，对索引信息的情绪类别信息进行交叉验证；并通过交叉验证后的情绪类别标签数据训练决策机中的分类...
【专利技术属性】
技术研发人员：仇强，苏衣福，王增锹，
申请(专利权)人：杭州智诺云眼科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。