一种图像分析的方法、装置、计算机存储介质及终端制造方法及图纸

一种图像分析的方法、装置、计算机存储介质及终端，包括：根据用户表情样本图像和来自数据库的面部图像，构建训练图像集；根据构建的训练图像集进行模型训练；通过训练后的模型对用户表情日常图像进行分析，确定用户心理状态。本发明专利技术实施例通过图像信息实现了用户心理状态的确定，降低了确定用户心理状态的资源消耗，提升了分析用户心理状态的效率。

A Method, Device, Computer Storage Media and Terminal for Image Analysis

A method, device, computer storage medium and terminal for image analysis includes: building training image set according to user's facial expression sample image and facial image from database; training model according to the training image set; analyzing daily user's facial expression image through trained model to determine user's psychological state. The embodiment of the invention realizes the determination of the user's psychological state through image information, reduces the resource consumption of determining the user's psychological state, and improves the efficiency of analyzing the user's psychological state.

【技术实现步骤摘要】
一种图像分析的方法、装置、计算机存储介质及终端
本文涉及但不限于多媒体分析技术，尤指一种图像分析的方法、装置、计算机存储介质及终端。
技术介绍
近年来，随着科学技术的发展和互联网类企业的兴起，体力劳动逐渐被工业化器械所替代，脑力劳动成为社会工作的主流。在体力劳动时代，工作效率取决于工人的工作时间和工作速度，但在脑力劳动时代，工作效率往往与工作时的精神状态是否饱满和工作时是否有一些新的创意存在主要关联；鉴于劳动类型的转换，一些现代化的集团企业，管理者对员工的精神状态和潜在的心理问题愈发重视。目前，一些公司通过搭建心理咨询或心理辅导系统来解决员工的心理问题，但是此类系统主要以员工主动提出问题作为前提，当员工不提出问题或未意识到出现问题，则心理专家将无法发生作用，无法对员工的心理问题进行解答，员工的心理状态无法得到改善。另外，一些公司对员工心理问题的处理，主要依赖员工关怀活动或员工关怀系统，进行周期性的管理，通过人工的方式进行策划、筛选、分析和判断，需要消耗大量的人力资源，且效果受组织力度的影响。
技术实现思路
以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。本专利技术实施例提供一种图像分析的方法、装置、计算机存储介质及终端，能够降低确定用户心理状态的资源消耗，提升分析用户心理状态的效率。本专利技术实施例提供了一种图像分析的方法，包括：根据用户表情样本图像和来自数据库的面部图像，构建训练图像集；根据构建的训练图像集进行模型训练；通过训练后的模型对用户表情日常图像进行分析，确定用户心理状态。可选的，所述构建训练图像集包括：对预设数值个用户，分别获取各个用户表达预设种情绪的第一图像；对获取的所述第一图像进行人脸识别后，切分获得对应于各用户的与所述面部图像格式相同的第二图像；按照预设的筛选策略对所述第二图像进行筛选后，获得各用户的用户表情样本图像；将获得的所有用户的所述用户表情样本图像作为第一图像集；从预设的面部表情数据库中读取预设数量的面部图像，将读取的所有所述面部图像作为第二图像集；合并所述第一图像集和所述第二图像集后，获得所述训练图像集；其中，所述第二图像集包含的图像数量大于所述第一图像集包含的图像数量；所述情绪包括以下部分或全部：开心、惊喜、淡然、愤怒、悲伤、生气、害怕。可选的，所述面部表情数据库包括：Fer2013数据库。可选的，所述根据构建的训练图像集进行模型训练包括：按照预设的表情分类，对获得的所述训练图像集中的各图像分别进行标记；对标记后的各图像分别进行预设次数的角度倾斜处理，获得相应数量的角度倾斜图像；根据获得的所有所述角度倾斜图像进行卷积神经网络(CNN)模型训练。可选的，所述表情分类包括以下部分或全部分类：积极、正常、消极。可选的，所述角度倾斜处理的角度通过采集所述用户表情日常图像的传感器的工作角度确定。可选的，所述根据获得的角度倾斜图像进行CNN模型训练包括：确定所有所述角度倾斜图像中训练集和验证集的比例；根据确定的训练集和验证集的比例，将获得的所有所述角度倾斜图像输入到预先设定的CNN模型中，进行CNN模型的训练。可选的，所述确定用户心理状态包括：从采集的预设时长的视频文件中，获得所述用户表情日常图像；将获得的每一张所述用户表情日常图像，分别输入到完成训练的CNN模型中，获得对应于各所述用户表情日常图像的概率向量；根据获得的概率向量，确定用户的心理状态。其中，所述用户表情日常图像的格式与所述面部图像的格式相同；所述概率向量用于表示当前用户表情日常图像中用户的表情属于不同表情分类的概率。可选的，所述确定用户的心理状态包括：将从预设时长的视频文件中获得的所有所述用户表情日常图像的概率向量，根据表情分类的所属不同，分别进行概率的累加；当表情分类对应的概率累加和大于预设的累加阈值时，确定用户的心理状态为该表情分类对应的状态。可选的，所述获得用户表情日常图像之前，所述方法还包括：对所述视频文件中包含的图像进行角度校正。另一方面，本专利技术实施例还提供一种图像分析的装置，其特征在于，包括：构建单元、训练单元和分析单元；其中，构建单元用于：根据用户表情样本图像和来自数据库的面部图像，构建训练图像集；训练单元用于：根据构建的训练图像集进行模型训练；分析单元用于：通过训练后的模型对用户表情日常图像进行分析，确定用户心理状态。可选的，所述构建单元具体用于：对预设数值个用户，分别获取各个用户表达预设种情绪的第一图像；对获取的所述第一图像进行人脸识别后，切分获得对应于各用户的与所述面部图像格式相同的第二图像；按照预设的筛选策略对所述第二图像进行筛选后，获得各用户的用户表情样本图像；将获得的所有用户的所述用户表情样本图像作为第一图像集；从预设的面部表情数据库中读取预设数量的面部图像，将读取的所有所述面部图像作为第二图像集；合并所述第一图像集和所述第二图像集后，获得所述训练图像集；其中，所述第二图像集包含的图像数量大于所述第一图像集包含的图像数量；所述情绪包括以下部分或全部：开心、惊喜、淡然、愤怒、悲伤、生气、害怕。可选的，所述面部表情数据库包括：Fer2013数据库。可选的，所述训练单元具体用于：按照预设的表情分类，对获得的所述训练图像集中的各图像分别进行标记；对标记后的各图像分别进行预设次数的角度倾斜处理，获得相应数量的角度倾斜图像；根据获得的所有所述角度倾斜图像进行卷积神经网络(CNN)模型训练。可选的，所述表情分类包括以下部分或全部分类：积极、正常、消极。可选的，所述训练单元用于根据获得的角度倾斜图像进行CNN模型训练包括：确定所有所述角度倾斜图像中训练集和验证集的比例；根据确定的训练集和验证集的比例，将获得的所有所述角度倾斜图像输入到预先设定的CNN模型中，进行CNN模型的训练。可选的，所述分析单元具体用于：从采集的预设时长的视频文件中，获得所述用户表情日常图像；将获得的每一张所述用户表情日常图像，分别输入到完成训练的CNN模型中，获得对应于各所述用户表情日常图像的概率向量；根据获得的概率向量，确定用户的心理状态。其中，所述用户表情日常图像的格式与所述面部图像的格式相同；所述概率向量用于表示当前用户表情日常图像中用户的表情属于不同表情分类的概率。可选的，所述分析单元用于确定用户的心理状态包括：将从预设时长的视频文件中获得的所有所述用户表情日常图像的概率向量，根据表情分类的所属不同，分别进行概率的累加；当表情分类对应的概率累加和大于预设的累加阈值时，确定用户的心理状态为该表情分类对应的状态。可选的，所述分析单元还用于：对所述视频文件中包含的图像进行角度校正。再一方面，本专利技术实施例还提供一种计算机存储介质，所述计算机存储介质中存储有计算机可执行指令，所述计算机可执行指令用于执行上述图像分析的方法。还一方面，本专利技术实施例还提供一种终端，包括：存储器和处理器；其中，处理器被配置为执行存储器中的程序指令；程序指令在处理器读取执行以下操作：根据用户表情样本图像和来自数据库的面部图像，构建训练图像集；根据构建的训练图像集进行模型训练；通过训练后的模型对用户表情日常图像进行分析，确定用户心理状态。与相关技术相比，本申请技术方案包括：根据用户表情样本图像和来自数据库的面部图像，构建训练图像集；根据构本文档来自技高网...

【技术保护点】
1.一种图像分析的方法，其特征在于，包括：根据用户表情样本图像和来自数据库的面部图像，构建训练图像集；根据构建的训练图像集进行模型训练；通过训练后的模型对用户表情日常图像进行分析，确定用户心理状态。

【技术特征摘要】
1.一种图像分析的方法，其特征在于，包括：根据用户表情样本图像和来自数据库的面部图像，构建训练图像集；根据构建的训练图像集进行模型训练；通过训练后的模型对用户表情日常图像进行分析，确定用户心理状态。2.根据权利要求1所述的方法，其特征在于，所述构建训练图像集包括：对预设数值个用户，分别获取各个用户表达预设种情绪的第一图像；对获取的所述第一图像进行人脸识别后，切分获得对应于各用户的与所述面部图像格式相同的第二图像；按照预设的筛选策略对所述第二图像进行筛选后，获得各用户的用户表情样本图像；将获得的所有用户的所述用户表情样本图像作为第一图像集；从预设的面部表情数据库中读取预设数量的面部图像，将读取的所有所述面部图像作为第二图像集；合并所述第一图像集和所述第二图像集后，获得所述训练图像集；其中，所述第二图像集包含的图像数量大于所述第一图像集包含的图像数量；所述情绪包括以下部分或全部：开心、惊喜、淡然、愤怒、悲伤、生气、害怕。3.根据权利要求2所述的方法，其特征在于，所述面部表情数据库包括：Fer2013数据库。4.根据权利要求2所述的方法，其特征在于，所述根据构建的训练图像集进行模型训练包括：按照预设的表情分类，对获得的所述训练图像集中的各图像分别进行标记；对标记后的各图像分别进行预设次数的角度倾斜处理，获得相应数量的角度倾斜图像；根据获得的所有所述角度倾斜图像进行卷积神经网络(CNN)模型训练。5.根据权利要求4所述的方法，其特征在于，所述表情分类包括以下部分或全部分类：积极、正常、消极。6.根据权利要求4所述的方法，其特征在于，所述角度倾斜处理的角度通过采集所述用户表情日常图像的传感器的工作角度确定。7.根据权利要求5所述的方法，其特征在于，所述根据获得的角度倾斜图像进行CNN模型训练包括：确定所有所述角度倾斜图像中训练集和验证集的比例；根据确定的训练集和验证集的比例，将获得的所有所述角度倾斜图像输入到预先设定的CNN模型中，进行CNN模型的训练。8.根据权利要求4所述的方法，其特征在于，所述确定用户心理状态包括：从采集的预设时长的视频文件中，获得所述用户表情日常图像；将获得的每一张所述用户表情日常图像，分别输入到完成训练的CNN模型中，获得对应于各所述用户表情日常图像的概率向量；根据获得的概率向量，确定用户的心理状态；其中，所述用户表情日常图像的格式与所述面部图像的格式相同；所述概率向量用于表示当前用户表情日常图像中用户的表情属于不同表情分类的概率。9.根据权利要求8所述的方法，其特征在于，所述确定用户的心理状态包括：将从预设时长的视频文件中获得的所有所述用户表情日常图像的概率向量，根据表情分类的所属不同，分别进行概率的累加；当表情分类对应的概率累加和大于预设的累加阈值时，确定用户的心理状态为该表情分类对应的状态。10.根据权利要求8所述的方法，其特征在于，所述获得用户表情日常图像之前，所述方法还包括：对所述视频文件中包含的图像进行角度校正。11.一种图像分析的装置，其特征在于，包括：构建单元、训练单元和分析单元；其中，构建单元用于：根据用户表情样本图像和来自数据库的面部图像，构建训练图像集；训练单元用于：根据构建的训练图像集进...

【专利技术属性】
技术研发人员：张瑞海，
申请(专利权)人：厦门集微科技有限公司，
类型：发明
国别省市：福建,35