基于实时情感识别的自媒体内容推荐方法技术

本发明专利技术提供一种基于实时情感识别的自媒体内容推荐方法，对内容发布者在平台发布的自媒体内容进行保存；并将用户信息、用户互动记录与自媒体内容的发表时间进行保存；对用户查看自媒体内容时的表情进行拍照，得到面部表情图片；对所述面部表情图片进行表情解析与分类；取表情分类解析后概率最大的表情值作为用户面部表情，与对应查看的自媒体内容相关联；收集自媒体内容与用户面部表情数据，包括内容发布者ID、自媒体内容、表情类别、内容观看者ID以及观看时间，进行统计与数据分析，向用户反馈并提供个性化的内容推荐。

【技术实现步骤摘要】
基于实时情感识别的自媒体内容推荐方法
本专利技术属于自媒体信息交互领域，具体涉及一种基于实时情感识别的自媒体内容推荐方法。
技术介绍
随着人工智能的发展，向人们提供内容推荐逐渐成为了重要的研究课题。在目前的互联网应用中，大多数是基于人们输入的文本信息进行的。而理解人类的情感主要可以通过三个元素：语言内容、语言语气以及说话者的面部表情。而在这其中，获取表情传达的信息最为简单准确。直接通过输入的文本信息进行内容推荐，可能不够准确。
技术实现思路
本专利技术要解决的技术问题是：提供一种基于实时情感识别的自媒体内容推荐方法，能够更加准确的识别用户的真实反应。本专利技术为解决上述技术问题所采取的技术方案为：一种基于实时情感识别的自媒体内容推荐方法，其特征在于：本方法包括以下步骤：S1、对内容发布者在平台发布的自媒体内容进行保存；并将用户信息、用户互动记录与自媒体内容的发表时间进行保存；S2、对用户查看自媒体内容时的表情进行拍照，得到面部表情图片；S3、对所述面部表情图片进行表情解析与分类；S4、取表情分类解析后概率最大的表情值作为用户面部表情，与对应查看的自媒体内容相关联；S5、收集自媒体内容与用户面部表情数据，包括内容发布者ID、自媒体内容、表情类别、内容观看者ID以及观看时间，进行统计与数据分析，向用户反馈并提供个性化的内容推荐。按上述方案，所述的S3具体包括：预设N种表情分类，采用加载训练好的基于深度学习框架的表情识别模型，构建表情分类解析算法，然后利用表情分类解析算法，采用多分类方法，对所述面部表情图片进行预测，得到每种表情分类的概率。按上述方案，所述的S4还包括：预设每种表情分类的动画，将用户面部表情对应的动画呈现在用户UI，使交互界面实时反映用户的情绪，达到情感化交互的效果。按上述方案，所述的S5具体包括：所述的表情分类包括开心，对应好感程度，对于内容发布者来说，判断内容观看者对自媒体内容的好感程度的关系式如下：Favorablity＝happyCount/(totalCount)即基于某个自媒体内容的统计，Favorablity为内容观看者对自媒体内容的好感程度，happyCount为该自媒体内容所获得的用户观看内容后的表情分类为开心的统计，totalCount为该自媒体内容所获得的所有表情；同理统计自媒体内容获得每种表情分类的比例；依据自媒体内容获得每种表情分类的比例，内容发布者分析自己发送的自媒体内容质量；对内容平台来说，对用户进行基于最真实的流行度以及用户感兴趣的领域进行综合推荐，统计一定时间内全平台所发送的所有自媒体内容，根据不同的表情类别得到好感度最高的内容，进行推荐。按上述方案，所述的N种表情分类具体为愤怒、恐惧、快乐、悲伤、惊讶和中立6种。按上述方案，所述的S2在内容观看者浏览自媒体内容时，调取手机摄像头，开始捕捉用户浏览当前照片或者视频时候的面部表情；截取到内容观看者的一帧照片后，对照片进行预处理。按上述方案，所述的预处理包括：计算照片模糊度，选择清晰的照片；对照片进行灰度处理，初步压缩；人脸检测，即判断初步压缩后的照片中是否存在人脸，若不存在则丢弃该帧，若存在多张人脸，取面积最大的人脸；人脸裁剪，将整张照片中非人脸的部分去除掉，只保留人脸的部分；二次压缩，在不影响识别率的情况下，将只保留人脸的照片进行压缩，得到面部表情照片。按上述方案，所述S3中表情识别模型的构建过程如下：表情识别模型包括3层卷积层C1、C2、C3，3层池化层S1、S2、S3，1层Flatten层，2层全连接层FC1、FC2，2层Dropout层和1层SoftMax层；输入层是48*48的人脸像素矩阵，在卷积之前，会进行一层ZeroPadding，对图片的边界填充为0，以保证图像卷积后大小仍然不变；卷积层和池化层有若干个特征图，每个特征图都与其前一层特征图以局部连接的方式相连接，卷积层C1、C2、C3分别使用32、64、128个卷积进行卷积操作，每个卷积层使用的卷积核的大小都为3×3；池化层S1、S2使用的采样窗口的大小为2×2；Flatten层把卷出来的三维的层，抹平成一维的，便于全连接；训练过程中每次更新参数时随机断开一定百分比的输入神经元连Dropout层用于防止过拟合；SoftMax层含有6个神经元，对全连接层输出的特征进行分类，将人脸表情分成N类。按上述方案，所述的自媒体内容包括文字、图片和/或视频。按上述方案，所述的用户互动记录包括点赞和评论。本专利技术的有益效果为：1、通过将表情识别应用到自媒体娱乐场景中，提供了一种内容发布者判断其发布的自媒体内容的最真实的好感度分析和改进方法，使得内容发布者可以提供更迎合内容观看者需求的自媒体内容；提供了一种基于用户最真实反应的自媒体内容推荐算法，记录用户观看自媒体内容的最真实的反应，一方面不需要用户手动评分，另一方面，是基于用户最真实的评价，不用担心虚假评价而造成推荐内容的不真实。2、提供了一种基于内容观看者真实反应的实时情感化交互界面，首先用户不再需要手动点赞，对自媒体内容的真实感受由本系统自动记录，其次基于深度学习的表情识别，实时性非常好，交互界面运用与用户表情一致的gif动画，实时跟踪用户表情。附图说明图1为本专利技术一实施例的方法流程图。图2为本专利技术一实施例中照片预处理流程图。图3为本专利技术一实施例中表情识别模型的构建过程图。具体实施方式下面结合具体实例和附图对本专利技术做进一步说明。本专利技术将表情识别技术应用于自媒体娱乐场景，属于一种新的应用尝试，并且其可以促进自媒体娱乐内容的正向发展。其特征在于其应用包含以下三个方面：[1]内容质量分析：对于内容发布者来说，可以通过统计用户在观看内容时产生的表情数据，对自己发布的内容进行分析，知道哪些内容是用户喜欢的，哪些是用户不喜欢的，从而可以对自己发布的内容有针对的进行改进；[2]内容评价生成：对于内容观看者来说，不再需要手动点赞有趣的内容或者短视频，完全靠观看内容时真实的表现而产生评价，并运用gif动画使交互界面反映并贴合用户情绪，满足用户从行为水平到反思水平的心理需求；[3]内容真实反馈及推荐：对于内容平台来说，不再需要担心内容发布者刷虚假点赞，虚假评论等，完全收集内容观看者的真实情感表达。进而可以基于全平台统计用户最喜欢的自媒体内容，有针对的进行推荐，增加用户粘性，提升用户体验。本专利技术提供一种基于实时情感识别的自媒体内容推荐方法，如图1所示，本方法包括以下步骤：S1、对内容发布者在平台发布的自媒体内容，如文字、图片与视频等内容，进行保存；并将用户信息、用户互动记录(点赞、评论)与自媒体内容的发表时间进行保存。S2、对用户查看自媒体内容时的表情进行拍照，得本文档来自技高网...

【技术保护点】
1.一种基于实时情感识别的自媒体内容推荐方法，其特征在于：本方法包括以下步骤：/nS1、对内容发布者在平台发布的自媒体内容进行保存；并将用户信息、用户互动记录与自媒体内容的发表时间进行保存；/nS2、对用户查看自媒体内容时的表情进行拍照，得到面部表情图片；/nS3、对所述面部表情图片进行表情解析与分类；/nS4、取表情分类解析后概率最大的表情值作为用户面部表情，与对应查看的自媒体内容相关联；/nS5、收集自媒体内容与用户面部表情数据，包括内容发布者ID、自媒体内容、表情类别、内容观看者ID以及观看时间，进行统计与数据分析，向用户反馈并提供个性化的内容推荐。/n

【技术特征摘要】
1.一种基于实时情感识别的自媒体内容推荐方法，其特征在于：本方法包括以下步骤：
S1、对内容发布者在平台发布的自媒体内容进行保存；并将用户信息、用户互动记录与自媒体内容的发表时间进行保存；
S2、对用户查看自媒体内容时的表情进行拍照，得到面部表情图片；
S3、对所述面部表情图片进行表情解析与分类；
S4、取表情分类解析后概率最大的表情值作为用户面部表情，与对应查看的自媒体内容相关联；
S5、收集自媒体内容与用户面部表情数据，包括内容发布者ID、自媒体内容、表情类别、内容观看者ID以及观看时间，进行统计与数据分析，向用户反馈并提供个性化的内容推荐。


2.根据权利要求1所述的基于实时情感识别的自媒体内容推荐方法，其特征在于：所述的S3具体包括：
预设N种表情分类，采用加载训练好的基于深度学习框架的表情识别模型，构建表情分类解析算法，然后利用表情分类解析算法，采用多分类方法，对所述面部表情图片进行预测，得到每种表情分类的概率。


3.根据权利要求2所述的基于实时情感识别的自媒体内容推荐方法，其特征在于：所述的S4还包括：
预设每种表情分类的动画，将用户面部表情对应的动画呈现在用户UI，使交互界面实时反映用户的情绪，达到情感化交互的效果。


4.根据权利要求1所述的基于实时情感识别的自媒体内容推荐方法，其特征在于：所述的S5具体包括：
所述的表情分类包括开心，对应好感程度，对于内容发布者来说，判断内容观看者对自媒体内容的好感程度的关系式如下：

Favorablity=happyCount/(totalCount)

即基于某个自媒体内容的统计，Favorablity为内容观看者对自媒体内容的好感程度，为该自媒体内容所获得的用户观看内容后的表情分类为开心的统计，为该自媒体内容所获得的所有表情；
同理统计自媒体内容获得每种表情分类的比例；依据自媒体内容获得每种表情分类的比例，内容发布者分析自己发送的自媒体内容质量；
对内容平台来说，对用户进行基于最真实的流行度以及用户感兴趣的领域进行综合推荐，统计一定时间内全平台所发送的所有自媒体内容，根据不同的表情类别得到好感度最高的内容，进行推荐。


5.根据权利要求2所述的基于实时情感识别的自媒体内容...

【专利技术属性】
技术研发人员：朱卫平，孙文祥，陈佳玲，徐昊天，
申请(专利权)人：武汉大学，
类型：发明
国别省市：湖北;42