基于微表情的人屏互动方法、系统和装置制造方法及图纸

本发明专利技术公开了基于微表情的人屏互动方法、系统和装置，该方法包括：S1:实时采集光学图像信息；S2:识别出人脸图像序列；S3：将人脸图像序列输入至预训练的微表情识别模型中，提取表明微表情标识的特征信息序列，降维处理后与预设的兴趣分类表建立关联，映射出人脸图像序列所表示的兴趣度，并转换为兴趣指标值输出；S4：获取当前微表情适配的兴趣指标值，在兴趣指标值超过兴趣阈值时，获取当前微表情时间段信息内屏上播放的内容信息，建立其人脸所在用户与屏上播放内容标识之间的关联关系，以便后续自适应推送播放内容。本发明专利技术通过识别微表情获取用户兴趣，从而得到用户的真是需求，具有较高的商业价值。

【技术实现步骤摘要】
基于微表情的人屏互动方法、系统和装置
本专利技术涉及人工智能方法，尤其涉及一种基于微表情的人屏互动方法、系统和装置。
技术介绍
微表情是一种特殊的面部表情，它反应了一个人内心真实的情感。人们用肉眼很难发现微表情，其持续时间很短、强度很弱，大约为1/25s-1/5s。也有研究人员认为其持续时间小于450ms。由于微表情所具有的这些特性，使其在多个领域有着广泛的应用前景。在早期，研究人员都是通过心理学的方式在研究微表情，并且都是注重于个体微表情的识别。微表情的第一个训练工具METT(MicroExpressionTrainingTool)就是由心理学家Ekman在2002年创建的，但是其识别峰值只在40％左右，这远远达不到商用的要求。随着计算机技术的飞速发展，微表情不再使用早期心理学方法进行研究，更多的是采用计算机视觉、模式识别的方法。2011年国内成功创建了自发的微表情数据库CASME和CASMEII，为微表情识别研究做出了巨大贡献。2007年将LBP扩展到了三维空间，提出动态纹理特征的算法LBP_TOP，LBP_TOP是在三个正本文档来自技高网...

【技术保护点】
1.基于微表情的人屏互动方法，其特征在于，所述方法包括：/nS1：实时采集包括人脸在内的光学图像信息，并将图像信息处理后压缩，保存至缓存区域；/nS2：获取所述缓存区域中预设时间段内的图像信息，并组成视频片段；利用OpenCV算法读取所述视频片段中的数字图像序列，并通过人脸识别技术识别出所述数字图像序列中的人脸图像序列，并判断所述人脸图像序列中的图像帧数量是否超过阈值数量，若超过，则记录所述人脸图像序列当前所在的时间段信息，并进入步骤S3，否则循环执行步骤S2；/nS3：将所述人脸图像序列输入至预训练的微表情识别模型中，提取所述人脸图像序列中表明微表情标识的特征信息序列，降维处理后与预设的兴趣...

【技术特征摘要】
1.基于微表情的人屏互动方法，其特征在于，所述方法包括：
S1：实时采集包括人脸在内的光学图像信息，并将图像信息处理后压缩，保存至缓存区域；
S2：获取所述缓存区域中预设时间段内的图像信息，并组成视频片段；利用OpenCV算法读取所述视频片段中的数字图像序列，并通过人脸识别技术识别出所述数字图像序列中的人脸图像序列，并判断所述人脸图像序列中的图像帧数量是否超过阈值数量，若超过，则记录所述人脸图像序列当前所在的时间段信息，并进入步骤S3，否则循环执行步骤S2；
S3：将所述人脸图像序列输入至预训练的微表情识别模型中，提取所述人脸图像序列中表明微表情标识的特征信息序列，降维处理后与预设的兴趣分类表建立关联，映射出所述人脸图像序列所表示的兴趣度，并转换为兴趣指标值输出；
S4：获取当前微表情适配的兴趣指标值，在所述兴趣指标值超过兴趣阈值时，获取当前微表情时间段信息内所述屏上播放的内容信息，建立其所述人脸所在用户与所述屏上播放内容标识之间的关联关系，以便后续自适应推送播放内容。


2.如权利要求1所述的基于微表情的人屏互动方法，其特征在于，所述步骤S2中，利用OpenCV算法读取所述视频片段中的数字图像序列，进一步包括：利用OpenCV算法中的VideoCapture类重载操作符获取数字图像序列：
通过VideoCapture：：open()函数打开视频片段，VideoCapture：：open()函数自动调用VideoCapture：：release()函数，释放已经打开的视频片段，然后利用VideoCapture：：read()函数读取释放的视频片段，进而将视频片段解析为数字图像序列。


3.如权利要求2所述的基于微表情的人屏互动方法，其特征在于，所述步骤S2中，通过人脸识别技术识别出所述数字图像序列中的人脸图像序列，进一步包括：
S210：初始化人脸图像序列；
按时间序列读取数字图像序列中的第一帧数字图像，并利用Yolo算法，识别出第一帧数字图像中的第一人脸图像，将第一人脸图像分割为d个人脸p1，p2，...，pd，初始化人脸序列S1＝{p1}，S2＝{p2}，...，Sd＝{pd}；
S220：按顺序分析视频片段后续图像；
按照时间序列读取数字图像序列中的第二帧数字图像，并利用Yolo算法，识别出第二帧数字图像中的第二人脸图像，将第二人脸图像分割为q1，q2，...，qd；利用FaceNet算法，将q1，q2，...，qd和p1，p2，...，pd进行比对，若其中有一个pm与ql相似，那么将ql插入pm的尾部；否则丢弃ql；输出人脸图像序列，且所述人脸图像序列为包含同一人脸的一系列脸部图像。


4.如权利要求3所述的基于微表情的人屏互动方法，其特征在于，所述步骤S3中，所述微表情识别模型的预训练方法包括：构建三维卷积神经网络结构，其包括：输入层、3D卷积层、3D最大池化层、第一dropout层、flatten层、第一全连接层、第二dropout层、第二全连接层以及激活层；
收集若干标识有兴趣类别的脸部图像序列，将各所述脸部图像序列依次通过输入层、3D卷积层、3D最大池化层、第一dropout层、flatten层、第一全连接层、第二dropout层、第二全连接层、激活层后，输出兴趣指标值。


5.如权利要求4所述的基于微表情的人屏互动方法，其特征在于，所述步骤S3中，利用所述微表情识别模型获取人脸图像序列的兴趣指标值的方法进一步包括：
所述输入层，用于接收所述人脸图像序列中的多维信息数据，包括图像帧数据和图像帧数量；
所述3D卷积层，用于对各所述图像帧进行分割，提取特征信息，得到多个特征信息序列；
所述3D最大池化层，用于对所述特征信息序列进行最大池化处理后，得到多个微表情...

【专利技术属性】
技术研发人员：艾旭升，陈涛，娄方浩，陈园园，
申请(专利权)人：苏州工业职业技术学院，
类型：发明
国别省市：江苏;32