一种用于广告屏的三维人脸表情识别打分评估方法技术

本发明专利技术提供了一种用于广告屏的三维人脸表情识别打分评估方法，所述广告屏具有显示屏、支撑架、控制器、中央处理器、摄像机、人体红外传感器和无线通信模块，所述摄像机设置在显示屏的两侧，所述方法包括如下步骤:(1)、所述控制器根据显示屏的高度调节相机的角度；(2)、所述人体红外传感器检测到广告屏前有人通过时，控制器控制摄像机拍摄图片；(3)、所述中央处理器提取图像中的人脸区域，并进行三维人脸重建；(4)、中央处理器将重建后的三维人脸按表情进行分类，对不同类别中的表情进行评分；(5)、所述无线通信模块将评分结果发送到移动终端。本发明专利技术能够准确的判断用于对广告的喜欢程度。

A Scoring and Evaluation Method for 3D Face Expression Recognition on Advertising Screen

【技术实现步骤摘要】
一种用于广告屏的三维人脸表情识别打分评估方法
本专利技术所属人脸识别
，涉及一种用于广告屏的三维人脸表情识别打分评估方法。
技术介绍
在公共场所，游客观看显示屏上的广告，通过摄像头采集到的人脸情图像，再通过上述提出的识别方法，对游客表情进行分析，判断游客对广告的感兴趣程度。当游客出现厌恶、愤怒、中性时，表示游客对广告不感兴趣，否则为感兴趣，通过人脸表情识别对游客(顾客)观看广告时的满意度分析。系统会实时采集数据并收集，事后对收集到的信息按月进行统计分析，对投放的广告按满意度排序，可以参考该排序，合理的安排下个阶段的广告投放。这样可以有效提高广告投放的针对性和宣传效果，降低成本，提高效益。现有技术的不足：CN201210006449视觉广告效果评估系统及方法：通过行人流量、行人观看比例以及行人观看时间数据来判断广告效果，而人流量主要受地段的影响，行人观看比例主要受广告的摆放位置和方向，行人观看时间主要受行人本身时间等其它因素的影响，虽然也可以大致的判断此广告的大致效果，但不能准确的判断此广告是否受客户喜爱程度。CN201611027268广告质量评估方法及装置：用户的表情与预设定的表情匹配时，判断用户喜爱该广告，但人脸表情变化比较丰富，稍微变化可能就无法与预设定的表情匹配，影响广告质量评估的准确性。
技术实现思路
针对上述问题，本专利技术提供了一种用于广告屏的三维人脸表情识别打分评估方法，采用三维人脸表情识别，克服二维人脸表情受姿态、光照等因素的影响。为实现以上目的，本专利技术采用下述技术方案：一种用于广告屏的三维人脸表情识别打分评估方法，所述广告屏具有显示屏、支撑架、控制器、中央处理器、摄像机、人体红外传感器和无线通信模块，所述摄像机设置在显示屏的两侧，所述方法包括如下步骤:S1、所述控制器根据显示屏的高度调节相机的角度；S2、所述人体红外传感器检测到广告屏前有人通过时，控制器控制摄像机拍摄图片；S3、所述中央处理器提取图像中的人脸区域，并进行三维人脸重建；S4、中央处理器将重建后的三维人脸按表情进行分类，对不同类别中的表情进行评分；S5、所述无线通信模块将评分结果发送到移动终端。进一步地，所述广告屏具有高度传感器，在所述步骤S1包括步骤：S11、高度传感器获取显示屏的中心距地面的高度；S12、所述控制器根据高度数值对应的调节所述摄像机的角度；所述步骤S3包括步骤：S31、所述中央处理器分别提取两个摄像机拍摄图像中的人脸部分；S32、将提取出的人脸区域拼接成一个完整的人脸图像；S33、根据人脸图像进行三维人脸重建；所述步骤S4包括步骤：S41、将三维人脸与标准三维人脸进行匹配，实现表情分类；S42、根据不同类别中的三维人脸与标准类别中的标准三维人脸的相似程度进行评分。进一步地，所述控制器控制显示屏上广告显示。进一步地，所述中央处理器通过拍摄的图像识别观看者的性别，所述中央处理器按性别将广告的进行分类评分。进一步地，所述步骤S3中，如未能进行完整的三维人脸重建，则判断观看者不喜欢该广告，评分为0。进一步地，所述步骤S4中的类别包括喜爱、厌烦和不感兴趣。进一步地，所述步骤S4中是通过支持向量机实现表情分类。进一步地，所述用户根据移动终端的提示进行广告的设计。进一步地，所述摄像机通过支撑座设置在显示屏的两侧，所述支撑座与控制器连接，在检测到显示屏前出现人体活动时，所述摄像机拍摄多张图片，所述中央处理器根据拍摄的多张图片处理判断人体的移动方向，同时控制器控制支撑座旋转调整相机的视角，所述中央处理器选取重建的最为完整的三维人脸进行分类、评分。本专利技术采用三维人脸表情识别，克服二维人脸表情受姿态、光照等因素的影响。对收集到的人脸表情信息按月进行统计分析，并进行打分，通过分数判断，可以准确判断用户对广告的喜欢程度。具体实施方式下面将结合本专利技术实施例，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。一种用于广告屏的三维人脸表情识别打分评估方法，所述广告屏具有显示屏、支撑架、控制器、中央处理器、摄像机、人体红外传感器和无线通信模块，所述摄像机设置在显示屏的两侧，所述方法包括如下步骤:S1、所述控制器根据显示屏的高度调节相机的角度；S2、所述人体红外传感器检测到广告屏前有人通过时，控制器控制摄像机拍摄图片；S3、所述中央处理器提取图像中的人脸区域，并进行三维人脸重建；S4、中央处理器将重建后的三维人脸按表情进行分类，对不同类别中的表情进行评分；S5、所述无线通信模块将评分结果发送到移动终端。所述广告屏具有高度传感器，在所述步骤S1包括步骤：S11、高度传感器获取显示屏的中心距地面的高度；S12、所述控制器根据高度数值对应的调节所述摄像机的角度；所述步骤S3包括步骤：S31、所述中央处理器分别提取两个摄像机拍摄图像中的人脸部分；S32、将提取出的人脸区域拼接成一个完整的人脸图像；S33、根据人脸图像进行三维人脸重建；所述步骤S4包括步骤：S41、将三维人脸与标准三维人脸进行匹配，实现表情分类；S42、根据不同类别中的三维人脸与标准类别中的标准三维人脸的相似程度进行评分。所述控制器控制显示屏上广告显示。所述中央处理器通过拍摄的图像识别观看者的性别，所述中央处理器按性别将广告的进行分类评分。所述步骤S3中，如未能进行完整的三维人脸重建，则判断观看者不喜欢该广告，评分为0。所述步骤S4中的类别包括喜爱、厌烦和不感兴趣。所述步骤S4中是通过支持向量机实现表情分类。所述用户根据移动终端的提示进行广告的设计。所述摄像机通过支撑座设置在显示屏的两侧，所述支撑座与控制器连接，在检测到显示屏前出现人体活动时，所述摄像机拍摄多张图片，所述中央处理器根据拍摄的多张图片处理判断人体的移动方向，同时控制器控制支撑座旋转调整相机的视角，所述中央处理器选取重建的最为完整的三维人脸进行分类、评分。本专利技术采用三维人脸表情识别，克服二维人脸表情受姿态、光照等因素的影响。对收集到的人脸表情信息按月进行统计分析，并进行打分，通过分数判断，可以准确判断用户对广告的喜欢程度。本专利技术的识别方式工作如下：当用户观看广告时，两个摄像头对人脸进行采集(在采集模块进行)，两个摄像头分别采集到的两张人脸表情图像通过中央处理器中的控制系统进行三维人脸重建和预处理工作，再进行三维人脸表情识别，识别后对表情进行分类，分类后再对应进行打分，分数越高说明用户对广告越喜欢。以上所述，仅为本专利技术的具体实施方式，但本专利技术的保护范围并不局限于此，任何熟悉本
的技术人员在本专利技术揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本专利技术的保护范围之内。本文档来自技高网...

【技术保护点】
1.一种用于广告屏的三维人脸表情识别打分评估方法，所述广告屏具有显示屏、支撑架、控制器、中央处理器、摄像机、人体红外传感器和无线通信模块，所述摄像机设置在显示屏的两侧，其特征在于：所述方法包括如下步骤:S1、所述控制器根据显示屏的高度调节摄像机的角度；S2、所述人体红外传感器检测到广告屏前有人通过时，控制器控制摄像机拍摄图片；S3、所述中央处理器提取图像中的人脸区域，并进行三维人脸重建；S4、中央处理器将重建后的三维人脸按表情进行分类，对不同类别中的表情进行评分；S5、所述无线通信模块将评分结果发送到移动终端。

【技术特征摘要】
1.一种用于广告屏的三维人脸表情识别打分评估方法，所述广告屏具有显示屏、支撑架、控制器、中央处理器、摄像机、人体红外传感器和无线通信模块，所述摄像机设置在显示屏的两侧，其特征在于：所述方法包括如下步骤:S1、所述控制器根据显示屏的高度调节摄像机的角度；S2、所述人体红外传感器检测到广告屏前有人通过时，控制器控制摄像机拍摄图片；S3、所述中央处理器提取图像中的人脸区域，并进行三维人脸重建；S4、中央处理器将重建后的三维人脸按表情进行分类，对不同类别中的表情进行评分；S5、所述无线通信模块将评分结果发送到移动终端。2.如权利要求1所述的一种用于广告屏的三维人脸表情识别打分评估方法，其特征在于：所述广告屏具有高度传感器，在所述步骤S1包括步骤：S11、高度传感器获取显示屏的中心距地面的高度；S12、所述控制器根据高度数值对应的调节所述摄像机的角度；所述步骤S3包括步骤：S31、所述中央处理器分别提取两个摄像机拍摄图像中的人脸部分；S32、将提取出的人脸区域拼接成一个完整的人脸图像；S33、根据人脸图像进行三维人脸重建；所述步骤S4包括步骤：S41、将三维人脸与标准三维人脸进行匹配，实现表情分类；S42、根据不同类别中的三维人脸与标准类别中的标准三维人脸的相似程度进行评分。3...

【专利技术属性】
技术研发人员：王金伟，胡步发，
申请(专利权)人：黎明职业大学，
类型：发明
国别省市：福建,35