一种展品吸引度的分析方法及系统技术方案

本发明专利技术属于计算机视觉技术领域，提供了一种展品吸引度的分析方法及系统，所述方法包括：通过摄像头采集展品区域的视频，并对所述视频进行解码，获得解码后的图像帧；对解码后的图像帧进行人脸检测，并保存检测到的人脸关键点的坐标；基于人脸关键点的坐标，对人脸进行校正和关键点对准，并将校正以及对准后的人脸数据发送至识别模块进行计算，获得人脸的性别估计值、年龄估计值及表情估计值；根据人脸的性别估计值、年龄估计值、表情估计值、展品区域的编号、人脸的编号、人脸在所述展品区域的停留时间以及所述图像帧的拍摄时间分析得到展品区域的展品吸引度信息。通过本发明专利技术可以分析出展品对何种人群具有吸引度，以及何种展品的吸引度比较高。

Method and system for analyzing attraction degree of exhibits

The invention belongs to the technical field of computer vision, and system analysis method of attraction provides a exhibits, the method includes: by collecting exhibits regional video, and decodes the video image frames obtained after decoding; face detection on the decoded image frames, and save the coordinates of key face the point of the detected face; coordinate based on key points, the face correction and alignment of key points, and the correction and alignment of the face recognition module sends the data to calculate, obtain face gender estimates, age estimation value and the estimated value of the face expression; according to estimates, the estimated value of gender, age expression estimates, exhibits area number, the number of face and face in the area of the residence time and exhibits the image frame shooting time analysis Attraction information of exhibits in the exhibition area. The invention can analyze the attractiveness of the exhibits to any group, and what kind of exhibits have high attraction degree.

【技术实现步骤摘要】
一种展品吸引度的分析方法及系统
本专利技术属于计算机视觉
，尤其涉及一种展品吸引度的分析方法及系统。
技术介绍
在现有的博物馆展览或其他展览中，展品的吸引度评估往往是通过一种主观的或者粗略的方式进行评估，使得展览商或展览者对于展品吸引的人群性质定义模糊，无法定量评估。故，有必要提出一种新的技术方案，以解决上述技术问题。
技术实现思路
鉴于此，本专利技术提供一种展品吸引度的分析方法及系统，以计算机视觉的智能分析为基础，分析出展品对何种人群具有吸引度，以及何种展品的吸引度比较高。本专利技术的第一方面，提供一种展品吸引度的分析方法，包括：通过摄像头采集展品区域的视频，并对所述视频进行解码，获得解码后的图像帧；对解码后的图像帧进行人脸检测，并保存检测到的人脸关键点的坐标，所述人脸关键点包括左眼中心、右眼中心、鼻头中心、左嘴角以及右嘴角；基于所述人脸关键点的坐标，对人脸进行校正和关键点对准，并将校正以及对准后的人脸数据发送至识别模块进行计算，获得人脸的性别估计值、人脸的年龄估计值以及人脸的表情估计值；获取所述展品区域的编号、人脸的编号、人脸在所述展品区域的停留时间以及所述图像帧的拍摄时间；根据所述人脸的性别估计值、人脸的年龄估计值、人脸的表情估计值、展品区域的编号、人脸的编号、人脸在所述展品区域的停留时间以及所述图像帧的拍摄时间分析得到所述展品区域的展品吸引度信息。本专利技术的第二方面，提供一种展品吸引度的分析系统，包括：视频输入模块，用于通过摄像头采集展品区域的视频，并对所述视频进行解码，获得解码后的图像帧；人脸检测模块，用于对解码后的图像帧进行人脸检测，并保存检测到的人脸关键点的坐标，所述人脸关键点包括左眼中心、右眼中心、鼻头中心、左嘴角以及右嘴角；识别模块，用于基于所述人脸关键点的坐标，对人脸进行校正和关键点对准，并将校正以及对准后的人脸数据发送至识别模块进行计算，获得人脸的性别估计值、人脸的年龄估计值以及人脸的表情估计值；数据存储模块，用于获取所述展品区域的编号、人脸的编号、人脸在所述展品区域的停留时间、所述图像帧的拍摄时间以及所述识别模块的识别结果，并将以上数据存储到数据库表格中，表格内容包括图像帧的拍摄时间、展品区域的编号、人脸的编号、人脸在展品区域的停留时间、人脸的性别估计值、人脸的年龄估计值以及人脸的表情估计值；数据查询模块，用于将时间区域和展品区域作为查询条件，对所述数据存储模块中存储的数据进行查询，并将满足查询条件的数据输出；分析与统计模块，用于接收所述数据查询模块的查询结果，并根据查询结果进行分析和统计。按照人脸的编号和时间，统计各个时间段内各个展品区域的参观人次；按照人脸的编号和人脸在所述展品区域的停留时间，计算每个人脸的最长停留时间；按照人脸的编号和人脸的性别估计值，以最多次估计值为准确定每个人脸的性别；按照人脸的编号和人脸的年龄估计值，以最多次估计值为准确定每个人脸的年龄；按照展品区域和人脸的表情估计值，统计不同人脸表情的比例。本专利技术与现有技术相比存在的有益效果是：本专利技术根据人脸的性别估计值、人脸的年龄估计值、人脸的表情估计值、展品区域的编号、人脸的编号以及人脸在所述展品区域的停留时间等在时间维度和空间维度上展开分析，得出不同时间、不同展品对参观者属性的影响，进而可以分析出展品对何种人群具有吸引度，以及何种展品的吸引度比较高，具有较强的易用性和实用性。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术第一实施例提供的展品吸引度的分析方法的示意流程图；图2是本专利技术第二实施例提供的展品吸引度的分析系统的示意框图；图3是本专利技术第三实施例提供的展品吸引度的分析系统的另一示意框图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。还应当理解，在此本专利技术说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本专利技术。如在本专利技术说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。还应当进一步理解，在本专利技术说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。为了说明本专利技术所述的技术方案，下面通过具体实施例来进行说明。实施例一：参见图1，图1是本专利技术实施例一提供的展品吸引度的分析方法的示意流程图，如图所示该方法可以包括以下步骤：步骤S101，通过摄像头采集展品区域的视频，并对所述视频进行解码，获得解码后的图像帧。在本专利技术实施例中，通过多个摄像头采集不同展品区域的视频，每个展品区域对应至少一个摄像头。通过所述摄像头可以采集到参观所述展品区域的用户数据。步骤S102，对解码后的图像帧进行人脸检测，并保存检测到的人脸关键点的坐标，所述人脸关键点包括左眼中心、右眼中心、鼻头中心、左嘴角以及右嘴角。较佳的，本专利技术实施例还可以包括：基于所述人脸关键点的坐标，将当前帧图像检测到的人脸与上一帧图像检测到的人脸进行匹配；若两帧图像的匹配度高于预设值(例如0.5)，则确定所述两帧图像中的人脸为同一人，并对该人脸进行编号。在本专利技术实施例中，将当前图像帧检测到的人脸与上一帧图像检测到的人脸进行匹配，因为图像帧的连续性，两帧图像中人脸的位置具有连续性。按照两帧图像中人脸的位置进行覆盖率计算，将覆盖率高于所述预设值的前后帧图像中的人脸确认为同一人。通过该方案可以获得该摄像头对应的展品区域当前的参观人数、人脸的编号以及各人脸在该展品区域停留的时间步骤S103，基于所述人脸关键点的坐标，对人脸进行校正和关键点对准，并将校正以及对准后的人脸数据发送至识别模块进行计算，获得人脸的性别估计值、人脸的年龄估计值以及人脸的表情估计值。具体的可以是，针对获得的人脸图像，基于人脸关键点的坐标，对人脸进行校正和关键点对准，并将校正以及对准后的人脸数据发送至基于深度学习的人脸性别识别模块，进行前向计算，获得人脸的性别估计值；针对获得的人脸图像，基于人脸关键点的坐标，对人脸进行校正和关键点对准，并将校正以及对准后的人脸数据发送至基于深度学习的人脸年龄识别模块，本文档来自技高网...

【技术保护点】
一种展品吸引度的分析方法，其特征在于，包括：通过摄像头采集展品区域的视频，并对所述视频进行解码，获得解码后的图像帧；对解码后的图像帧进行人脸检测，并保存检测到的人脸关键点的坐标，所述人脸关键点包括左眼中心、右眼中心、鼻头中心、左嘴角以及右嘴角；基于所述人脸关键点的坐标，对人脸进行校正和关键点对准，并将校正以及对准后的人脸数据发送至识别模块进行计算，获得人脸的性别估计值、人脸的年龄估计值以及人脸的表情估计值；获取所述展品区域的编号、人脸的编号、人脸在所述展品区域的停留时间以及所述图像帧的拍摄时间；根据所述人脸的性别估计值、人脸的年龄估计值、人脸的表情估计值、展品区域的编号、人脸的编号、人脸在所述展品区域的停留时间以及所述图像帧的拍摄时间分析得到所述展品区域的展品吸引度信息。

【技术特征摘要】
1.一种展品吸引度的分析方法，其特征在于，包括：通过摄像头采集展品区域的视频，并对所述视频进行解码，获得解码后的图像帧；对解码后的图像帧进行人脸检测，并保存检测到的人脸关键点的坐标，所述人脸关键点包括左眼中心、右眼中心、鼻头中心、左嘴角以及右嘴角；基于所述人脸关键点的坐标，对人脸进行校正和关键点对准，并将校正以及对准后的人脸数据发送至识别模块进行计算，获得人脸的性别估计值、人脸的年龄估计值以及人脸的表情估计值；获取所述展品区域的编号、人脸的编号、人脸在所述展品区域的停留时间以及所述图像帧的拍摄时间；根据所述人脸的性别估计值、人脸的年龄估计值、人脸的表情估计值、展品区域的编号、人脸的编号、人脸在所述展品区域的停留时间以及所述图像帧的拍摄时间分析得到所述展品区域的展品吸引度信息。2.根据权利要求1所述的方法，其特征在于，在保存检测到的人脸关键点的坐标之后，还包括：基于所述人脸关键点的坐标，将当前帧图像检测到的人脸与上一帧图像检测到的人脸进行匹配；若两帧图像的匹配度高于预设值，则确定所述两帧图像中的人脸为同一人，并对该人脸进行编号。3.根据权利要求1所述的方法，其特征在于，所述基于所述人脸关键点的坐标，对人脸进行校正和关键点对准，并将校正以及对准后的人脸数据发送至识别模块进行计算，获得人脸的性别估计值、人脸的年龄估计值以及人脸的表情估计值包括：针对获得的人脸图像，基于人脸关键点的坐标，对人脸进行校正和关键点对准，并将校正以及对准后的人脸数据发送至基于深度学习的人脸性别识别模块，进行前向计算，获得人脸的性别估计值；针对获得的人脸图像，基于人脸关键点的坐标，对人脸进行校正和关键点对准，并将校正以及对准后的人脸数据发送至基于深度学习的人脸年龄识别模块，进行前向计算，获得人脸的年龄估计值；针对获得的人脸图像，基于人脸关键点的坐标，对人脸进行校正和关键点对准，并将校正以及对准后的人脸数据发送至基于深度学习的人脸表情识别模块，进行前向计算，获得人脸的表情估计值。4.根据权利要求1所述的方法，其特征在于，所述方法还包括：接收用户的查询请求信息，所述查询请求信息中包含查询的时间段信息以及展品区域信息；根据所述查询请求信息，对存储的所述展品区域的展品吸引度信息进行查询，并以图表的方式显示查询结果。5.根据权利要求4所述的方法，其特征在于，所述方法还包括：按照人脸的编号和时间，统计各个时间段内各个展品区域的参观人次，以不同时间段尺度，列举时间-参观人次表格，并绘制时间-参观人次的柱状图或折线图或饼状图；以及，统计各个展品区域的参观人次，列举展品区域-参观人次表格，并绘制展品区域-参观人次的柱状图或折线图或饼状图；按照人脸的编号和人脸在所述展品区域的停留时间，计算每个人脸的最长停留时间，并绘制停留时长-参观人次的柱状图或折线图或饼状图；按照人脸的编号和人脸的性别估计值，以最多次估计值为准确定每个人脸的性别，并绘制性别-参观人次的柱状图或折线图或饼状图；按照人脸的编号和人脸的年龄估计值，以最多次估计值为准确定每个人脸的年龄，并绘制年龄-参观人次的柱状图或折线图或饼状图；按照展品区域和人脸的表情估计值，统计不同人脸表情的比例，并绘制展品区域-人脸表情的柱状图或折线图或饼状图。6.一种展品吸引度的分析系统，其特征在于，包括：视频输入模块，用于通过摄像头采集展品区域的视频，并对所述视频进行解码，获得解码后的图像帧；人脸检测模块，用于对解码后的图像帧进行人脸检测，并保存检测到的人脸关键点的坐标，所述人脸关键点包括左眼中心、右眼中心、鼻头中心、左嘴角以及右嘴角；识别模块，用于基于所述人脸关键点的坐标，对人脸进行校正和关键点对准，并将校正以及...

【专利技术属性】
技术研发人员：李英，乔宇，
申请(专利权)人：深圳先进技术研究院，
类型：发明
国别省市：广东,44