基于双目视觉的人流分析方法技术

本发明专利技术公开了一种基于双目视觉的人流分析方法，包括立体图像对获取；图像预处理；人脸检测；人体定位；参观人数统计、参观时间统计以及性别识别、年龄估计；从而完成展台处设定的参观区域内的人流分析。本发明专利技术可应用于诸如博物馆的各类公共展览场所，采集与分析出公共展览场所内各展品前参观者的相关信息，实现人流统计与分析目的，具有实时性高、准确性高、实施效率高等特点，有助于真实了解参观者的行为特征，为各项分析提供可靠的数据依据，以利于公共展览场所提升自身服务质量与水平。

Flow analysis method based on binocular vision

The invention discloses a method for analysis of binocular vision based on the stream of people, including of stereo image acquisition; image preprocessing; face detection; human orientation; the number of visitors visiting time statistics, statistics and gender classification and age estimation; in order to complete the analysis of regional visit booth within the set of people. The invention can be applied to all kinds of public places such as Museums Exhibition, collection and analysis of relevant information in the public place of exhibition exhibits before visitors, realize the statistics and analysis of flow, high real-time performance, high accuracy, high implementation efficiency, help to understand the real behavior of visitors, to provide reliable data according to the analysis, in order to enhance the level of public exhibition centers and their service quality.

【技术实现步骤摘要】

本专利技术涉及一种基于双目视觉传感器实现的人流分析方法，适用于诸如博物馆的各类公共展览场所。
技术介绍
博物馆是在社会文化活动中承担展览、教育、研究、娱乐功能的公益机构，其可丰富展品蕴含的信息量，承载着人类文明的发展历程。参观博物馆既能丰富知识、增广见识，又能放松心情、愉悦身心，因此已成为人们如今学习、休闲的场所。随着科学技术水平的飞速发展和现代人对精神文化生活的不断追求，博物馆的服务质量和服务水平已不能满足时代的要求，因此通过以参观者为主体，了解参观者的行为特征，认识到参观者对哪些类型的展品感兴趣，各年龄段的参观者分别对哪些类型的展品感兴趣等，来提高博物馆的服务质量与水平，已成为如今博物馆规划和调整服务的依据。目前博物馆对参观者大都是采用问卷调查方法，这种方法只能通过书面问卷或者在线问卷的形式来获取信息，而这样获取信息的方式不仅耗时耗力，且得到的信息因被调查者的从众心理、被调查者对问题的曲解或者被调查者的不配合等因素而易造成不准确，从而对参观者的各项分析造成干扰，更重要的是不能够实时地了解被调查者的真实情况。
技术实现思路
本专利技术的目的在于提供一种基于双目视觉的人流分析方法，其可应用于诸如博物馆的各类公共展览场所，采集与分析参观者的相关信息，实现人流分析目的，以利于公共展览场所提升自身服务质量与水平。为了实现上述目的，本专利技术采用了以下技术方案：一种基于双目视觉的人流分析方法，其特征在于，它包括步骤：1)立体图像对获取：安装在位于设定的参观区域内展台处的双目视觉传感器拍摄获得立体图像对，立体图像对由左、右立体图像构成；2)图像预处理：预处理立体图像对的左、右立体图像；3)人脸检测：检测出立体图像对的左、右立体图像中都出现过的人脸；4)人体定位：基于设定的人脸感兴趣区域，判断立体图像对中通过3)检测出的人脸是否处于设定的参观区域内：若是，保留人脸，认定人脸对应的人体为处于设定的参观区域内的参观者；反之，去除人脸，认定人脸对应的人体为未处于设定的参观区域内的非参观者；5)参观人数统计、参观时间统计以及性别识别、年龄估计：5-1)对各参观者进行性别识别及年龄估计；5-2)按设定拍摄间隔，重复执行1)至4)，累计参观者人数和各参观者的参观时间，并对新参观者进行性别识别及年龄估计，直至到达设定拍摄时间；6)展台处设定的参观区域内的人流分析完成。所述步骤3)执行的人脸检测包括步骤：3-1)基于Adaboost算法，构建并训练好用于人脸检测的多级人脸分类器；3-2)所述立体图像对的左、右立体图像二值化处理为灰度图像并计算出积分图像，对积分图像在不同尺度下基于多级人脸分类器检测出人脸；3-3)判断左立体图像中同一位置的人脸在设定个数的尺度下是否都被检测为人脸：若是，则认为是人脸；反之，则认为不是人脸；3-4)判断右立体图像中同一位置的人脸在设定个数的尺度下是否都被检测为人脸：若是，则认为是人脸；反之，则认为不是人脸；3-5)左、右立体图像进行交叉验证，检测出在左、右立体图像中都出现过的人脸作为最终确定出的人脸。所述步骤4)执行的人体定位包括步骤：4-1)在所述左、右立体图像中提取所述人脸感兴趣区域的SIFT特征，针对所述左、右立体图像匹配SIFT特征，并且消除误匹配；4-2)依据匹配的SIFT特征和双目立体视觉人体定位原理，计算人脸与所述双目视觉传感器相距的距离，从而判断人脸是否处于所述设定的参观区域内。所述步骤5)执行的参观人数统计、参观时间统计包括步骤：a)提取人脸的LBP特征，判断人脸是否在当前拍摄时间和前一拍摄时间均出现过：若是，则累计人脸对应的参观者的参观时间，参观人数不递增；若否，进入b)；b)提取人脸上下文区域的LBP特征，判断人脸是否在当前拍摄时间和前一拍摄时间均出现过：若是，则根据当前拍摄时间和前一拍摄时间，累计人脸对应的参观者的参观时间，参观人数不递增；若否，则记录当前拍摄时间，参观人数递增。所述性别识别和年龄估计包括步骤：A)构建CNN模型；B)构建并训练好性别识别和年龄估计分类器；C)基于CNN模型提取人脸的判断特征；D)将提取的判断特征输入性别识别和年龄估计分类器，进行人脸的性别识别与年龄估计。本专利技术的优点是：本专利技术可应用于诸如博物馆的各类公共展览场所，采集与分析出公共展览场所内各展品前参观者的相关信息(参观人数、参观时间、年龄、性别)，实现人流统计与分析目的，具有实时性高、准确性高、实施效率高等特点，有助于真实了解参观者的行为特征，为参观者对哪些类型的展品感兴趣、各年龄段的参观者分别对哪些类型的展品感兴趣等分析提供可靠的数据依据，以利于公共展览场所提升自身服务质量与水平。本专利技术仅需普通的双目视觉传感器即可实施，推广性强，可克服传统问卷调查方法的耗时耗力、不准确等缺点。附图说明图1是本专利技术的实施流程说明图。图2是本专利技术实施的说明图。具体实施方式如图2，实施本专利技术基于双目视觉的人流分析方法的硬件环境为：摆放着展品40的展台20处安装有双目视觉传感器10，双目视觉传感器10一般安装在展台20的上方，展台20处于设定的参观区域50内，双目视觉传感器10用于在设定拍摄时间内按设定拍摄间隔对其视角范围内的场景进行拍摄，来获取立体图像对，在实际实施时，立体图像的分辨率优选大于640×480像素，双目视觉传感器10的视角范围与设定的参观区域50不同但视角范围宜覆盖设定的参观区域50。如图1和图2所示，本专利技术基于双目视觉的人流分析方法包括如下步骤：1)立体图像对获取：安装在位于设定的参观区域50内展台20处的双目视觉传感器10拍摄获得立体图像对，立体图像对由左、右立体图像构成；2)图像预处理：预处理立体图像对的左、右立体图像，在实际实施中，预处理操作可包括图像二值化处理、图像对比度增强、图像校正等；3)人脸检测：检测出立体图像对的左、右立体图像中都出现过的人脸；4)人体定位：基于设定的人脸感兴趣区域(需事先设定，例如人脸感兴趣区域可设定为整个人脸或者人脸+人脸周围区域)，判断立体图像对中通过步骤3)检测出的人脸是否处于设定的参观区域50内：若是，保留人脸，认定人脸对应的人体为处于设定的参观区域50内的参观者(如图2所示参观者30)；反之，去除人脸，认定人脸对应的人体为未处于设定的参观区域50内的非参观者；5)参观人数统计、参观时间本文档来自技高网...

【技术保护点】
一种基于双目视觉的人流分析方法，其特征在于，它包括步骤：1)立体图像对获取：安装在位于设定的参观区域内展台处的双目视觉传感器拍摄获得立体图像对，立体图像对由左、右立体图像构成；2)图像预处理：预处理立体图像对的左、右立体图像；3)人脸检测：检测出立体图像对的左、右立体图像中都出现过的人脸；4)人体定位：基于设定的人脸感兴趣区域，判断立体图像对中通过3)检测出的人脸是否处于设定的参观区域内：若是，保留人脸，认定人脸对应的人体为处于设定的参观区域内的参观者；反之，去除人脸，认定人脸对应的人体为未处于设定的参观区域内的非参观者；5)参观人数统计、参观时间统计以及性别识别、年龄估计：5‑1)对各参观者进行性别识别及年龄估计；5‑2)按设定拍摄间隔，重复执行1)至4)，累计参观者人数和各参观者的参观时间，并对新参观者进行性别识别及年龄估计，直至到达设定拍摄时间；6)展台处设定的参观区域内的人流分析完成。

【技术特征摘要】
1.一种基于双目视觉的人流分析方法，其特征在于，它包括步骤：
1)立体图像对获取：安装在位于设定的参观区域内展台处的双目视觉传
感器拍摄获得立体图像对，立体图像对由左、右立体图像构成；
2)图像预处理：预处理立体图像对的左、右立体图像；
3)人脸检测：检测出立体图像对的左、右立体图像中都出现过的人脸；
4)人体定位：基于设定的人脸感兴趣区域，判断立体图像对中通过3)检
测出的人脸是否处于设定的参观区域内：若是，保留人脸，认定人脸对应的人
体为处于设定的参观区域内的参观者；反之，去除人脸，认定人脸对应的人体
为未处于设定的参观区域内的非参观者；
5)参观人数统计、参观时间统计以及性别识别、年龄估计：
5-1)对各参观者进行性别识别及年龄估计；
5-2)按设定拍摄间隔，重复执行1)至4)，累计参观者人数和各参观者
的参观时间，并对新参观者进行性别识别及年龄估计，直至到达设定拍摄时间；
6)展台处设定的参观区域内的人流分析完成。
2.如权利要求1所述的基于双目视觉的人流分析方法，其特征在于：
所述步骤3)执行的人脸检测包括步骤：
3-1)基于Adaboost算法，构建并训练好用于人脸检测的多级人脸分类器；
3-2)所述立体图像对的左、右立体图像二值化处理为灰度图像并计算出
积分图像，对积分图像在不同尺度下基于多级人脸分类器检测出人脸；
3-3)判断左立体图像中同一位置的人脸在设定个数的尺度下是否都被检
测为人脸：若是，则认为是人脸；反之，则认为不是人脸；
3-4)判断右立体图像中同一位置的人脸在设定个数的尺度下是否都被检
测为人脸...

【专利技术属性】
技术研发人员：袁家政，刘宏哲，赵霞，
申请(专利权)人：北京联合大学，
类型：发明
国别省市：北京;11