一种无感知人脸图像采集方法和系统技术方案

本发明专利技术公开了一种无感知人脸图像采集方法和系统，包括步骤S1，拍摄待检测区域的全景图，利用人体检测方法检测出所述全景图中的人体位置，获得人体边界框向量b

【技术实现步骤摘要】
一种无感知人脸图像采集方法和系统
本专利技术涉及深度学习与计算机视觉领域，具体为一种无感知人脸图像采集方法和系统。
技术介绍
在一些场景下，如学生在教室内上课，一个组织的成员在房间内开会，需要对房间内的人员进行身份确认。当所有人员面朝同一方向，如面向房间的一面墙(黑板、投影屏)时，在合适的位置部署摄像头就可采集房间内所有人员的面部图像，应用人脸识别相关算法可实现无感知课堂人员考勤。实际的课堂环境和会议环境中人员密集、人们姿态多变，现有的人脸图像采集方法漏检率高，提取的人脸图像质量差(分辨率低，非正面等)，并且没有考虑人脸姿态的多样性，难以提取适合人脸识别的人脸图像，导致人脸识别率不高。双摄像机主要应用于监控安防领域，可以实现行人或者可疑分子的跟踪。通常双摄像机由一个广角摄像机(也被称为全景相机)和一个PTZ(PanTiltZoom)摄像机组成，分别用于整个区域的监控和细节的跟踪抓拍。其优点是两个摄像机分工合作、互相配合。但是，将双摄像机应用到人员识别的研究相对较少。相关研究有使用双摄像头课堂巡检的方法来识别出勤学生，对比文献CN110647842A公开了一种名称为“一种双摄像头课堂巡检方法及系统”的专利技术专利，该专利通过获取每个课桌桌面中心点的坐标，控制第二摄像头定点监测每个课桌桌前的学生，该专利的缺点是没有充分利用全景相机拍摄的信息，难以获得全体学生的人脸头像，存在漏检的情况，且需要额外设计多条巡航路线，效率低下且浪费检测资源和时间。
技术实现思路
本专利技术是为了克服上述背景技术存在的不足，提供一种无漏检、能获取所有待检测区域人员高清正脸图片的无感知人脸图像采集方法和系统。为实现该目的，本专利技术采用如下技术方案：一种无感知人脸图像采集方法，包括：步骤S1，从固定位置沿固定角度以固定焦距拍摄待检测区域的全景图，检测所述全景图中的人体位置，获得人体边界框向量bi＝[y1i,x1i,y2i,x2i]，其中(x1i,y1i)代表所述人体边界框的左上顶点的图像坐标，(x2i,y2i)代表所述人体边界框的右下顶点的图像坐标，i为人员索引；步骤S2，将所述人体边界框向量bi传送给预先训练的PTZ相机运动模型，所述PTZ相机运动模型用来输出与输入的人体边界框向量bi对应的能拍摄到正脸图像的PTZ相机运动参数向量[pi,ti,zi]，其中pi是PTZ相机在水平方向上移动的角度值，ti是PTZ相机在垂直方向上移动的角度值，zi是PTZ相机的变焦倍数；步骤S3，所述PTZ相机按照所述PTZ相机运动参数向量移动方位和变换焦距，对准相应位置的人进行拍摄，获取正脸图像。优选的，步骤S1中，检测全景图中的人体位置的方法可如下：采用MaskR-CNN目标检测算法，检测所述全景图中的人体边界框。优选的，步骤S2中，所述PTZ相机运动模型可采用多元线性回归模型，对人工采集的多个人体边界框向量和对应的能拍摄到正脸图像的PTZ相机运动参数向量进行多元线性回归，得到人体边界框向量和PTZ相机运动参数向量的回归系数，所述人工采集的多个人体边界框向量由与步骤S1中相同位置、相同角度、相同焦距拍摄的待检测区域的全景图中获得。优选的，所述PTZ相机运动模型可采用的多元线性回归模型如下：其中[pi,ti,zi]表示PTZ相机运动参数向量，bi＝[y1i,x1i,y2i,x2i]表示人体边界框向量，i为人员索引，β和ε为回归系数。优选的，步骤S3中，可采用人脸检测和头部姿态识别算法获取正脸图像，对所述PTZ相机拍摄的视频流进行定时处理，检测出视频图片中的人脸图片，然后采用头部姿态识别算法得到所述人脸图片中的人脸角度，并基于人脸角度的预设标准筛选出正脸图像。优选的，可采用MTCNN算法检测出视频图片中的人脸图片。优选的，可采用FSA-Net头部姿态识别算法得到所述人脸图片中的人脸角度。一种无感知人脸图像采集系统，包括全景相机、PTZ相机和服务器；所述服务器包括人体检测模块、PTZ相机运动控制模块和人脸角度筛选模块；所述全景相机用来将从固定位置沿固定角度以固定焦距拍摄的待检测区域的全景图输入到所述人体检测模块；所述人体检测模块用来检测所述全景图中的人体位置，获取人体边界框向量bi＝[y1i,x1i,y2i,x2i]，并输入到所述PTZ相机运动控制模块，其中(x1i,y1i)代表所述人体边界框的左上顶点的图像坐标，(x2i,y2i)代表所述人体边界框的右下顶点的图像坐标，i为人员索引；所述PTZ相机运动控制模块包括PTZ相机运动模型，所述PTZ相机运动模型用来实现从人体边界框向量bi到对应的能拍摄到正脸图像的PTZ相机运动参数向量[pi,ti,zi]的映射，其中pi是PTZ相机在水平方向上移动的角度值，ti是PTZ相机在垂直方向上移动的角度值，zi是PTZ相机的变焦倍数；所述PTZ相机运动控制模块用来获取所述输入的人体边界框向量bi对应的能拍摄到正脸图像的PTZ相机运动参数向量[pi,ti,zi]，并用来控制所述PTZ相机按照所述PTZ相机运动参数向量移动方位和变换焦距；所述PTZ相机用来输出拍摄到的视频流到所述人脸角度筛选模块，所述PTZ相机的移动范围覆盖所述全景图；所述人脸角度筛选模块用来提取视频流中的正脸图像。优选的，所述全景相机和PTZ相机可安装在教室或会议室内，所述教室或会议室内的待检测人员面朝同一方向，所述全景相机拍摄的全景图覆盖所有待检测人员。优选的，所述人体检测模块还可用来对获得的所述人体边界框向量bi按照空间位置做人员索引排序，所述PTZ相机运动控制模块用来控制所述PTZ相机按照所述人员索引顺序依次按相应的所述PTZ相机运动参数向量[pi,ti,zi]移动方位和变换焦距，对准相应位置的待检测人员拍摄。优选的，所述人脸角度筛选模块可包括人脸检测模块、头部姿态识别模块，所述人脸检测模块用来对输入的视频流进行定时筛选，检测出视频图片中的人脸图片，所述头部姿态识别模块用来获取人脸图片中的人脸角度并基于预设标准筛选出正脸图像。优选的，所述无感知人脸图像采集系统可应用于教室或者会议室或者室外广场人员清点。本专利技术采用目标检测算法检测出全景图中的人体位置，获得人体边界框向量bi，采用多元线性回归算法建立PTZ相机运动模型，实现从人体边界框向量bi到对应的能拍摄到正脸图像的PTZ相机运动参数向量[pi,ti,zi]的映射，其中pi是PTZ相机在水平方向上移动的角度值，ti是PTZ相机在垂直方向上移动的角度值，zi是PTZ相机的变焦倍数，控制PTZ相机移动方位变换焦距对准相应位置的人拍摄，再采用头部姿态识别算法获取人脸图片中的人脸角度并筛选出正脸图像。本专利技术充分利用全景图中的信息，通过人体检测获得人员定位解决漏检问题，采用PTZ相机解决采集的人脸图像尺寸过小、清晰度低的问题，通过识别人脸角度筛选出正脸图像解决人脸姿态多样性的问题。本专利技术采用联合人体检测和人脸角度筛选的两阶段检测方法，检测效率高、实用性强。通过以下的描本文档来自技高网...

【技术保护点】
1.一种无感知人脸图像采集方法，其特征在于，包括：/n步骤S1，从固定位置沿固定角度以固定焦距拍摄待检测区域的全景图，检测所述全景图中的人体位置，获得人体边界框向量b

【技术特征摘要】
1.一种无感知人脸图像采集方法，其特征在于，包括：
步骤S1，从固定位置沿固定角度以固定焦距拍摄待检测区域的全景图，检测所述全景图中的人体位置，获得人体边界框向量bi＝[y1i,x1i,y2i,x2i]，其中(x1i,y1i)代表所述人体边界框的左上顶点的图像坐标，(x2i,y2i)代表所述人体边界框的右下顶点的图像坐标，i为人员索引；
步骤S2，将所述人体边界框向量bi传送给预先训练的PTZ相机运动模型，所述PTZ相机运动模型用来输出与输入的人体边界框向量bi对应的能拍摄到正脸图像的PTZ相机运动参数向量[pi,ti,zi]，其中pi是PTZ相机在水平方向上移动的角度值，ti是PTZ相机在垂直方向上移动的角度值，zi是PTZ相机的变焦倍数；
步骤S3，所述PTZ相机按照所述PTZ相机运动参数向量移动方位和变换焦距，对准相应位置的人进行拍摄，获取正脸图像。


2.根据权利要求1所述的一种无感知人脸图像采集方法，其特征在于，步骤S1中，检测全景图中的人体位置的方法如下：采用MaskR-CNN目标检测算法，检测所述全景图中的人体边界框。


3.根据权利要求1所述的一种无感知人脸图像采集方法，其特征在于，步骤S2中，所述PTZ相机运动模型采用多元线性回归模型，对人工采集的多个人体边界框向量和对应的能拍摄到正脸图像的PTZ相机运动参数向量进行多元线性回归，得到人体边界框向量和PTZ相机运动参数向量的回归系数，所述人工采集的多个人体边界框向量由与步骤S1中相同位置、相同角度、相同焦距拍摄的待检测区域的全景图中获得。


4.根据权利要求3所述的一种无感知人脸图像采集方法，其特征在于，所述PTZ相机运动模型采用的多元线性回归模型如下：



其中[pi,ti,zi]表示PTZ相机运动参数向量，bi＝[y1i,x1i,y2i,x2i]表示人体边界框向量，i为人员索引，β和ε为回归系数。


5.根据权利要求1所述的一种无感知人脸图像采集方法，其特征在于，步骤S3中，采用人脸检测和头部姿态识别算法获取正脸图像，对所述PTZ相机拍摄的视频流进行定时处理，检测出视频图片中的人脸图片，然后采用头部姿态识别算法得到所述人脸图片中的人脸角度，并基于人脸角度的预设标准筛选出正脸图像。


6.根据权利要求5所述的一种无感知人脸图像采集方法，其特征在于，采用MTCNN算法检测出视频图片中的人脸图片。


7.根据权利要求5所述的一种无感知人脸图像采集方法，其特征在于，采用FSA-Net头部姿态识别算法得到所述人脸...

【专利技术属性】
技术研发人员：刘守印，方书雅，胡骞鹤，方冠男，
申请(专利权)人：华中师范大学，
类型：发明
国别省市：湖北;42