【技术实现步骤摘要】
一种监控视频多人人脸检测和表情识别方法
本专利技术属于计算机数字图像处理与模式识别
，特别涉及一种针对监控视频数据的多人人脸检测和表情识别方法。
技术介绍
随着技术发展和社会进步，监控摄像头在日常生活中越来越常见，绝大多数公共场所都存在着大量监控场景，对维持日常秩序和社会公共安全有着重要作用。对人脸信息的分析是监控数据中基础且关键的内容。通过对监控视频进行人脸检测并做表情分析，在很多场景下都有重要的现实意义。比如，教室内的监控视频的人脸检测和表情识别可以辅助评估学生学习状态；演艺场所、球场的监控视频中的人脸表情可以辅助评估演出或比赛质量；地铁站、大型购物商场等场所的监控视频，其中的人脸表情信息可以辅助监测异常事件。公开号为CN110533004A的中国专利申请提出了一种基于深度学习的复杂场景人脸识别系统，公开号为CN109858388A的中国专利申请公开了一种智慧旅游管理系统，这两份专利申请中，人脸检测部分基于Faster-RCNN网络实现，通过候选区域滑窗来检测人脸位置，公开号为CN110569809A的中国...
【技术保护点】
1.一种监控视频多人人脸检测和表情识别方法，其特征在于，包括以下步骤：/n步骤1、采集监控视频数据，标注人脸位置和对应表情，形成检测样本集和表情分类样本集；/n步骤2、构建用于进行人脸检测的卷积神经网络，先后使用公开标准数据集ILSVRC-2012和WIDER FACE进行预训练，然后使用检测样本集微调训练，保存模型结构和参数，获得训练好的人脸检测模型；/n步骤3、构建用于进行表情识别的卷积神经网络，采用的神经网络为VGGNet或ResNet；先后使用公开标准数据集ILSVRC-2012和FER+2013进行预训练，然后使用表情分类样本集微调训练，保存模型结构和参数，获得训...
【技术特征摘要】
1.一种监控视频多人人脸检测和表情识别方法，其特征在于，包括以下步骤：
步骤1、采集监控视频数据，标注人脸位置和对应表情，形成检测样本集和表情分类样本集；
步骤2、构建用于进行人脸检测的卷积神经网络，先后使用公开标准数据集ILSVRC-2012和WIDERFACE进行预训练，然后使用检测样本集微调训练，保存模型结构和参数，获得训练好的人脸检测模型；
步骤3、构建用于进行表情识别的卷积神经网络，采用的神经网络为VGGNet或ResNet；先后使用公开标准数据集ILSVRC-2012和FER+2013进行预训练，然后使用表情分类样本集微调训练，保存模型结构和参数，获得训练好的表情识别模型；
步骤4、从摄像头设备读入视频流，逐帧地按比例缩放；
步骤5、使用步骤2训练好的人脸检测模型对步骤4缩放的视频帧进行检测，得到视频中的人脸区域；
步骤6、将检测到的人脸数据从视频中裁切出来，按比例缩放并转换为灰度数据，根据面部关键点坐标进行仿射变换；
步骤7、使用步骤3训练好的表情识别模型对灰度人脸图像进行分类，得到同一帧每个人脸的表情信息。
2.根据权利要求1所述的一种监控视频多人人脸检测和表情识别方法，其特征在于，步骤1在适配监控摄像头的数据上进行人工标注，人脸位置信息为边界框的坐标，人脸表情信息为灰度图像数据，包括：正常、高兴、惊讶、伤心、轻蔑五种表情。
3.根据权利要求1所述的一种监控视频多人人脸检测和表情识别方法，其特征在于，步骤2使用深度卷积神经网络为基本框架，构建无候选区域的检测算法。
4.根据权利要求1所述的一种监控视频多人人脸检测和表情识别方法，其特征在于，步骤3中使用FER+2013数据剔除愤怒、恐惧、恶心表情。
5.根据权利要求1所述的一种监控视频多人人脸检测和表情识别方法，其特征在于，步骤4对读入视频帧进行等比例缩放，将长、宽尺寸处理为32像素的整数倍，其步骤包括：
4.1)、确定读入视频帧的尺寸(wi，hi)和缩放后的视频帧尺寸(wo，ho)，wi表示读入视频帧的宽度，hi表示读入视频的高度，wo表示缩放视频帧的宽度，ho表示缩放视...
【专利技术属性】
技术研发人员：钱学明，文天成，侯兴松，邹屹洋，
申请(专利权)人：台州智必安科技有限责任公司，
类型：发明
国别省市：浙江;33
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。