一种对实时视频进行人脸检测并识别的方法及装置制造方法及图纸

本发明专利技术提供了一种对实时视频进行人脸检测并识别的方法及装置，所述方法包括步骤：从前端摄像头获取实时视频数据；将实时视频数据进行硬件解码，并对解码后的实时视频数据进行数据转换，输出YUV视频数据；把YUV视频数据转换为BGR视频数据；使用深度学习算法对BGR视频数据中的人脸进行检测并提取特征值；将人脸特征值进行哈希化，得到人脸特征哈希值；将人脸特征哈希值与预先建立的人脸库中的人脸特征哈希值使用海明距离进行粗略比对，然后将人脸特征值与粗略比对结果中的人脸的特征值使用欧式距离进行精确比对；输出比对结果，如果人脸相似度高，发出报警信息；该识别方法能取代人工查找，有效的节约人力，识别到目标人脸后能够产生即时报警。

【技术实现步骤摘要】
一种对实时视频进行人脸检测并识别的方法及装置
本专利技术涉及一种人脸检测并识别的方法及装置，尤其是指一种对实时视频进行人脸检测并识别的方法及装置。
技术介绍
传统的安防需要用人工去浏览实时视频，从实时视频里的查找可能出现的目标人物，当发现目标人物时进行人工报警，但随着视频监控的范围越来越广，而且目标人物出现在监控范围的时间具有不确定性，监控视频中出现的人物的数量数量众多，单靠人工去查找视频画面目标人物需要耗费的人力物力也越来越高，人的注意力有限，在视频画面人数较多时，容易遗漏目标人物，而且复看视频所花费的时间成本也很高，靠人工出查找到目标人物的可靠性并不高，因此，需要提供一种能够对实时视频进行人脸检测并识别的方法及装置。
技术实现思路
为了解决上述技术问题，本专利技术采用的技术方案为：一种对实时视频进行人脸检测并识别的方法，包括步骤，S10)、从前端摄像头获取实时视频数据；S20)、将实时视频数据进行硬件解码，并对解码后的实时视频数据进行数据转换，输出YUV视频数据；S30)、把YUV视频数据转换为BGR视频数据；S40)、使用人脸检测算法检测对BGR视频数据中的人脸进行检测并提取特征值；S50)、将人脸特征值进行哈希化，得到人脸特征哈希值；S60)、将人脸特征哈希值与预先建立的人脸库中的人脸特征哈希值使用海明距离进行粗略比对，然后将人脸特征值与粗略对比结果中的人脸的人脸特征值使用欧式距离进行精确对比；S70)、输出比对结果，如果人脸相似度高，发出报警信息；所述步骤S10包括，S11)、读取前端摄像头的配置文件，获得对应通道的配置信息；S12)、通过预配置的用户名和用户密码，登录前端摄像头；S13)、向前端摄像头发送获取实时视频数据的请求信息；S14)、前端摄像头接收到请求信息后，发送实时视频数据；S15)、根据视频头信息计算要接收的视频数据大小，接收对应数量的视频数据；S16)、将接收到的视频数据放进智能指针所指向的缓冲区，然后将智能指针放入视频指针链表；所述步骤S40包括，S41)、识别视频中的人脸的个数、人脸的位置坐标以及人脸关键点的位置坐标，所述人脸关键点包括，左眼、右眼、鼻尖、左嘴角、右嘴角；S42)、根据人脸的位置坐标与人脸关键点的位置坐标，通过仿射变换裁剪图片，得到人脸图片；S43)、使用深度学习算法从所述人脸图片中提取人脸特征值；所述步骤S60包括，S61)、将人脸特征哈希值与人脸库中的人脸特征哈希值使用海明距离进行粗略比对，海明距离小于设定的阈值既为满足条件的人脸特征哈希值；S62)、将人脸特征值跟粗略比对结果中的人脸的特征值使用欧式距离进行精确比对，如果欧式距离小于设定的阈值，则判断为人脸相似度高。进一步的，对实时视频进行人脸检测并识别的方法，还包括先用已知人物的人脸图片检测人脸，然后提取特征值，然后哈希化得到特征哈希值，再把特征值以及特征哈希值添加入人脸库中的步骤。进一步的，所述配置信息包括前端摄像头的IP、用户名和用户密码。进一步的，所述步骤S20包括，S21)、初始化硬解码参数，将YUV视频数据的图像格式设定为I420，解码的视频格式设定为h264或h265；S22)、创建一个视频解码实例，设置要解码的实时视频数据的格式；S23)、创建一个视频转换实例，设置事件回调函数；S24)、从视频指针链表中弹出视频智能指针，然后把智能指针指向的h264或h265视频数据送进视频解码模块进行硬解码；S25)、对解码后的YUV视频数据使用ffmpeg进行分辨率缩放。为了解决上述技术问题，本专利技术采用的另一技术方案为：一种对实时视频进行人脸检测并识别的装置，包括，实时视频获取模块，用于从前端摄像头获取实时视频数据；视频解码模块，用于将实时视频数据进行硬件解码，并对解码后的实时视频数据进行数据转换，输出YUV视频数据，而后转到数据转换模块；数据转换模块，用于把YUV视频数据转换为BGR视频数据，而后转到检测并提取特征值模块；检测并提取特征值模块，用于使用人脸检测算法检测对BGR视频数据中的人脸进行检测并提取特征值，而后转到人脸特征值哈希化模块；人脸特征值哈希化模块，用于将人脸特征值进行哈希化，得到人脸特征哈希值，而后转到人脸特征值比对模块；人脸特征值比对模块，用于将人脸特征哈希值与预先建立的人脸库中的人脸特征哈希值使用海明距离进行粗略比对，然后将人脸特征值与粗略对比结果中的人脸的人脸特征值使用欧式距离进行精确对比，而后转到结果输出模块；结果输出模块，用于输出比对结果，如果人脸相似度高，发出报警信息；所述实时视频获取模块包括，配置信息获取单元，用于读取前端摄像头的配置文件，获得对应通道的配置信息；摄像头登录单元，用于通过预配置的用户名和用户密码，登录前端摄像头；视频数据请求单元，用于向前端摄像头发送获取实时视频数据的请求信息；前端摄像头，用于接收到请求信息后，发送实时视频数据；视频接收单元，用于根据视频头信息计算要接收的视频数据大小，接收对应数量的视频数据；智能指针单元，用于将接收到的视频数据放进智能指针所指向的缓冲区，然后将智能指针放入视频指针链表；所述检测识别模块包括，人脸识别单元，用于识别视频中的人脸的个数、人脸的位置坐标以及人脸关键点的位置坐标，所述人脸关键点包括，左眼、右眼、鼻尖、左嘴角、右嘴角，而后转到图片裁剪单元；图片裁剪单元，用于根据人脸的位置坐标与人脸关键点的位置坐标，通过仿射变换裁剪图片，得到人脸图片，而后转到人脸特征提取单元；人脸特征提取单元，用于使用深度学习算法从所述人脸图片中提取人脸特征值；所述人脸特征值比对模块包括，海明距离比对单元，用于将人脸特征哈希值与人脸库中人脸特征哈希值使用海明距离进行比对，海明距离小于设定的阈值既为满足条件的人脸特征哈希值，而后转到欧式距离比对单元；欧式距离比对单元，用于将人脸特征值跟粗略比对结果中的人脸的特征值使用欧式距离进行精确比对，如果欧式距离小于设定的阈值，则判断为人脸相似度高。进一步的，对实时视频进行人脸检测并识别的装置，还包括人脸特征添加模块，用于先用已知人物的人脸图片检测人脸，然后提取特征值，然后哈希化得到特征哈希值，再把特征值以及特征哈希值添加入人脸库中。进一步的，所述配置信息获取单元获取的配置信息包括，前端摄像头的IP、用户名和用户密码。进一步的，所述视频解码模块包括，参数初始化单元，用于初始化硬解码参数，将YUV视频数据的图像格式设定为I420，解码的视频格式设定为h264或h265，而后转到解码实例创建单元；解码实例创建单元，用于创建一个视频解码实例，设置要解码的实时视频数据的格式，而后转到转换实例创建单元；转换实例创建单元，用于创建一个视频转换实例，设置事件回调函数，而后转到智能指针弹出单元；智能指针弹出单元，用于从视频指针链表中弹出视频智能指针，然后把智能指针指向的h264或h265视频数据送进视频解码模块进行硬解码，而后转到分辨率缩放单元；分辨率缩放单元，用于对解码后的YUV视频数据使用ffmpeg进行分辨率缩放。本专利技术的有益效果在于：通过读取前端摄像头的视频数据，然后进行硬解码，在解码后进行视频智能分析，通过人脸检测算法检测出人脸位置坐标，提取人脸关键点的特征值，然后把提取的人脸的特征值跟人脸库的人脸特征值进行比本文档来自技高网...

【技术保护点】
一种对实时视频进行人脸检测并识别的方法，其特征在于：包括步骤，S10)、从前端摄像头获取实时视频数据；S20)、将实时视频数据进行硬件解码，并对解码后的实时视频数据进行数据转换，输出YUV视频数据；S30)、把YUV视频数据转换为BGR视频数据；S40)、使用人脸检测算法检测对BGR视频数据中的人脸进行检测并提取特征值；S50)、将人脸特征值进行哈希化，得到人脸特征哈希值；S60)、将人脸特征哈希值与预先建立的人脸库中的人脸特征哈希值使用海明距离进行粗略比对，然后将人脸特征值与粗略对比结果中的人脸的人脸特征值使用欧式距离进行精确对比；S70)、输出比对结果，如果人脸相似度高，发出报警信息；所述步骤S10包括，S11)、读取前端摄像头的配置文件，获得对应通道的配置信息；S12)、通过预配置的用户名和用户密码，登录前端摄像头；S13)、向前端摄像头发送获取实时视频数据的请求信息；S14)、前端摄像头接收到请求信息后，发送实时视频数据；S15)、根据视频头信息计算要接收的视频数据大小，接收对应数量的视频数据；S16)、将接收到的视频数据放进智能指针所指向的缓冲区，然后将智能指针放入视频指针链表；所述步骤S40包括，S41)、识别视频中的人脸的个数、人脸的位置坐标以及人脸关键点的位置坐标，所述人脸关键点包括，左眼、右眼、鼻尖、左嘴角、右嘴角；S42)、根据人脸的位置坐标与人脸关键点的位置坐标，通过仿射变换裁剪图片，得到人脸图片；S43)、使用深度学习算法从所述人脸图片中提取人脸特征值；所述步骤S60包括，S61)、将人脸特征哈希值与人脸库中的人脸特征哈希值使用海明距离进行比对，海明距离小于设定的阈值既为满足条件的人脸特征哈希值；S62)、将人脸特征值跟粗略比对结果中的人脸的特征值使用欧式距离进行精确比对，如果欧式距离小于设定的阈值，则判断为人脸相似度高。...

【技术特征摘要】
1.一种对实时视频进行人脸检测并识别的方法，其特征在于：包括步骤，S10)、从前端摄像头获取实时视频数据；S20)、将实时视频数据进行硬件解码，并对解码后的实时视频数据进行数据转换，输出YUV视频数据；S30)、把YUV视频数据转换为BGR视频数据；S40)、使用人脸检测算法检测对BGR视频数据中的人脸进行检测并提取特征值；S50)、将人脸特征值进行哈希化，得到人脸特征哈希值；S60)、将人脸特征哈希值与预先建立的人脸库中的人脸特征哈希值使用海明距离进行粗略比对，然后将人脸特征值与粗略对比结果中的人脸的人脸特征值使用欧式距离进行精确对比；S70)、输出比对结果，如果人脸相似度高，发出报警信息；所述步骤S10包括，S11)、读取前端摄像头的配置文件，获得对应通道的配置信息；S12)、通过预配置的用户名和用户密码，登录前端摄像头；S13)、向前端摄像头发送获取实时视频数据的请求信息；S14)、前端摄像头接收到请求信息后，发送实时视频数据；S15)、根据视频头信息计算要接收的视频数据大小，接收对应数量的视频数据；S16)、将接收到的视频数据放进智能指针所指向的缓冲区，然后将智能指针放入视频指针链表；所述步骤S40包括，S41)、识别视频中的人脸的个数、人脸的位置坐标以及人脸关键点的位置坐标，所述人脸关键点包括，左眼、右眼、鼻尖、左嘴角、右嘴角；S42)、根据人脸的位置坐标与人脸关键点的位置坐标，通过仿射变换裁剪图片，得到人脸图片；S43)、使用深度学习算法从所述人脸图片中提取人脸特征值；所述步骤S60包括，S61)、将人脸特征哈希值与人脸库中的人脸特征哈希值使用海明距离进行比对，海明距离小于设定的阈值既为满足条件的人脸特征哈希值；S62)、将人脸特征值跟粗略比对结果中的人脸的特征值使用欧式距离进行精确比对，如果欧式距离小于设定的阈值，则判断为人脸相似度高。2.如权利要求1所述的对实时视频进行人脸检测并识别的方法，其特征在于：还包括先用已知人物的人脸图片检测人脸，然后提取特征值，然后哈希化得到特征哈希值，再把特征值以及特征哈希值添加入人脸库中的步骤。3.如权利要求1所述的对实时视频进行人脸检测并识别的方法，其特征在于：所述配置信息包括前端摄像头的IP、用户名和用户密码。4.如权利要求1所述的对实时视频进行人脸检测并识别的方法，其特征在于：所述步骤S20包括，S21)、初始化硬解码参数，将YUV视频数据的图像格式设定为I420，解码的视频格式设定为h264或h265；S22)、创建一个视频解码实例，设置要解码的实时视频数据的格式；S23)、创建一个视频转换实例，设置事件回调函数；S24)、从视频指针链表中弹出视频智能指针，然后把智能指针指向的h264或h265视频数据送进视频解码模块进行硬解码；S25)、对解码后的YUV视频数据使用ffmpeg进行分辨率缩放。5.一种对实时视频进行人脸检测并识别的装置，其特征在于：包括，实时视频获取模块，用于从前端摄像头获取实时视频数据；视频解码模块，用于将实时视频数据进行硬件解码，并对解码后的实时视频数据进行数据转换，输出YUV视频数据，而后转到数据转换模块；数据转换模块，用于把YUV视频数据转换为BGR视频数据，而后...

【专利技术属性】
技术研发人员：叶笋，
申请(专利权)人：深圳英飞拓科技股份有限公司，
类型：发明
国别省市：广东,44