门禁系统及门禁监控方法技术方案

本申请涉及计算机技术领域，提供一种门禁系统及门禁监控方法，该系统包括鱼眼摄像系统、图像处理系统、用户检测识别装置、步行检测装置、位置检测装置、人脸识别装置、语音终端设备、语音处理设备和门禁控制设备；图像处理系统包括图像点补偿设备和图像拼接设备；鱼眼摄像系统与图像处理系统连接，人脸识别装置和用户检测识别装置分别于图像处理系统连接，用户检测识别装置与步行检测装置连接，步行检测装置与位置检测装置连接，位置检测装置和人脸识别装置通过总线与语音终端设备连接，语音终端设备与语音处理设备连接，语音处理设备和门禁控制设备分别与总线连接。本申请提供的门禁系统提高了门禁安全性和门禁控制的便捷性。统提高了门禁安全性和门禁控制的便捷性。统提高了门禁安全性和门禁控制的便捷性。

【技术实现步骤摘要】
门禁系统及门禁监控方法


[0001]本申请涉及计算机
，尤其涉及门禁技术，具体涉及一种门禁系统及门禁监控方法。

技术介绍

[0002]目前为了居民生活提供安全保障，同时也更加便捷，提供了多种门禁开门方式，如人脸识别、指纹、应用程序、小程序、蓝牙等。然而，人脸识别和指纹大多数只针对业主开放，不针对家里的老人和小孩开放。因此，老人和小孩在需要开启门禁机时，需要通过智能手机点击APP、小程序等才能开启门禁机。然而，智能手机点击APP、小程序使得门禁机开启简单，降低了门禁安全性。同时，针对部分特殊人群，如使用老人机的老人，戴电话手表的小孩，并没有使用智能手机，只能通过传统的门禁卡开门，降低了门禁控制的便捷性。

技术实现思路

[0003]本申请提供一种门禁系统及门禁监控方法，旨在提高门禁安全性和门禁控制的便捷性。
[0004]第一方面，本申请提供一种门禁系统包括鱼眼摄像系统、图像处理系统、用户检测识别装置、步行检测装置、位置检测装置、人脸识别装置、语音终端设备、语音处理设备和门禁控制设备；
[0005]所述鱼眼摄像系统包括第一鱼眼摄像设备、第二鱼眼摄像设备、第三鱼眼摄像设备和第四鱼眼摄像设备；所述图像处理系统包括图像点补偿设备和图像拼接设备；
[0006]所述鱼眼摄像系统与所述图像处理系统连接，所述人脸识别装置和所述用户检测识别装置分别于所述图像处理系统连接，所述用户检测识别装置与所述步行检测装置连接，所述步行检测装置与所述位置检测装置连接，所述位置检测装置和所述人脸识别装置通过总线与所述语音终端设备连接，所述语音终端设备与所述语音处理设备连接，所述语音处理设备和所述门禁控制设备分别与总线连接；
[0007]所述鱼眼摄像系统用于采集刷卡门禁机周围的多个视频数据流；
[0008]所述图像处理系统用于同步解析出所述多个视频数据流中每一帧RGB图像及其第一深度图像，将每一帧RGB图像及其第一深度图像进行像素点对齐补偿，得到每一帧第二深度图，并将多帧第二深度图进行图像拼接，得到多个视频数据流的共同帧鱼眼采集拼接图像；
[0009]所述用户检测识别装置用于通过兴趣点网络的关键点目标检测算法，对每一个共同帧的鱼眼采集拼接图像中的兴趣点进行用户检测识别，得到每一个共同帧的用户检测框；
[0010]所述步行检测装置用于根据相邻两个共同帧的用户检测框的时间间隔和用户人脸方向，确定用户的步行趋势；
[0011]所述位置检测装置用于根据每一个共同帧的用户检测框确定用户位置点，并根据
所述用户位置点计算用户与所述刷卡门禁机之间的相隔距离；
[0012]所述人脸识别装置用于对用户进行人脸识别，得到识别结果；
[0013]所述语音终端设备用于提示语音门禁信息，并响应基于所述语音门禁信息返回的语音门禁指令和采集用户的原始语音数据；
[0014]所述语音处理设备用于基于所述语音门禁指令中的房号信息，获取用户手机号码，对所述原始语音数据进行优化处理，得到目标优化语音数据，并通过总线将所述目标优化语音数据发送至用户终端；
[0015]所述门禁控制设备控制门禁机的开启和关闭。
[0016]第二方面，本申请提供一种门禁监控方法，包括：
[0017]采集刷卡门禁机周围的多个视频数据流，并同步解析出所述多个视频数据流中每一帧RGB图像及其第一深度图像，将每一帧RGB图像及其第一深度图像进行像素点对齐补偿，得到每一帧第二深度图；
[0018]将每一帧第二深度图进行图像处理，得到每一帧第三深度图，并将多帧第三深度图进行图像拼接，得到多个视频数据流的共同帧的鱼眼采集拼接图像；
[0019]通过兴趣点网络的关键点目标检测算法，对每一个共同帧的鱼眼采集拼接图像中的兴趣点进行用户检测识别，得到每一个共同帧的用户检测框，并根据相邻两个共同帧的用户检测框的时间间隔和用户人脸方向，确定用户的步行趋势；
[0020]若确定所述步行趋势为进入门禁机趋势，则根据每一个共同帧的用户检测框确定用户位置点，并根据所述用户位置点计算用户与所述刷卡门禁机之间的相隔距离；
[0021]若确定所述相隔距离小于预设距离且用户的人脸识别的识别结果为未匹配库中人脸，则提示语音门禁信息，并响应基于所述语音门禁信息返回的语音门禁指令和采集用户的原始语音数据；
[0022]基于所述语音门禁指令中的房号信息，获取用户手机号码，并对所述原始语音数据进行优化处理，得到目标优化语音数据；
[0023]将所述目标优化语音数据通过所述用户手机号码发送至用户终端，以供用户基于用户终端中的目标优化语音数据进行门禁控制。
[0024]在一实施例中，将每一帧第二深度图进行图像处理，得到每一帧第三深度图，并将多帧第三深度图进行图像拼接，得到多个视频数据流的共同帧的鱼眼采集拼接图像，包括：
[0025]获取每一个鱼眼摄像设备的设备内部拍摄数据；所述设备内部拍摄数据包括鱼眼摄像设备的焦距、主点坐标、内参旋转矩阵、内参平移矩阵和畸变系数；
[0026]根据每一个鱼眼摄像设备的设备内部拍摄数据对每一个鱼眼摄像设备的第二深度图进行去除畸变处理，得到每一帧第三深度图；
[0027]获取每一个鱼眼摄像设备的设备外部拍摄数据；所述设备外部拍摄数据包括鱼眼摄像设备的视场角度以及在摄像机坐标系中的三维位置和旋转角度；
[0028]根据每一个鱼眼摄像设备的设备外部拍摄数据构建环境映射模型，并将多帧第三深度图映射到所述环境映射模型上，得到多个视频数据流的共同帧的鱼眼采集拼接图像。
[0029]在一实施例中，所述通过兴趣点网络的关键点目标检测算法，对每一个共同帧的鱼眼采集拼接图像中的兴趣点进行用户检测识别，得到每一个共同帧的用户检测框，包括：
[0030]通过所述关键点目标检测算法，对每一个共同帧的鱼眼采集拼接图像进行兴趣点
识别，得到每一个共同帧的鱼眼采集拼接图像的所有兴趣像素点；
[0031]获取所有兴趣像素点中的深度值大于或等于第一深度阈值，且小于或等于第二深度阈值的所有目标像素点，并根据相邻两个目标像素点之间的像素点距离进行像素点归类，得到多个像素点簇；
[0032]将中间像素点簇确定为第一目标簇，将最顶端的像素点簇确定为第二目标簇，将最底端的像素点簇确定为第三目标簇；
[0033]基于所述第一目标簇、所述第二目标簇和所述第三目标簇进行用户检测识别，得到每一个共同帧的用户检测框。
[0034]在一实施例中，所述根据每一个共同帧的用户检测框确定用户位置点，并根据所述用户位置点计算用户与所述刷卡门禁机之间的相隔距离，包括：
[0035]将取每一个共同帧的用户检测框的中心点作为用户位置点；
[0036]获取所述每一个共同帧的用户检测框的用户位置点在图像坐标系下的坐标，将所述用户位置点在图像坐标系下的坐标转换为用户位置点在世界坐标系下的第一坐标、第二坐标和第三坐标；
[0037]根据每一个共同本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种门禁系统，其特征在于，包括鱼眼摄像系统、图像处理系统、用户检测识别装置、步行检测装置、位置检测装置、人脸识别装置、语音终端设备、语音处理设备和门禁控制设备；所述鱼眼摄像系统包括第一鱼眼摄像设备、第二鱼眼摄像设备、第三鱼眼摄像设备和第四鱼眼摄像设备；所述图像处理系统包括图像点补偿设备和图像拼接设备；所述鱼眼摄像系统与所述图像处理系统连接，所述人脸识别装置和所述用户检测识别装置分别与所述图像处理系统连接，所述用户检测识别装置与所述步行检测装置连接，所述步行检测装置与所述位置检测装置连接，所述位置检测装置和所述人脸识别装置通过总线与所述语音终端设备连接，所述语音终端设备与所述语音处理设备连接，所述语音处理设备和所述门禁控制设备分别与总线连接；所述鱼眼摄像系统用于采集刷卡门禁机周围的多个视频数据流；所述图像处理系统用于同步解析出所述多个视频数据流中每一帧RGB图像及其第一深度图像，将每一帧RGB图像及其第一深度图像进行像素点对齐补偿，得到每一帧第二深度图，并将多帧第二深度图进行图像拼接，得到多个视频数据流的共同帧鱼眼采集拼接图像；所述用户检测识别装置用于通过兴趣点网络的关键点目标检测算法，对每一个共同帧的鱼眼采集拼接图像中的兴趣点进行用户检测识别，得到每一个共同帧的用户检测框；所述步行检测装置用于根据相邻两个共同帧的用户检测框的时间间隔和用户人脸方向，确定用户的步行趋势；所述位置检测装置用于根据每一个共同帧的用户检测框确定用户位置点，并根据所述用户位置点计算用户与所述刷卡门禁机之间的相隔距离；所述人脸识别装置用于对用户进行人脸识别，得到识别结果；所述语音终端设备用于提示语音门禁信息，并响应基于所述语音门禁信息返回的语音门禁指令和采集用户的原始语音数据；所述语音处理设备用于基于所述语音门禁指令中的房号信息，获取用户手机号码，对所述原始语音数据进行优化处理，得到目标优化语音数据，并通过总线将所述目标优化语音数据发送至用户终端；所述门禁控制设备控制门禁机的开启和关闭。2.一种门禁监控方法，其特征在于，包括：采集刷卡门禁机周围的多个视频数据流，并同步解析出所述多个视频数据流中每一帧RGB图像及其第一深度图像，将每一帧RGB图像及其第一深度图像进行像素点对齐补偿，得到每一帧第二深度图；将每一帧第二深度图进行图像处理，得到每一帧第三深度图，并将多帧第三深度图进行图像拼接，得到多个视频数据流的共同帧的鱼眼采集拼接图像；通过兴趣点网络的关键点目标检测算法，对每一个共同帧的鱼眼采集拼接图像中的兴趣点进行用户检测识别，得到每一个共同帧的用户检测框，并根据相邻两个共同帧的用户检测框的时间间隔和用户人脸方向，确定用户的步行趋势；若确定所述步行趋势为进入门禁机趋势，则根据每一个共同帧的用户检测框确定用户位置点，并根据所述用户位置点计算用户与所述刷卡门禁机之间的相隔距离；若确定所述相隔距离小于预设距离且用户的人脸识别的识别结果为未匹配库中人脸，
则提示语音门禁信息，并响应基于所述语音门禁信息返回的语音门禁指令和采集用户的原始语音数据；基于所述语音门禁指令中的房号信息，获取用户手机号码，并对所述原始语音数据进行优化处理，得到目标优化语音数据；将所述目标优化语音数据通过所述用户手机号码发送至用户终端，以供用户基于用户终端中的目标优化语音数据进行门禁控制。3.根据权利要求2所述的门禁监控方法，其特征在于，所述将每一帧第二深度图进行图像处理，得到每一帧第三深度图，并将多帧第三深度图进行图像拼接，得到多个视频数据流的共同帧的鱼眼采集拼接图像，包括：获取每一个鱼眼摄像设备的设备内部拍摄数据；所述设备内部拍摄数据包括鱼眼摄像设备的焦距、主点坐标、内参旋转矩阵、内参平移矩阵和畸变系数；根据每一个鱼眼摄像设备的设备内部拍摄数据对每一个鱼眼摄像设备的第二深度图进行去除畸变处理，得到每一帧第三深度图；获取每一个鱼眼摄像设备的设备外部拍摄数据；所述设备外部拍摄数据包括鱼眼摄像设备的视场角度以及在摄像机坐标系中的三维位置和旋转角度；根据每一个鱼眼摄像设备的设备外部拍摄数据构建环境映射模型，并将多帧第三深度图映射到所述环境映射模型上，得到多个视频数据流的共同帧的鱼眼采集拼接图像。4.根据权利要求2所述的门禁监控方法，其特征在于，所述通过兴趣点网络的关键点目标检测算法，对每一个共同帧的鱼眼采集拼接图像中的兴趣点进行用户检测识别，得到每一个共同帧的用户检测框，包括：通过所述关键点目标检测算法，对每一个共同帧的鱼眼采集拼接图像进行兴趣点识别，得到每一个共同帧的鱼眼采集拼接图像的所有兴趣像素点；获取所有兴趣像素点中的深度值大于或等于第一深度阈值，且小于或等于第二深度阈值的所有目标像素点，并根据相邻两个目标像素点之间的像素点距离进行像素点归类，得到多个像素点簇；将中间像素点簇确定为第一目标簇，将最顶端的像素点簇确定为第二目标簇，将最底端的像素点簇确定为第三目标簇；基于所述第一目标簇、所述第二目标簇和所述第三目标簇进行用户检测识别，得到每一个共同帧的用户检测框。5.根据权...

【专利技术属性】
技术研发人员：周晓洪，胡慧，
申请(专利权)人：广州市图威信息技术服务有限公司，
类型：发明
国别省市：