一种基于深度学习算法与双目视觉的考勤方法及系统技术方案

本发明专利技术公开了一种基于深度学习算法与双目视觉的考勤方法及系统，该方法包括：获取员工的打卡拍照图片；引入最大熵正则化项和平均方差相似度函数，构建基于YOLO

【技术实现步骤摘要】
一种基于深度学习算法与双目视觉的考勤方法及系统


[0001]本专利技术涉及计算机视觉
，尤其涉及一种基于深度学习算法与双目视觉的考勤方法及系统。

技术介绍

[0002]现代企业的管理模式要求企业实现信息化的管理，一套合理的企业互联网考勤系统对于提升企业的管理能力有很重要的作用，随着企业规模的快速扩张，考勤管理工作的复杂性日益加大，支撑企业考勤管理工作的需要也日益迫切，现在大部分企业都拥有一套较为成熟的考勤管理制度，其中包括：人工签到、证件刷卡、指纹识别、面部识别等；但这些技术都存在着一定的弊端，人工签到比较耗费时间，统计的员工数据会出现不准确，如漏记、多记等情况，且存在严重的代签情况；证件刷卡的考勤方式由于“只认卡、不认人”所以容易出现代刷卡，伪造员工考勤的情况；指纹识别机等接触式设备进行员工考勤时，虽然不会出现造假，但由于个人原因会造成考勤机无法识别指纹影响考勤率，而且遇到企业人员较多时，需要排队，考勤效率低下，面部识别考勤同样也不会出现员工伪造打卡的情况，但是会受光线的限制，且同指纹识别一样，在企业员工多的情况下，需要排队，浪费等待时间，况且指纹签到、人脸打卡签到需要采集很多的标签信息，所需成本较高。

技术实现思路

[0003]为了解决上述技术问题，本专利技术的目的是提供一种基于深度学习算法与双目视觉的考勤方法及系统，能够通过改进的YOLO
‑
9000算法的定点双目视觉三维位置反演考勤从而有效缩短考勤时间提高考勤检测精度。
[0004]本专利技术所采用的第一技术方案是：一种基于深度学习算法与双目视觉的考勤方法，包括以下步骤：
[0005]获取员工的打卡拍照图片；
[0006]引入最大熵正则化项和平均方差相似度函数，构建基于YOLO
‑
9000的深度学习目标检测模型；
[0007]对深度学习目标检测模型进行训练并将员工的打卡拍照图片输入至训练后的深度学习目标检测模型进行目标识别，识别出打卡拍照图片中的员工目标及打卡背景图案；
[0008]基于非平行配置的双目视觉成像原理获取打卡拍照图片中的员工目标的坐标值；
[0009]根据考勤定位预警判别指标对打卡拍照图片中的员工目标的坐标值进行判别处理，将判别结果作为员工考勤信息。
[0010]进一步，所述引入最大熵正则化项和平均方差相似度函数，构建基于YOLO
‑
9000的深度学习目标检测模型这一步骤，其具体包括：
[0011]引入最大熵正则化项和平均方差相似度函数作为深度学习目标检测模型的损失函数，其中，所述最大熵正则化项用于增加分类器的不确定性，平均方差相似度函数用于增加类别之间的相似性；
[0012]所述构建基于YOLO
‑
9000的深度学习目标检测模型包括15层卷积层，其中第一卷积层、第二卷积层、第三卷积层、第六卷积层及第九卷积层后均连接有最大池化层，且每个最大池化层后接入dropout层。
[0013]进一步，所述对深度学习目标检测模型进行训练这一步骤，其具体包括：
[0014]YOLO9000网络将输入图像缩放至416
×
416，然后在图上运行卷积网络，预测是否存在目标；
[0015]在每个方格中预测n个边界方框，确定各边界方框是所需检测目标的置信度，其中，置信度表示为：
[0016][0017]上式中，confidence表示置信度，Pr(Object)表示每个边界方框中包含检测目标的概率，表示预测的边界方框和输入的矩形框的重叠率；
[0018]对于每一个方格，预测其包含某一类检测目标的条件概率Pr(Classi|Object)，其中，Pr(Classi|Object)表示在假定某一方格包含有所需检测目标的情况下，所包含的检测目标是第i类检测目标的概率；
[0019]将得到的目标的置信度与得到的检测目标的条件概率进行相乘，得到每个边界方框对于每个具体类别的置信度；
[0020]通过损失函数进行计算,得出每个检测目标的定位框，输出13
×
13
×
1024的图片结构。
[0021]进一步，所述将员工的打卡拍照图片输入至训练后的深度学习目标检测模型进行目标识别，识别出打卡拍照图片中的员工目标这一步骤，其具体包括：
[0022]采集用于训练YOLO9000网络的包含打卡区的考勤图像；
[0023]对采集到的所述考勤图像进行数据增强；
[0024]将采集到的所述考勤图像及数据增强后得到的图像中的考勤图案用矩形框进行标注，获取所述矩形框的坐标与所述矩形框所包含图案的种类；
[0025]根据采集到的所述考勤图像及数据增强后得到的图像，及获取的所述矩形框的坐标与所述矩形框所包含图案的种类对YOLO9000网络进行训练；
[0026]实时采集待检测的员工考勤图像，根据训练好的YOLO9000网络和实时采集到的待检测的员工考勤图像，实时检测员工考勤图像中的图案，并对检测到的图案进行分类和定位。
[0027]进一步，所述基于非平行配置的双目视觉成像原理为非平行配置视觉系统中的两台相机的光轴满足相交于一点，而相机的位置和方位不对非平行配置视觉系统产生影响，其中，所述两台相机中的一台相机表示公司固定的打卡相机，另一台相机表示员工打卡拍照相机。
[0028]进一步，所述基于非平行配置的双目视觉成像原理获取打卡拍照图片中的员工目标的坐标值这一步骤，其具体包括：
[0029]分别获取公司固定的打卡相机和员工打卡拍照相机的坐标值，分别记为第一相机坐标值与第二相机坐标值；
[0030]获取对应第一相机坐标值与第二相机坐标值下的旋转矩阵、平移向量以及相机的
焦距；
[0031]设定打卡区中心点，根据打卡区中心点获取第一相机的平面投影像素点坐标与第二相机的平面投影像素点坐标；
[0032]根据第一相机坐标值的旋转矩阵与平移向量获取第一相机与第二相机的坐标转换关系；
[0033]根据第一相机的平面投影像素点坐标与第二相机的平面投影像素点坐标获取对应的平面投影像素点坐标与打卡区中心点的坐标关系；
[0034]将平面投影像素点坐标与打卡区中心点的坐标关系代入至第一相机与第二相机的坐标转换关系并进行矩阵表示，获取打卡拍照图片中的员工目标的坐标值。
[0035]进一步，所述第一相机与第二相机的坐标转换关系的表达式为：
[0036][0037]上式中，P(X,Y,Z)表示打卡区中心点，P'(X',Y',Z')表示打卡区中心点在第二相机坐标系下的坐标，R表示两个相机坐标系间的旋转矩阵，t表示两个相机的平移向量。
[0038]进一步，所述考勤定位预警判别指标包括员工考勤时间状态指标和员工考勤范围指标。
[0039]进一步，所述根据考勤定位预警判别指标对打卡拍照图片中的员工目标的坐标值进行判别处理，将判别结果作为员工考勤信息这一步骤，其具体包本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习算法与双目视觉的考勤方法，其特征在于，包括以下步骤：获取员工的打卡拍照图片；引入最大熵正则化项和平均方差相似度函数，构建基于YOLO
‑
9000的深度学习目标检测模型；对深度学习目标检测模型进行训练并将员工的打卡拍照图片输入至训练后的深度学习目标检测模型进行目标识别，识别出打卡拍照图片中的员工目标及打卡背景图案；基于非平行配置的双目视觉成像原理获取打卡拍照图片中的员工目标的坐标值；根据考勤定位预警判别指标对打卡拍照图片中的员工目标的坐标值进行判别处理，将判别结果作为员工考勤信息。2.根据权利要求1所述一种基于深度学习算法与双目视觉的考勤方法，其特征在于，所述引入最大熵正则化项和平均方差相似度函数，构建基于YOLO
‑
9000的深度学习目标检测模型这一步骤，其具体包括：引入最大熵正则化项和平均方差相似度函数作为深度学习目标检测模型的损失函数，其中，所述最大熵正则化项用于增加分类器的不确定性，平均方差相似度函数用于增加类别之间的相似性；所述构建基于YOLO
‑
9000的深度学习目标检测模型包括15层卷积层，其中第一卷积层、第二卷积层、第三卷积层、第六卷积层及第九卷积层后均连接有最大池化层，且每个最大池化层后接入dropout层。3.根据权利要求2所述一种基于深度学习算法与双目视觉的考勤方法，其特征在于，所述对深度学习目标检测模型进行训练这一步骤，其具体包括：YOLO9000网络将输入图像缩放至416
×
416，然后在图上运行卷积网络，预测是否存在目标；在每个方格中预测n个边界方框，确定各边界方框是所需检测目标的置信度，其中，置信度表示为：上式中，confidence表示置信度，Pr(Object)表示每个边界方框中包含检测目标的概率，表示预测的边界方框和输入的矩形框的重叠率；对于每一个方格，预测其包含某一类检测目标的条件概率Pr(Classi|Object)，其中，Pr(Classi|Object)表示在假定某一方格包含有所需检测目标的情况下，所包含的检测目标是第i类检测目标的概率；将得到的目标的置信度与得到的检测目标的条件概率进行相乘，得到每个边界方框对于每个具体类别的置信度；通过损失函数进行计算,得出每个检测目标的定位框，输出13
×
13
×
1024的图片结构。4.根据权利要求3所述一种基于深度学习算法与双目视觉的考勤方法，其特征在于，所述将员工的打卡拍照图片输入至训练后的深度学习目标检测模型进行目标识别，识别出打卡拍照图片中的员工目标及打卡背景图案这一步骤，其具体包括：采集用于训练YOLO9000网络的包含打卡区的考勤图像；对采集到的所述考勤图像进行数据增强；
将采集到的所述考勤图像及数据增强后得到的图像中的考勤图案用矩形框进行标注，获取所述矩形框的坐标与所述矩形框所包含图案的种类；根据采集到的所述考勤图像及数据增强后得到的图像，及获取的所述矩形框的坐标与所述矩形框所包含图案的种类对YOLO9000网络进行训练；实时采集待检测的员工考勤图像，根据训练好的YOLO9000网络和实时采集到的待检测的员工考勤图像，实时检测员工考勤图像中的图案，并对检测到的图案进行分类和定位。5.根据权利要求4所述一种基于深度学习算法与双目视觉的考勤方法，其...

【专利技术属性】
技术研发人员：王振友，梁潇，徐圣兵，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：