基于人脸识别和人体姿态估计的引体向上测试系统技术方案

本发明专利技术公开了基于人脸识别和人体姿态估计的引体向上测试系统，目的是解决引体向上测试中准确计数和防作弊问题。本发明专利技术由摄像头、摄像头支柱、引体向上考核器、引体向上考核器支柱组成。引体向上考核器由主板机盒、显示屏、总开关、电源组件和主板组成。主板机盒容纳主板、电源组件，安装显示屏、总开关；主板上装有由采集模块、新建录入模块、身份对比模块、计数模块、显示模块和数据库组成的引体向上软件；新建录入模块、身份对比模块采用人脸识别算法进行人脸识别，计数模块采用人体姿态估计算法估计人体姿态，通过被测人员双腕、鼻子和脖子的视频帧像素坐标对引体向上计数。本发明专利技术设计合理，能准确检测引体向上个数且防止替考。

The pull up test system based on face recognition and human pose estimation

【技术实现步骤摘要】
基于人脸识别和人体姿态估计的引体向上测试系统
本专利技术涉及一种测试系统，尤其涉及一种能够准确测定引体向上并且防作弊的引体向上测试系统。
技术介绍
目前引体向上的日常训练考核，通常的组织方式是安排监考员一对一进行，需要监考员人工核对测试人员姓名证件等信息，而后在测试中观察测试人员的下巴与单杠的位置关系来判断引体向上动作是否达标。这种人工计数的方法在测试过程中效率不高，费时费力，长时间性、反复性容易导致监考员疲惫，对标准动作把握不牢，难以客观公正地记录成绩。
技术实现思路
本专利技术要解决的技术问题在于提供一种基于人脸识别和人体姿态估计的引体向上测试系统，解决引体向上测试中准确计数和防作弊的问题；既能通过姿态识别判断双腕、鼻子和脖子的位置信息判断引体向上是否标准，达到准确计数的目的，又能通过人脸识别来鉴别身份，达到防止替考的目的。本专利技术的技术方案是:一种基于人脸识别和人体姿态估计的引体向上测试系统，由摄像头、摄像头支柱、引体向上考核器、引体向上考核器支柱组成。摄像头选用30万像素、最大分辨率为640像素*480像素的摄像头，安装在摄像头支柱顶端，通过电缆与引体向上考核器相连，用于获取视频帧，包括人脸信息和人体姿态信息，将视频帧发送给引体向上考核器；摄像头支柱由底盘和支撑杆组成，支撑杆采用胶黏剂黏在底盘上。底盘为圆台形，下底面半径为R1，R1＝10～15cm，上底面半径为R2，R2＝0.5～1cm，厚度为H1，H1＝2～3cm，由金属材质制成，用于将支撑杆固定在地面上，保持支撑杆的平稳；所述支撑杆为圆柱形，半径为R3，R3＝0.5～1cm，高度为H2，H2＝1.5～2m，由塑料材质制成，用于支撑摄像头。引体向上考核器支柱由四根圆柱组成，每根圆柱半径为R4，R4＝0.5～1cm，高度为H3，H3＝2～3cm，由塑料材质制成，用于支撑引体向上考核器。引体向上考核器由主板机盒、显示屏、总开关、电源组件和主板组成。引体向上考核器的下底面四个角开有圆形通孔，引体向上考核器通过这4个圆形通孔采用卡扣方式连接在引体向上考核器支柱的顶端。所述主板机盒为矩形盒子，长为a，宽为b，厚度为H3，a＝15～20cm，b＝10～15cm，H4＝3～5cm，由塑料材质制成，用于容纳主板、电源组件，安装显示屏、总开关；主板机盒的正面上挖有凹槽，凹槽深度为H5，满足0.5cm≤H5<H4，凹槽的长度和宽度与显示屏的长度和宽度相匹配，满足正好可以嵌入显示屏。所述显示屏为触控液晶屏，与主板相连。当引体向上考核器通电后显示屏上显示新建录入、身份对比、引体向上计数三个触控按钮，用于开启新建录入、身份对比、引体向上计数三项工作界面，并根据从显示模块接收的提示显示实时信息，包括实时视频帧、人员信息、标准引体向上个数信息；所述总开关安装在主板机盒除显示屏以外的任意位置，为了美观和使用方便，一般安装在主板机盒的侧面或显示屏的同一面上，与电源组件相连，用于开启电源组件。所述电源组件为锂电池，电源组件的输出电压为12V，集成在主板机盒内，与总开关和主板相连，用于为基于人脸识别和姿态识别的引体向上测试系统供电。所述主板为深度学习开发板，固定在主板机盒内，与显示屏、摄像头、总开关和电源组件相连。主板上装有引体向上软件，引体向上软件由采集模块、新建录入模块、身份对比模块、计数模块、显示模块和数据库组成；采集模块与摄像头、身份对比模块、计数模块、显示模块相连，负责获取摄像头的视频帧，将视频帧传给新建录入模块、身份对比模块、计数模块、显示模块。新建录入模块与采集模块、显示模块、数据库相连，新建录入模块从显示屏显示的新建录入按钮接收用户输入的姓名和编号，在数据库中查询是否有与用户输入的姓名和编号重复的姓名或者编号，如果有重复，向显示模块发送“人员信息已存在，请勿重新录入”的提示，如果没有重复，新建录入模块从采集模块接收视频帧，利用人脸识别算法(“TaigmanY,YangM,RanzatoMA,etal.Deepface:Closingthegaptohuman-levelperformanceinfaceverification[C].IEEEConferenceonComputerVisionandPatternRecognition(CVPR),2014:1701-1708”译为：《Deepface:缩小人脸验证与人类表现的差距》)对视频帧进行人脸识别，得到人脸特征，将人脸特征和数据库中的人脸特征作对比，若人脸特征存在，新建录入模块向显示模块发送“人脸信息已存在，请核对姓名和编号”的提示，若人脸特征不存在，将人脸特征、姓名和编号存入数据库中，新建录入模块向显示模块发送“录入成功”的提示。身份对比模块与采集模块、显示模块和数据库相连，身份对比模块通过显示屏显示的身份对比按钮从采集模块接收视频帧，利用人脸识别算法对视频帧进行人脸识别，得到人脸特征，将人脸特征和数据库中的人脸特征作对比；当数据库中存在被测人员人脸信息则比对成功，从数据库中查找到被测人员的姓名，编号信息，向显示模块发送“身份认证成功”的提示，并将姓名和编号发送给显示模块；若不存在被测人员人脸信息，向显示模块发送“身份未能成功识别，请先录入人脸信息”的提示。计数模块与采集模块和显示模块相连，从采集模块接收被测人员准备动作时的视频帧，利用人体姿态估计算法(“CaoZ,SimonT,WeiSE,etal.OpenPose:RealtimeMulti-Person2DPoseEstimationusingPartAffinityFields[C].IEEEConferenceonComputerVisionandPatternRecognition(CVPR即国际计算机视觉与模式识别会议),2017:7291-7299”译为：《OpenPose:使用部件亲和域的实时多人二维姿态估计》)获取人体骨架视频帧像素坐标位置信息，判断被测人员双腕、鼻子和脖子的视频帧像素坐标信息，根据坐标信息进行引体向上计数。鼻子和脖子位置的视频帧像素纵坐标平均值高于双腕位置的视频帧像素纵坐标平均值，而后脖子位置再回到最低位置的视频帧像素坐标算成功做了一次标准的引体向上。计数模块具体流程为：第一步，初始化脖子最低视频帧像素纵坐标值H＝0，令双腕实时视频帧像素纵坐标位置平均值p＝0，令鼻子和脖子实时视频帧像素纵坐标位置平均值q＝0，令引体向上个数c＝0；令计数状态s＝0(s＝0代表完成了引体向上的动作后并回到准备动作，s＝1完成了引体向上的动作并未回到准备动作)；第二步，计数模块从采集模块获取准备时刻人体视频帧；第三步，计数模块采用人体姿态估计算法获取准备时刻人体视频帧中人体骨架像素坐标，并提取右肩的视频帧像素坐标N2(X2,Y2)(人体姿态估计算法提取的骨架序号图中的点是人脸朝外，所以左边是右肩)、右肘的视频帧像素坐标N3(X3,Y3)、右腕的视频帧像素坐标N4(X4,Y4)、左肩的视频帧像素坐标N5(X5,Y5)、左肘的视频本文档来自技高网...

【技术保护点】
1.一种基于人脸识别和人体姿态估计的引体向上测试系统，其特征在于基于人脸识别和人体姿态估计的引体向上测试系统由摄像头(1)、摄像头支柱(2)、引体向上考核器(4)、引体向上考核器支柱(3)组成；/n摄像头(1)安装在摄像头支柱(2)顶端，通过电缆与引体向上考核器(4)相连，用于获取视频帧，将视频帧发送给引体向上考核器(4)；/n引体向上考核器支柱(3)由四根圆柱组成，用于支撑引体向上考核器(4)；/n引体向上考核器(4)由主板机盒(43)、显示屏(42)、总开关(41)、电源组件和主板组成；引体向上考核器(4)的下底面四个角开有圆形通孔，引体向上考核器(4)通过这4个圆形通孔采用卡扣方式连接在引体向上考核器支柱(3)的顶端；/n所述主板机盒(43)用于容纳主板、电源组件，安装显示屏(42)、总开关(41)；主板机盒(43)的正面(431)上挖有凹槽(432)，凹槽(432)满足嵌入显示屏(42)；/n所述显示屏(42)为触控液晶屏，与主板相连；当引体向上考核器(4)通电后显示屏(42)上显示新建录入、身份对比、引体向上计数三个触控按钮，用于开启新建录入、身份对比、引体向上计数三项工作界面，并根据从显示模块接收的提示显示实时信息，包括视频帧、人员信息、引体向上个数、各种提示；/n所述总开关(41)安装在主板机盒(43)除显示屏(42)以外的任意位置，与电源组件相连，用于开启电源组件；/n所述电源组件集成在主板机盒(43)内，与总开关(41)和主板相连，用于为基于人脸识别和姿态识别的引体向上测试系统供电；/n所述主板为深度学习开发板，固定在主板机盒(43)内，与显示屏(42)、摄像头(1)、总开关(41)和电源组件相连；主板上装有引体向上软件，引体向上软件由采集模块、新建录入模块、身份对比模块、计数模块、显示模块和数据库组成；/n采集模块与摄像头(1)、身份对比模块、计数模块、显示模块相连，负责获取摄像头(1)的视频帧，将视频帧传给新建录入模块、身份对比模块、计数模块、显示模块；/n新建录入模块与采集模块、显示模块、数据库相连，新建录入模块从显示屏(42)显示的新建录入按钮接收用户输入的姓名和编号，在数据库中查询是否有与用户输入的姓名和编号重复的姓名或者编号，如果有重复，向显示模块发送“人员信息已存在，请勿重新录入”的提示，如果没有重复，新建录入模块从采集模块接收视频帧，利用人脸识别算法对视频帧进行人脸识别，得到人脸特征，将人脸特征和数据库中的人脸特征作对比，若人脸特征存在，新建录入模块向显示模块发送“人脸信息已存在，请核对姓名和编号”的提示，若人脸特征不存在，将人脸特征、姓名和编号存入数据库中，新建录入模块向显示模块发送“录入成功”的提示；/n身份对比模块与采集模块、显示模块和数据库相连，身份对比模块通过显示屏(42)显示的身份对比按钮从采集模块接收视频帧，利用人脸识别算法对视频帧进行人脸识别，得到人脸特征，将人脸特征和数据库中的人脸特征作对比；当数据库中存在被测人员人脸信息则比对成功，从数据库中查找到被测人员的姓名，编号信息，向显示模块发送“身份认证成功”的提示，并将姓名和编号发送给显示模块；若不存在被测人员人脸信息，向显示模块发送“身份未能成功识别，请先录入人脸信息”的提示；/n计数模块与采集模块和显示模块相连，从采集模块接收被测人员准备动作时的视频帧，利用人体姿态估计算法获取人体骨架视频帧像素坐标位置信息，判断被测人员双腕、鼻子和脖子的视频帧像素坐标信息；根据坐标信息进行引体向上计数，计数模块流程为：/n第一步，初始化脖子最低视频帧像素纵坐标值H＝0，令双腕实时视频帧像素纵坐标位置值p＝0，令鼻子和脖子实时视频帧像素纵坐标平均值位置值q＝0，令引体向上个数c＝0；令计数状态s＝0，s＝0代表完成了引体向上的动作后并回到准备动作，s＝1代表完成了引体向上的动作并未回到准备动作；/n第二步，计数模块从采集模块获取准备时刻人体视频帧；/n第三步，计数模块采用人体姿态估计算法获取准备时刻人体视频帧中人体骨架像素坐标，并提取右肩的视频帧像素坐标N...

【技术特征摘要】
1.一种基于人脸识别和人体姿态估计的引体向上测试系统，其特征在于基于人脸识别和人体姿态估计的引体向上测试系统由摄像头(1)、摄像头支柱(2)、引体向上考核器(4)、引体向上考核器支柱(3)组成；
摄像头(1)安装在摄像头支柱(2)顶端，通过电缆与引体向上考核器(4)相连，用于获取视频帧，将视频帧发送给引体向上考核器(4)；
引体向上考核器支柱(3)由四根圆柱组成，用于支撑引体向上考核器(4)；
引体向上考核器(4)由主板机盒(43)、显示屏(42)、总开关(41)、电源组件和主板组成；引体向上考核器(4)的下底面四个角开有圆形通孔，引体向上考核器(4)通过这4个圆形通孔采用卡扣方式连接在引体向上考核器支柱(3)的顶端；
所述主板机盒(43)用于容纳主板、电源组件，安装显示屏(42)、总开关(41)；主板机盒(43)的正面(431)上挖有凹槽(432)，凹槽(432)满足嵌入显示屏(42)；
所述显示屏(42)为触控液晶屏，与主板相连；当引体向上考核器(4)通电后显示屏(42)上显示新建录入、身份对比、引体向上计数三个触控按钮，用于开启新建录入、身份对比、引体向上计数三项工作界面，并根据从显示模块接收的提示显示实时信息，包括视频帧、人员信息、引体向上个数、各种提示；
所述总开关(41)安装在主板机盒(43)除显示屏(42)以外的任意位置，与电源组件相连，用于开启电源组件；
所述电源组件集成在主板机盒(43)内，与总开关(41)和主板相连，用于为基于人脸识别和姿态识别的引体向上测试系统供电；
所述主板为深度学习开发板，固定在主板机盒(43)内，与显示屏(42)、摄像头(1)、总开关(41)和电源组件相连；主板上装有引体向上软件，引体向上软件由采集模块、新建录入模块、身份对比模块、计数模块、显示模块和数据库组成；
采集模块与摄像头(1)、身份对比模块、计数模块、显示模块相连，负责获取摄像头(1)的视频帧，将视频帧传给新建录入模块、身份对比模块、计数模块、显示模块；
新建录入模块与采集模块、显示模块、数据库相连，新建录入模块从显示屏(42)显示的新建录入按钮接收用户输入的姓名和编号，在数据库中查询是否有与用户输入的姓名和编号重复的姓名或者编号，如果有重复，向显示模块发送“人员信息已存在，请勿重新录入”的提示，如果没有重复，新建录入模块从采集模块接收视频帧，利用人脸识别算法对视频帧进行人脸识别，得到人脸特征，将人脸特征和数据库中的人脸特征作对比，若人脸特征存在，新建录入模块向显示模块发送“人脸信息已存在，请核对姓名和编号”的提示，若人脸特征不存在，将人脸特征、姓名和编号存入数据库中，新建录入模块向显示模块发送“录入成功”的提示；
身份对比模块与采集模块、显示模块和数据库相连，身份对比模块通过显示屏(42)显示的身份对比按钮从采集模块接收视频帧，利用人脸识别算法对视频帧进行人脸识别，得到人脸特征，将人脸特征和数据库中的人脸特征作对比；当数据库中存在被测人员人脸信息则比对成功，从数据库中查找到被测人员的姓名，编号信息，向显示模块发送“身份认证成功”的提示，并将姓名和编号发送给显示模块；若不存在被测人员人脸信息，向显示模块发送“身份未能成功识别，请先录入人脸信息”的提示；
计数模块与采集模块和显示模块相连，从采集模块接收被测人员准备动作时的视频帧，利用人体姿态估计算法获取人体骨架视频帧像素坐标位置信息，判断被测人员双腕、鼻子和脖子的视频帧像素坐标信息；根据坐标信息进行引体向上计数，计数模块流程为：
第一步，初始化脖子最低视频帧像素纵坐标值H＝0，令双腕实时视频帧像素纵坐标位置值p＝0，令鼻子和脖子实时视频帧像素纵坐标平均值位置值q＝0，令引体向上个数c＝0；令计数状态s＝0，s＝0代表完成了引体向上的动作后并回到准备动作，s＝1代表完成了引体向上的动作并未回到准备动作；
第二步，计数模块从采集模块获取准备时刻人体视频帧；
第三步，计数模块采用人体姿态估计算法获取准备时刻人体视频帧中人体骨架像素坐标，并提取右肩的视频帧像素坐标N2(X2,Y2)、右肘的视频帧像素坐标N3(X3,Y3)、右腕的视频帧像素坐标N4(X4,Y4)、左肩的视频帧像素坐标N5(X5,Y5)、左肘的视频帧像素坐标N6(X6,Y6)、左腕的视频帧像素坐标N7(X7,Y7)，鼻子的视频帧像素坐标N0(X0,Y0)，脖子的视频帧像素坐标N1(X1,Y1)，判断线段N3N2与线段N3N4所成角度，以及线段N6N5与线段N6N7所成角度是否在角度阈值κ内，若所成角度不在阈值κ内，向显示模块发送“准备动作不标准，请注意手臂不要弯曲”的提示，转第二步；若所成角度在角度阈值κ内，则将脖子的视频帧像素坐标N1(X1,Y1)的纵坐标赋值给H，即令H＝Y1，将H作为脖子在整个引体向上测试过程中最低位置，向显示模块发送“准备动作标准，请继续完成引体向上动作”的提示，转第四步；
第四步，计数模块从采集模块获取实时人体视频帧；
第五步，计数模块获取实时人体视频帧中人体骨架关节点坐标，根据人体骨架关节点坐标对引体向上进行计数，将引体向上个数c发送给显示模块，方法是：
5.1计数模块采用人体姿态估计算法获取实时人体视频帧中人体骨架像素坐标，若在阈值T内获取到了右肩的视频帧像素坐标N2(X2,Y2)、右肘的视频帧像素坐标N3(X3,Y3)、右腕的视频帧像素坐标N4(X4,Y4)、左肩的视频帧像素坐标N5(X5,Y5)、左肘的视频帧像素坐标N6(X6,Y6)、左腕的视频帧像素坐标N7(X7,Y7)，鼻子的视频帧像素坐标N0(X0,Y0)，脖子的视频帧像素坐标N1(X1,Y1)的值，转5.2；若未获取到上述坐标信息，转5.3.3；
5.2计数模块将右腕的视频帧像素坐标N4(X4,Y4)、左腕的视频帧像素坐标N7(X7,Y7)的纵坐标平均值赋值给p，即令p＝(Y4+Y7)/2，将鼻子的视频帧像素坐标N0(X0,Y0)、脖子的视频帧像素坐标N1(X1,Y1)的纵坐标平...

【专利技术属性】
技术研发人员：罗磊，段雷，王帆，薛飞，陶泽坤，祝恩，刘新旺，李莎莎，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：湖南;43