一种基于透视投影变换的目标行列定位方法技术

本发明专利技术涉及一种基于透视投影变换的目标行列定位方法，该方法通过对教室中学生的行列定位实现对学生身份的确定，包括以下步骤：获取课堂视频；从所述课堂视频中提取帧图像，对所述帧图像进行畸变校正处理；检测所述帧图像中所有的人体关节点模型；基于所述人体关节点模型所有目标的获得目标代表点，对所述目标代表点进行投影变换，获得各目标的俯视投影坐标；对所述俯视投影坐标进行聚类，获得各目标的行列定位结果。与现有技术相比，本发明专利技术代替人脸识别技术达到识别学生身份的目的，具有准确率高和速度快等优点。

【技术实现步骤摘要】
一种基于透视投影变换的目标行列定位方法
本专利技术涉及一种目标行列位置识别方法，尤其是涉及一种基于透视投影变换的目标行列定位方法。
技术介绍
如今人工智能技术不断发展，逐步渗透进社会各行各业，教育也不例外。而智慧教育相较于传统教育，能够时刻关注到课堂中每一个学生的学习状态，通过持续的跟踪观察，针对学生提供个性化的教学服务。而传统教学中则很难做到这一点。要想实现学生的个性化服务，就必须做到将识别出的动作和姿态关联到其对应的学生主体以及确定学生的身份。然而教室场景下学生数量较多，姿态各异，并且存在遮挡，此外还有摄像头的位置、精度等因素的影响，都对解决这一问题增加了难度。关于确定学生身份这一问题，一种自然的想法是使用人脸识别算法识别出学生身份。如文献JointFaceDetectionandAlignmentUsingMultitaskCascadedConvolutionalNetworks(K.Zhang,Z.Zhang,Z.Li,Y.Qiao,IEEESignalProcessingLetters(SPL),vol.23,no.10,pp.1499-1503,2016)公开的MTCNN，是一种用于检测图像中人脸的位置以及特征点的算法。该方法构建了三个网络来对图像进行处理，每个网络的结构参见图1，而每层网络的作用如下：(1)ProposalNetwork(P-Net)：该网络主要获取人脸区域的候选窗口和边界框的回归向量，之后对边界框做回归来校准候选区域，最后采用非极大值抑制(NMS)来合并高度重叠的候选窗口。(2)RefineNetwork(R-Net)：该网络仍然通过边界框回归和NMS来校准候选区域并去掉错误的区域，但其因为结构较P-Net多了一个全连接层，因此对错误区域有更好的抑制作用。(3)OutputNetwork(O-Net)：该网络作用与R-Net类似，但通过增加了一个卷积层来提供更多监督，从而增加精度。此外，该网络还会同时输出人脸的五个关键特征点(Landmark)。上述三个网络的具体训练步骤可分为三个任务：人脸/非人脸分类、边界框回归和人脸关键特征点定位。在计算出人脸范围及特征点后，通过计算特征与已存储的带有身份标识的人脸数据的特征相似度，即可识别出人脸的身份。上述现有的人脸识别过程具有以下不足：1、采用人脸识别技术对图像分辨率有较高要求，因而要求较高的摄像头精度采集数据。在教室场景下，后排学生分辨率往往很低，从而会严重影响识别结果。2、如果采用高精度摄像头，则会大大提高使用成本。3、进行人脸特征相似度匹配时，耗时相对较长。
技术实现思路
本专利技术的目的在于克服上述现有人脸识别过程存在的缺陷而提供一种基于透视投影变换的目标行列定位方法，是一种利用人体关节点模型生成的代表点计算对象行列位置的方法，可以实现代替人脸识别技术达到识别学生身份的目的。本专利技术的目的可以通过以下技术方案来实现：一种基于透视投影变换的目标行列定位方法，该方法通过对教室中学生的行列定位实现对学生身份的确定，包括以下步骤：获取课堂视频；从所述课堂视频中提取帧图像，对所述帧图像进行畸变校正处理；检测所述帧图像中所有的人体关节点模型；基于所述人体关节点模型所有目标的获得目标代表点，对所述目标代表点进行投影变换，获得各目标的俯视投影坐标；对所述俯视投影坐标进行聚类，获得各目标的行列定位结果。进一步地，从所述课堂视频中提取帧图像具体为：以2～5秒为间隔提取所述帧图像。进一步地，所述畸变校正处理具体为：获取相机内参矩阵，根据相机内参矩阵对获取到的帧图像进行畸变校正。进一步地，所述人体关节点模型基于PifPaf网络获得，所述PifPaf网络包括用于预测人体关节点位置的第一子网络和用于预测关节点之间连接关系的第二子网络。进一步地，各目标的所述目标代表点基于对应人体关节点模型中各关节点的坐标加权平均值获得，计算公式为：其中，(xi,yi)为目标i的目标代表点,wj为权值，(xij,yij)为对应于目标i的人体关节点模型中关节点j的坐标，N为关节点个数。进一步地，设置所述权值时，手部关节点和脚部关节点的权值最小。进一步地，设置所述权值时，膝盖部关节点的权值最大。进一步地，所述投影变换具体为：其中，(x,y)为相机坐标系中的目标代表点坐标，(p,q)为投影到水平坐标系中的目标代表点坐标，为单应矩阵。进一步地，所述单应矩阵通过位于同一平面的四个点的转换关系计算获得。进一步地，进行所述聚类前采用局部异常因子算法进行游离异常点剔除。与现有技术相比，本专利技术具有如下有益效果：1、本专利技术应用于教学课堂这一独特的场景，基于这一场景具有每个学生与其座位一一对应这一特点，本专利技术转变了解决问题的角度，不直接确定每个学生的身份，转而采用通过确定学生是位于教室座位第几行和第几列来间接确定学生身份的方法。本专利技术首先使用人体姿态估计识别出图像中所有目标的关节点模型，利用关节点计算出图像中其对应的目标代表点，获得所有目标代表点后通过投影变换获取目标代表点之间的相对位置关系，之后计算出目标行列位置，进而确定学生身份。经过实际场景的验证，该方法具有较好的准确率和速度。2、本专利技术可在教室场景下快速、准确地确定每个学生身份，对图像分辨率无高要求。3、本专利技术解决人脸识别技术所需要的高质量图像问题，使能够用于一般质量图像。4、本专利技术降低了方案时间复杂度，做到实时响应。附图说明图1为MTCNN的三层网络结构；图2为本专利技术流程示意图；图3为图像畸变校正前后对比图；图4为PifPaf网络结构；图5为人体关节点模型检测示意图；图6为投影变换前后学生代表点示意图；图7为学生行列定位结果展示。具体实施方式下面结合附图和具体实施例对本专利技术进行详细说明。本实施例以本专利技术技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本专利技术的保护范围不限于下述的实施例。缩略语和关键术语定义关节点：姿态识别中预测的属于人体各部位关节的点。代表点：用以代表一个人在图像中的位置，二维坐标。姿态估计(PoseEstimation)：对目标物体的方位指向等进行估计的方法。透视投影变换(PerspectiveProjectionTransformation)：将相机坐标系中的物体投影到另一平面。人脸识别：利用人脸中的特征关键点进行匹配，确定身份。镜头畸变：因为像机镜头的固有特征导致成像与实际失真的情况。局部异常因子(LocalOutlierFactor,LOF)：一种通过计算附近点密度与当前点比值关系，即局部可达密度的算法。K-Means聚类算法：一种迭代求解的聚类算法，最终将数据聚集到K个类别中。本文档来自技高网...

【技术保护点】
1.一种基于透视投影变换的目标行列定位方法，其特征在于，该方法通过对教室中学生的行列定位实现对学生身份的确定，包括以下步骤：/n获取课堂视频；/n从所述课堂视频中提取帧图像，对所述帧图像进行畸变校正处理；/n检测所述帧图像中所有的人体关节点模型；/n基于所述人体关节点模型所有目标的获得目标代表点，对所述目标代表点进行投影变换，获得各目标的俯视投影坐标；/n对所述俯视投影坐标进行聚类，获得各目标的行列定位结果。/n

【技术特征摘要】
1.一种基于透视投影变换的目标行列定位方法，其特征在于，该方法通过对教室中学生的行列定位实现对学生身份的确定，包括以下步骤：
获取课堂视频；
从所述课堂视频中提取帧图像，对所述帧图像进行畸变校正处理；
检测所述帧图像中所有的人体关节点模型；
基于所述人体关节点模型所有目标的获得目标代表点，对所述目标代表点进行投影变换，获得各目标的俯视投影坐标；
对所述俯视投影坐标进行聚类，获得各目标的行列定位结果。


2.根据权利要求1所述的基于透视投影变换的目标行列定位方法，其特征在于，从所述课堂视频中提取帧图像具体为：以2～5秒为间隔提取所述帧图像。


3.根据权利要求1所述的基于透视投影变换的目标行列定位方法，其特征在于，所述畸变校正处理具体为：获取相机内参矩阵，根据相机内参矩阵对获取到的帧图像进行畸变校正。


4.根据权利要求1所述的基于透视投影变换的目标行列定位方法，其特征在于，所述人体关节点模型基于PifPaf网络获得，所述PifPaf网络包括用于预测人体关节点位置的第一子网络和用于预测关节点之间连接关系的第二子网络。


5.根据权利要求1所述的基于透视投影变换的目标行列定位方法，其特...

【专利技术属性】
技术研发人员：余天，姜飞，申瑞民，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：上海;31