一种基于双目视觉的人体姿态动作研究方法技术

本发明专利技术公开了一种基于双目视觉的人体姿态动作研究方法，该方法首先通过双目标定获取相机的内外参数，接着从相机拍摄的图像中提取出各肤色区域的质心点的坐标，并对质心点进行匹配判断，然后以世界坐标系为基准求出匹配的质心点在世界坐标系中的坐标，最后根据质心点在世界坐标系中坐标判断人体的姿态及动作。本发明专利技术不需要拍摄大量图像，能够通过实时采集视频帧对人脸和双手等人体关键部位的质心点进行立体匹配，以获取人体关键部位之间的位置关系，运行成本较低。

【技术实现步骤摘要】
一种基于双目视觉的人体姿态动作研究方法
本专利技术涉及一种人体姿态动作研究方法，具体而言，涉及一种基于双目视觉的人体姿态动作研究方法。
技术介绍
随着计算机技术的发展，人们可以使用计算机完成很多高难度的工作。通过计算机对人体动作进行准确识别的技术可广泛应用于智能人机交互，虚拟现实，视频监控和数字娱乐领域，是目前计算机视觉与模式识别领域的研究热点。在某些虚拟现实的领域中，如数字娱乐，通常需要计算机一方面向人的感官传递刺激信号，另一方面也需要接收操作者的反应，如体态姿势的变动等，然后根据这些人体本身位置和状态的变换来调整刺激信号。因此，需要准确地对人体动作或姿态进行识别。目前一些利用动作进行识别控制的方法都是基于传统的图像识别方法，通过摄像头拍摄人体的行为姿态或动作，对拍摄的图像进行分析处理，提取图像的数据特征信息，利用相应的识别算法进行识别，判断出人体的行为姿态或动作。此种方法一方面需要相当大的存储空间以存放拍摄的图像，另一方面也需要非常优化的算法来精确识别人体姿态或动作，并且这些方法都是利用图像中的二维数据信息，不能精确确定人体关键部位之间的位置关系。目前获取三维数据的方法主要可分为两类：主动测距和被动测距。主动测距技术主要包括结构光法和飞行时间法(TOF)。结构光法是一种既利用图像又利用可控制辐射源的测距方法，其基本思想是利用照明中的几何信息帮助提取景物中的几何信息。结构光法对设备和外界光线要求较高，造价昂贵。飞行时间法直接利用光和声波的传播特性，不需要进行灰度图像的获取与分析，因此距离的获取不受物体表面性质的影响，但是需要较复杂的光电设备，造价昂贵，且测量精度与设备的灵敏度有很大关系。被动测距技术主要包括双目或者多目视觉测距，它不需要人为设置辐射源，只利用场景在自然光照下的二维图像来重建景物的三维信息。立体视觉的研究工作是从20世纪60年代中期开始的，当时，麻省理工学院的Robert完成了三维景物分析工作，把二维图像分析推广到了三维景物，这标志着立体视觉技术的诞生，并在随后的20年中迅速发展成为一门新兴学科。立体视觉的基本原理是从两个试点观察同一景物，以获取在不同视角下的感知图像，通过三角测量原理计算图像像素间的位置偏差，即视差，来获取景物的三维信息，这一过程是与人类视觉的立体感知过程类似的。双目立体视觉对设备的要求不高，但需要在测量之前能够准确的标定，获取相机的内外参数，来重建三维信息。
技术实现思路
本专利技术提供了一种基于双目视觉的人体姿态动作研究方法，用以利用双目立体视觉原理研究人体的姿态动作。为达到上述目的，本专利技术提供了一种基于双目视觉的人体姿态动作研究方法，包括以下步骤：S1：将左相机和右相机分别置于与地面平行的同一水平线上，其中，两部相机为同一型号，两部相机之间的距离为设定值，且两部相机均能拍摄到完整的人体上半身；S2：对左相机和右相机进行双目标定，首先准备一块带有多个圆形特征点的矩形标定板，其中，多个圆形特征点排列成多行和多列的阵列，位于同一行的圆形特征点的圆心在同一直线上，位于同一列的圆形特征点的圆心在同一直线上；S3：将标定板置于相机拍摄区域内的至少5个不同方位，并分别使用左相机和右相机对标定板进行拍摄，得到多张对应左相机的左标定板图像和多张对应右相机的右标定板图像；S4：计算左标定板图像中的多个圆形特征点在左图像坐标系中的坐标，以及右标定板图像中的多个圆形特征点在右图像坐标系中的坐标，其中，左图像坐标系的原点为左相机的成像面与其光轴的交点，右图像坐标系的原点为右相机的成像面与其光轴的交点；S5：利用极线约束规则分别匹配同一方位下的左标定板图像和右标定板图像，得到每个方位下多个圆形特征点在左图像坐标系和右图像坐标系中的特征圆心；S6：根据每个方位下多个圆形特征点在左图像坐标系和右图像坐标系中的特征圆心，利用Levenberg-Marquardt算法计算左相机的内参数，以及左相机和右相机组成的相机系统的外参数，其中，内参数至少包括左图像坐标系中u轴的有效焦距fx、v轴的有效焦距fy以及左图像坐标系的中心坐标(cx,cy)，外参数至少包括旋转向量R和平移向量t；S7：构建人体肤色模型，首先使用手工标注方法统计大量RGB格式人体图像中的肤色区域的RGB值，得到人体肤色在RGB空间的分布情况；S8：将RGB空间转化到YCrCb空间，得到人体肤色在YCrCb空间的分布情况；S9：根据人体肤色在YCrCb空间的分布情况构建人体肤色模型；S10：被采集者站立在左相机和右相机的图像采集范围内，在t0时刻，使用左相机和右相机分别采集一帧左相机图像和一帧右相机图像；S11：根据人体肤色模型，分别对左相机图像和右相机图像进行预处理滤波去噪及肤色检测，得到左相机图像中的多个连通的肤色区域和右相机图像中的多个连通的肤色区域；S12：分别对左相机图像中的多个连通的肤色区域和右相机图像中的多个连通的肤色区域进行二值化处理及滤波，获取左相机图像中的多个肤色区域和右相机图像中的多个肤色区域，其中，多个肤色区域至少包括被采集者的脸部；S13：分别计算左相机图像和右相机图像中的多个肤色区域的质心点的坐标，首先从左相机图像中的多个肤色区域和右相机图像中的多个肤色区域中取一个肤色区域；S14：取该肤色区域的最小外接矩形，得到大小为m*n的子图像，其中m为最小外接矩形的宽度，n为最小外接矩形的长度；S15：假设(i,j)为子图像中以对应的图像坐标系为基准的像素点的坐标，f(i,j)为子图像在该像素点的灰度值，则子图像的矩为：S16：分别计算子图像的0阶矩M00和1阶矩M10及M01；S17：设子图像的质心点的坐标为P(xc,yc)，按照下式计算子图像的质心点的坐标：S18：重复上述步骤S14～S17直至左相机图像中的多个肤色区域和右相机图像中的多个肤色区域全部计算完成；S19：判断左相机图像中的多个肤色区域分别对应的质心点与右相机图像中的多个肤色区域分别对应的质心点之间的匹配关系，首先设定一灰度相关值阈值T；S20：从右相机图像中的多个肤色区域中取一个肤色区域，并从左相机图像中取出与该右相机图像的肤色区域对应的肤色区域；S21：以该右相机图像的肤色区域的质心点的坐标p1(x1,y1)为中心，选定一个大小为(2m′+1)*(2n′+1)的窗口，其中m′，n′为设定值的自然数；S22：以左相机图像中对应肤色区域的质心点的坐标p2(x2,y2)为中心，也选定一个大小为(2m′+1)*(2n′+1)的窗口；S23：假设I1(x1+i,y1+j)为右相机图像中该肤色区域的质心点周围的像素点的灰度值，为右相机图像中该肤色区域的最小外接矩形包围的区域范围内所有像素点的灰度均值，I2(x2+i,y2+j)为左相机图像中对应肤色区域的质心点周围的像素点的灰度值，为左相机图像中对应肤色区域的最小外接矩形包围的区域范围内所有像素点的灰度均值，σ(Ik)为标准差，通过以下两式计算该右相机图像的肤色区域与该左相机图像的肤色区域的灰度相关值R(p1,p2)：...

【技术保护点】
一种基于双目视觉的人体姿态动作研究方法，其特征在于，包括以下步骤：S1：将左相机和右相机分别置于与地面平行的同一水平线上，其中，两部相机为同一型号，两部相机之间的距离为设定值，且两部相机均能拍摄到完整的人体上半身；S2：对所述左相机和所述右相机进行双目标定，首先准备一块带有多个圆形特征点的矩形标定板，其中，多个所述圆形特征点排列成多行和多列的阵列，位于同一行的圆形特征点的圆心在同一直线上，位于同一列的圆形特征点的圆心在同一直线上；S3：将所述标定板置于相机拍摄区域内的至少5个不同方位，并分别使用左相机和右相机对所述标定板进行拍摄，得到多张对应左相机的左标定板图像和多张对应右相机的右标定板图像；S4：计算所述左标定板图像中的多个所述圆形特征点在左图像坐标系中的坐标，以及所述右标定板图像中的多个所述圆形特征点在右图像坐标系中的坐标，其中，所述左图像坐标系的原点为所述左相机的成像面与其光轴的交点，所述右图像坐标系的原点为所述右相机的成像面与其光轴的交点；S5：利用极线约束规则分别匹配同一方位下的所述左标定板图像和所述右标定板图像，得到每个方位下多个所述圆形特征点在所述左图像坐标系和所述右图像坐标系中的特征圆心；S6：根据每个方位下多个所述圆形特征点在所述左图像坐标系和所述右图像坐标系中的特征圆心，利用Levenberg‑Marquardt算法计算所述左相机的内参数，以及所述左相机和所述右相机组成的相机系统的外参数，其中，所述内参数至少包括左图像坐标系中u轴的有效焦距fx、v轴的有效焦距fy以及左图像坐标系的中心坐标(cx,cy)，所述外参数至少包括旋转向量R和平移向量t；S7：构建人体肤色模型，首先使用手工标注方法统计大量RGB格式人体图像中的肤色区域的RGB值，得到人体肤色在RGB空间的分布情况；S8：将RGB空间转化到YCrCb空间，得到人体肤色在YCrCb空间的分布情况；S9：根据人体肤色在YCrCb空间的分布情况构建人体肤色模型；S10：被采集者站立在所述左相机和所述右相机的图像采集范围内，在t0时刻，使用所述左相机和所述右相机分别采集一帧左相机图像和一帧右相机图像；S11：根据所述人体肤色模型，分别对所述左相机图像和所述右相机图像进行预处理滤波去噪及肤色检测，得到所述左相机图像中的多个连通的肤色区域和所述右相机图像中的多个连通的肤色区域；S12：分别对所述左相机图像中的多个连通的肤色区域和所述右相机图像中的多个连通的肤色区域进行二值化处理及滤波，获取所述左相机图像中的多个肤色区域和所述右相机图像中的多个肤色区域，其中，所述多个肤色区域至少包括被采集者的脸部；S13：分别计算所述左相机图像和所述右相机图像中的多个肤色区域的质心点的坐标，首先从所述左相机图像中的多个肤色区域和所述右相机图像中的多个肤色区域中取一个肤色区域；S14：取该肤色区域的最小外接矩形，得到大小为m*n的子图像，其中m为所述最小外接矩形的宽度，n为所述最小外接矩形的长度；S15：假设(i,j)为所述子图像中以对应的图像坐标系为基准的像素点的坐标，f(i,j)为所述子图像在该像素点的灰度值，则所述子图像的矩为：Mpq=Σi=1nΣj=1mipjqf(i,j);]]>S16：分别计算所述子图像的0阶矩M00和1阶矩M10及M01；S17：设所述子图像的质心点的坐标为P(xc,yc)，按照下式计算所述子图像的质心点的坐标：xc=M10M00,yc=M01M00;]]>S18：重复上述步骤S14～S17直至所述左相机图像中的多个肤色区域和所述右相机图像中的多个肤色区域全部计算完成；S19：判断所述左相机图像中的多个肤色区域分别对应的质心点与所述右相机图像中的多个肤色区域分别对应的质心点之间的匹配关系，首先设定一灰度相关值阈值T；S20：从所述右相机图像中的多个肤色区域中取一个肤色区域，并从所述左相机图像中取出与该右相机图像的肤色区域对应的肤色区域；S21：以该右相机图像的肤色区域的质心点的坐标p1(x1,y1)为中心，选定一个大小为(2m′+1)*(2n′+1)的窗口，其中m′，n′为设定值的自然数；S22：以左相机图像中对应肤色区域的质心点的坐标p2(x2,y2)为中心，也选定一个大小为(2m′+1)*(2n′+1)的窗口；S23：假设I1(x1+i,y1+j)为右相机图像中该肤色区域的质心点周围的像素点的灰度值，为右相机图像中该肤色区域的最小外接矩形包围的区域范围内所有像素点的灰度均值，I2(x2+i,y2+j)为左相机图像中对应肤色区域的质心点周围的像素点的灰度值，为左相机图像中对应肤色区域的最小外接矩形包围的区域范围内所有像素点的灰度均值，σ(Ik)为标准差，通过以下两式计算该右相机图像的肤色区域与该左相机图像的肤色区域的灰度相关值...

【技术特征摘要】
1.一种基于双目视觉的人体姿态动作研究方法，其特征在于，包括以下步骤：步骤S1：将左相机和右相机分别置于与地面平行的同一水平线上，其中，两部相机为同一型号，两部相机之间的距离为设定值，且两部相机均能拍摄到完整的人体上半身；步骤S2：对所述左相机和所述右相机进行双目标定，首先准备一块带有多个圆形特征点的矩形标定板，其中，多个所述圆形特征点排列成多行和多列的阵列，位于同一行的圆形特征点的圆心在同一直线上，位于同一列的圆形特征点的圆心在同一直线上；步骤S3：将所述标定板置于相机拍摄区域内的至少5个不同方位，并分别使用左相机和右相机对所述标定板进行拍摄，得到多张对应左相机的左标定板图像和多张对应右相机的右标定板图像；步骤S4：计算所述左标定板图像中的多个所述圆形特征点在左图像坐标系中的坐标，以及所述右标定板图像中的多个所述圆形特征点在右图像坐标系中的坐标，其中，所述左图像坐标系的原点为所述左相机的成像面与其光轴的交点，所述右图像坐标系的原点为所述右相机的成像面与其光轴的交点；步骤S5：利用极线约束规则分别匹配同一方位下的所述左标定板图像和所述右标定板图像，得到每个方位下多个所述圆形特征点在所述左图像坐标系和所述右图像坐标系中的特征圆心；步骤S6：根据每个方位下多个所述圆形特征点在所述左图像坐标系和所述右图像坐标系中的特征圆心，利用Levenberg-Marquardt算法计算所述左相机的内参数，以及所述左相机和所述右相机组成的相机系统的外参数，其中，所述内参数至少包括左图像坐标系中u轴的有效焦距fx、v轴的有效焦距fy以及左图像坐标系的中心坐标(cx,cy)，所述外参数至少包括旋转向量R和平移向量t；步骤S7：构建人体肤色模型，首先使用手工标注方法统计大量RGB格式人体图像中的肤色区域的RGB值，得到人体肤色在RGB空间的分布情况；步骤S8：将RGB空间转化到YCrCb空间，得到人体肤色在YCrCb空间的分布情况；步骤S9：根据人体肤色在YCrCb空间的分布情况构建人体肤色模型；步骤S10：被采集者站立在所述左相机和所述右相机的图像采集范围内，在t0时刻，使用所述左相机和所述右相机分别采集一帧左相机图像和一帧右相机图像；步骤S11：根据所述人体肤色模型，分别对所述左相机图像和所述右相机图像进行预处理滤波去噪及肤色检测，得到所述左相机图像中的多个连通的肤色区域和所述右相机图像中的多个连通的肤色区域；步骤S12：分别对所述左相机图像中的多个连通的肤色区域和所述右相机图像中的多个连通的肤色区域进行二值化处理及滤波，获取所述左相机图像中的多个肤色区域和所述右相机图像中的多个肤色区域，其中，所述多个肤色区域至少包括被采集者的脸部；步骤S13：分别计算所述左相机图像和所述右相机图像中的多个肤色区域的质心点的坐标，首先从所述左相机图像中的多个肤色区域和所述右相机图像中的多个肤色区域中取一个肤色区域；步骤S14：取该肤色区域的最小外接矩形，得到大小为m*n的子图像，其中m为所述最小外接矩形的宽度，n为所述最小外接矩形的长度；步骤S15：假设(i,j)为所述子图像中以对应的图像坐标系为基准的像素点的坐标，f(i,j)为所述子图像在该像素点的灰度值，则所述子图像的矩为：步骤S16：分别计算所述子图像的0阶矩M00和1阶矩M10及M01；步骤S17：设所述子图像的质心点的坐标为P(xc,yc)，按照下式计算所述子图像的质心点的坐标：步骤S18：重复上述步骤S13～S17直至所述左相机图像中的多个肤色区域和所述右相机图像中的多个肤色区域全部计算完成；步骤S19：判断所述左相机图像中的多个肤色区域分别对应的质心点与所述右相机图像中的多个肤色区域分别对应的质心点之间的匹配关系，首先设定一灰度相关值阈值T；步骤S20：从所述右相机图像中的多个肤色区域中取一个肤色区域，并从所述左相机图像中取出与该右相机图像的肤色区域对应的肤色区域；步骤S21：以该右相机图像的肤色区域的质心点的坐标p1(x1,y1)为中心，选定一个大小为(2m′+1)*(2n′+1)的窗口，其中m′，n′为设定值的自然数；步骤S22：以左相机图像中对应肤色区域的质心点的坐标p2(x2,y2)为中心，也选定一个大小为(2m′+1)*(2n′+1)的窗口；步骤S23：假设I1(x1+i,y1+j)为右相机图像中该肤色区域的质心点周围的像素点的灰度值，为右相机图像中该肤色区域的最小外接矩形包围的区域范围内所有像素点的灰度均值，I2(x2+i,y2+j)为左相机图像中对应肤色区域的质心点周围的像素点的灰度值，为左相机图像中对应肤色区域的最小外接矩形包围的区域范围内所有像素点的灰度均值，σ(Ik)为标准差，通过以下两式计算该右相机图像的肤色区域与该左相机图像的肤色区域的灰度相关值R(p1,p2)：k＝1或2，

【专利技术属性】
技术研发人员：叶青，董俊峰，张永梅，
申请(专利权)人：北方工业大学，
类型：发明
国别省市：北京;11