一种实时三维无标记人体姿态识别方法及系统技术方案

本发明专利技术提供一种实时三维无标记人体姿态识别方法及系统，包括：分别从不同视角采集至少四个人体姿态的单视角视频图像；对所有单视角视频图像进行预处理；对预处理后的单视角视频图像进行三维轮廓重建处理，形成三维轮廓图像；对三维轮廓图像进行姿态分类；输出姿态分类的结果。本发明专利技术通过多个终端节点摄像头多角度进行视频图像采集，每个终端节点摄像头与一台终端节点计算机连接，终端节点计算机对视频图像进行预处理，预处理包括背景分离和人体轮廓提取处理。提取出的轮廓统一发送到中央处理计算机实现三维轮廓重建，并根据终端节点计算机中冗余的图像信息，快速、实时构建三维完整图像。

【技术实现步骤摘要】

本专利技术涉及计算机视觉领域，具体涉及一种实时三维无标记人体姿态识别方法及系统。
技术介绍
近年来，人体运动视觉分析逐渐成为计算机视觉领域的热点问题。其主要的算法流程是通过摄像头获取视频图像，提取所需信息，对所需信息进行计算机自动分析并反馈的过程。其中包括目标分离，动作检测，形态识别等。其主要研究目的是以分析人体的运动姿势为目标，为行为理解提供更多的信息，从而更好的实现智能判断，并对相应的人体行为做出应急处理方案。在对人体姿态识别的研究过程中，有的采用模板匹配的方法，有的采用基于标记特征点的方法，有的采用基于运动状态空间的方法，等等。上述各种方法都有其不足之处。模板匹配的方法需要建立多个预定义的状态模板，使之与分离出的目标进行模板匹配，确定出摄像头捕获的目标的具体姿态。基于标记特征点的方法无法实现实时状态下的无标记人体行为检测，从而不利于视频监控下的姿态行为的检测及推广。基于运动状态空间的方法是通过隐式马可夫模型对状态空间进行分析并对下一个行为状态进行预测，但后继状态预测的效果受到多方面的条件限制。
技术实现思路
有鉴于此，有必要提供一种实时三维无标记人体姿态识别方法及系统，能快速、实时的实现人体姿态识别。为此本专利技术提供如下技术方案:一种实时三维无标记人体姿态识别方法，包括:分别从不同视角采集至少四个人体姿态的单视角视频图像；对所有单视角视频图像进行预处理；对预处理后的单视角视频图像进行三维轮廓重建处理，形成三维轮廓图像；对三维轮廓图像进行姿态分类；输出姿态分类的结果。进一步的，所述预处理包括背景分离和人体轮廓提取处理。进一步的，所述三维轮廓重建处理包括:将每帧视频图像划分为严格离散的多个单元；从查找表中获取每个单元对应的三维像素点；根据多角度冗余视频图像以及查找表反向构建出三维图像中各像素点的信息；对各像素点的信息进行整合，获得完整的三维轮廓图像。进一步的，对三维轮廓图像进行姿态分类包括:对三维轮廓图像进行平均边界空余最大化转换处理；通过转换处理，获取最适应边界转换矩阵，确定相关系数；通过最近邻分类器将处理后的三维轮廓图像与预定义姿态数据库中的例子姿态进行比较，寻找到最佳匹配，即进行姿态分类。进一步的，最近邻分类器采用三维类Haar小波特征分类方法进行姿态分类。进一步的，还包括对最近邻分类器进行训练的步骤。一种实时三维无标记人体姿态识别系统，其特征在于，包括:至少四个单视角视频图像采集模块，用于分别从不同视角采集人体姿态的单视角视频图像；至少四个预处理模块，用于对单视角视频图像进行预处理；预处理模块与单视角视频图像采集模块的数量是相等的，每个预处理模块连接一个单视角视频图像采集模块；三维轮廓重建处理模块，用于将预处理后的单视角视频图像进行三维轮廓重建处理，形成三维轮廓图像；预定义姿态数据库，用于存储例子姿态；最近邻分类器，用于结合预定义姿态数据库对三维轮廓图像进行姿态分类；输出模块，用于输出姿态分类的结果。进一步的，所述单视角视频图像采集模块由终端节点摄像头实现。进一步的，所述预处理模块由终端节点计算机实现。进一步的，所述三维轮廓重建处理模块、最近邻分类器、预定义姿态数据库及输出模块由中央计算机实现。本专利技术通过多个终端节点摄像头多角度进行视频图像采集，每个终端节点摄像头与一台终端节点计算机连接，终端节点计算机对视频图像进行预处理，预处理包括背景分离和人体轮廓提取处理。提取出的轮廓统一发送到中央处理计算机实现三维轮廓重建，并根据终端节点计算机中冗余的图像信息，快速、实时构建三维完整图像。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术实时三维无标记人体姿态识别方法的流程图；图2是本专利技术实时三维无标记人体姿态识别方法的模块图；图3是获取完整三维轮廓的原理图；图4是三维轮廓重建处理的原理图。具体实施例方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例和附图，对本专利技术实施例中的技术方案进行清楚、完整地描述。需要说明的是，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。下面结合附图说明本专利技术的具体实施方式。请参阅图1，本专利技术提供了一种实时三维无标记人体姿态识别方法，包括:分别从不同视角采集至少四个人体姿态的单视角视频图像；对所有单视角视频图像进行预处理；对预处理后的单视角视频图像进行三维轮廓重建处理，形成三维轮廓图像；对三维轮廓图像进行姿态分类；输出姿态分类的结果。本专利技术所采用的硬件系统如图2所示，包括:至少四个单视角视频图像采集模块，用于分别从不同视角采集人体姿态的单视角视频图像；至少四个预处理模块，用于对单视角视频图像进行预处理；预处理模块与单视角视频图像采集模块的数量是相等的，每个预处理模块连接一个单视角视频图像采集模块；三维轮廓重建处理模块，用于将预处理后的单视角视频图像进行三维轮廓重建处理，形成三维轮廓图像；预定义姿态数据库，用于存储例子姿态；最近邻分类器，用于结合预定义姿态数据库对三维轮廓图像进行姿态分类；输出模块，用于输出姿态分类的结果。所述单视角视频图像采集模块由终端节点摄像头实现。终端节点摄像头从不同的视角分别获取部分的人体3D轮廓(Hull)，即单视角视频图像。终端节点摄像头对单视角视频图像做适当的处理，如亮度处理，背景鲁棒性处理坐寸ο所述预处理模块由终端节点计算机实现。由于三维轮廓是经过不同点的不同摄像头分别进行采集，采集到的信息分别连接到终端计算机上进行预处理，其预处理过程涉及背景分离与人体轮廓提取，对各个终端计算机上的预处理结果汇总到中央计算机进行轮廓三维重建，必然需要冗余信息来完成这个操作。在轮廓分离过程中，需要构建RGB色彩输入向量，为了实现光照不变形(Robustness to Illumination),该输入向量采用共线性标准实现，其具体思路如下:XF定义为3X3近邻像素点中的RGB值的输入向量。Xb定义为背景相关向量。线性相关性由向量df，db与Xf，xb的方差来描述，其中信号的方向向量u满足df=Xf-Xf*u,然后计算方差之和:D2 = I df 12+1 db 12通过下列公式来区别前景与背景:当D2> Ts+Tadapt时，所获取为前景；当D2< Ts+Tadapt时，所获取为背景。采用D2的自适应性阈值来实现分割的鲁棒性，这同时也是基于三维重建的考虑。所述三维轮廓重建处理模块、最近邻分类器、预定义姿态数据库及输出模块由中央计算机实现。三维轮廓重建处理模块通过三维像素刻画以及固定查找表进行三维重建。如图3所示，单视角下的可见轮廓并不能完整的描述一个物体，一个凹面区域是无法从轮廓中精确提取的，这需要加入大量摄像头获得的多视角信息来精确的计算可视轮廓区域。从图中可以看出，4-5个摄像头即可获得一个相对比较完整的物体轮廓信息。同时，这也使得重建工作更容易完成，用有限的摄像头数目来近本文档来自技高网...

【技术保护点】
一种实时三维无标记人体姿态识别方法，其特征在于，包括：分别从不同视角采集至少四个人体姿态的单视角视频图像；对所有单视角视频图像进行预处理；对预处理后的单视角视频图像进行三维轮廓重建处理，形成三维轮廓图像；对三维轮廓图像进行姿态分类；输出姿态分类的结果。

【技术特征摘要】
1.一种实时三维无标记人体姿态识别方法，其特征在于，包括: 分别从不同视角采集至少四个人体姿态的单视角视频图像； 对所有单视角视频图像进行预处理； 对预处理后的单视角视频图像进行三维轮廓重建处理，形成三维轮廓图像； 对三维轮廓图像进行姿态分类； 输出姿态分类的结果。2.根据权利要求1所述的实时三维无标记人体姿态识别方法，其特征在于，所述预处理包括背景分离和人体轮廓提取处理。3.根据权利要求1所述的实时三维无标记人体姿态识别方法，其特征在于，所述三维轮廓重建处理包括: 将每帧视频图 像划分为严格离散的多个单元； 从查找表中获取每个单元对应的三维像素点； 根据多角度冗余视频图像以及查找表反向构建出三维图像中各像素点的信息； 对各像素点的信息进行整合，获得完整的三维轮廓图像。4.根据权利要求1所述的实时三维无标记人体姿态识别方法，其特征在于，对三维轮廓图像进行姿态分类包括: 对三维轮廓图像进行平均边界空余最大化转换处理； 通过转换处理，获取最适应边界转换矩阵，确定相关系数； 通过最近邻分类器将处理后的三维轮廓图像与预定义姿态数据库中的例子姿态进行比较，寻找到最佳匹配，即进行姿态分类。5.根据权利要求4所述的实时三维无标记人体姿态识别方法，其特征在...

【专利技术属性】
技术研发人员：吴晓鸰，孟振宇，杜如虚，
申请(专利权)人：广州中国科学院先进技术研究所，
类型：发明
国别省市：