一种基于单目视频的人体关节自动标注方法技术

本发明专利技术提出了一种单目视频中的人体关节自动标注方法。实现步骤为前景检测并将前景作为感兴趣区域进行保存，人体区域确定、部分分割以及剪影外轮廓获取，人体骨架获取及骨架关键点获取，利用脸部与手部的相对位置进行人体姿态粗略估计，人体关节点自动标注。在自动标注过程中，综合利用人体剪影轮廓信息、肤色信息以及由剪影获得的骨架信息，能够保证关节点提取的准确性。本发明专利技术能够进行准确有效的人体部分分割，并能得到各个肢体部分的姿态信息，对下一步人体特征向量的获取与处理工作提供有利条件。

【技术实现步骤摘要】

本专利技术属于计算机视觉领域，涉及运动捕捉中的一种自动初始化方法，可用于人体的姿态估计和动作识别。
技术介绍
基于视觉的无标记运动捕捉技术的研究始于20世纪80年代。无标记的运动捕捉技术融合了计算机视觉、计算机图形学、图像处理、人体运动学和人工智能等学科的研究内容，是多学科交叉的一个热门领域，极具挑战性。人体运动捕捉技术具有很强的实用价值， 可以广泛应用于各个领域，主要有智能监控系统、新型人机交互、医学诊断分析、电影和动画制作、游戏制作、虚拟现实、基于内容的视频序列索引和检索、运动员辅助训练等。例如， 在当前的人机交互系统中，交互方式是非自然的，人需要适应不同机器的不同操作方式。当前使用较多的交互方式主要为键盘、鼠标、触屏等。而随着技术的进步，人们提出了更高的需求，那就是通过人的自然表达，包括语音、动作、表情等，就能与机器进行交流。如果人的这些表达方式能够被机器所理解，那人机交互将会变得更加自然、更加符合人与人之间的交流模式。由于运动捕捉的重要应用价值吸引着越来越多研究人员的目光。一些商家已经开始推出商用的运动捕捉系统。目前市场上比较成熟的运动捕捉系统主要有机械电动式、 电磁式、声学式和光学式四类接触式运动捕捉系统。但这几种运动捕捉系统要使用价格昂贵、专门的信号发生设备，并且被捕捉对象身上佩戴的特殊的标记会干扰到被捕捉对象的行动，从而影响运动分析的价值，同时对应用场合也有很多的限制。如果能够找到一种解决方案可以克服上述缺点，则会使这项技术产生广阔的应用前景，如自动智能监控、新型人机交互等。基于以上原因，人们将目光逐渐投向低成本、非接触式的无标记运动捕捉技术。从国内外的研究情况来看，运动捕捉技术具有强大的生命力和广阔的应用前景。 目前商用的接触式运动捕获系统已被开发出来，在动画电影制作方面取得了一定成果。与商业化的接触式运动捕捉系统相比，基于无标记的运动捕捉领域的研究仍然处于发展初级阶段，在实时性、准确性和鲁棒性方面还不尽如人意。目前，基于视觉的运动捕捉系统中很多方法还处于实验阶段。虽然目前对于运动捕捉的研究存在诸多的难题，但广阔的应用场景与深远的研究意义正不断激励着研究人员进行更为深入的研究。相信这项技术的突破性进展会对人的生活方式产生革命性的影响。Aggarwal和Cai将运动捕捉分为身体结构分析、跟踪和识别三个阶段。其中身体结构分析分为基于模型和无模型的方法，跟踪阶段按照使用摄像机的数量划分为单摄像机和多摄像机的方法(单目和多目)，识别阶段则分为基于状态空间和基于模板匹配的方法。 基于模型的方法使用先验人体模型作为输入，将姿态估计的阶段分为建模和估算阶段。建模阶段相当于一个创建似然函数的初始化过程，包括人体模型重建、摄像机参数求解、图像特征提取和基于人体生理结构进行的关节运动限制。估算阶段是搜索人体运动姿态的解空间，以寻找使似然函数和目标图像匹配误差最小的解。由于目前大多数方法的初始化过程采用人工手动标注关节点，严重影响了系统的实用性要求，故而需要一种自动标注方法来提高系统实用性。这种方法还要具有较高的准确性以及对不同捕捉对象的适应性。
技术实现思路
本专利技术解决的关键问题是人体各部分分割和人体骨架重建。由于不同人的形体大小、衣着以及动作的具体幅度与方式都存在很大差异，能够进行有效的人体各肢体部分分割和人体骨架模型重建就具有很大的难度，同时也具有很大的价值。如果能够进行准确有效的人体各部分分割，就能够比较容易的获得各个肢体部分的姿态信息，将对下一步人体特征向量的获取与处理工作提供有利条件。而人体骨架重建则面临状态空间过大，数据处理困难的问题。本专利技术建立了比较简单的人体骨架模型，在不丢失有效信息的情况下，可以尽量减少运算的复杂度。为达到上述目的，本专利技术按以下步骤实现I.前景检测使用摄像机获取人体运动视频，进行防抖去噪处理。通过背景建模， 获取前景区域。为减少后续步骤的运算量，将原彩色图像帧中的前景区域作为感兴趣区域进行保存，在后续的处理步骤中就可以只对此感兴趣区域进行处理，从而提高系统的运算速度；2.人体区域确定与分割(I)人体剪影获取对步骤I中的前景图像进行二值化处理，并使用形态学方法来获取更为完整的剪影图像。计算剪影的面积，去除小的噪点及干扰目标；(2)获得剪影的外轮廓使用边缘检测的方法对剪影图像进行处理，获得剪影的外轮廓。以采样点在图像中的像素位置对轮廓信息进行保存，同时计算轮廓重心所在位置， 测量并保存轮廓的宽、高信息。使用轮廓的高度信息对轮廓进行大小归一化，使以后的数据处理及保存更为统一；3.人体骨架获取与处理(I)对步骤2中的人体剪影进行细化处理，得到细化骨架；(2)骨架特征点提取首先检测细化骨架中的交点、分叉点作为候选关键点，然后对细化骨架图像进行霍夫直线检测，通过设定霍夫变换的阈值，能够获得最为有效线段信4.根据脸和手的相对位置进行人体姿态的粗略估计(I)在原图像中分割出人体运动区域进行保存，并将之转换到HSV空间，利用已经训练好的肤色模型进行肤色检测；(2)对肤色提取区域进行二值化处理，并进行形态学操作，获取较为完整的肤色区域；(3)利用肤色区域中心位置，进行人体姿态的粗略预估计。具体方法为计算脸与两手所形成的三角形的顶角角度，由于人体脸部位置相对固定，可以根据此数据判断人体双手的位置与运动信息，此步骤对于人体的关节点位置判定重要意义。5.人体关节点自动标注(I)将人体轮廓重心位置作为腹部节点，通过重心点作水平线，记录水平线与人体轮廓的交点，将两交点之间的距离作为人体躯干宽度；(2)计算重心点与轮廓采样点的欧氏距离，通过计算相邻点欧氏距离的差值，寻找差值极值点作为人体头部、手脚关节点的候选位置。根据候选点与中心点的相对位置将候选点分为头部节点、手部节点和脚部节点三部分。并在此时利用步骤4中的手部及脸部的检测结果将此三类候选点分开；(3)将步骤3中的超过三条线段的交点作为人体胸部节点。利用人体高度信息及人体测量学先验知识，将人体分为上半身与下半身两部分。在上半身分割中，利用人体比例信息，找到颈部关节中心。将颈部关节与胸部关节连线中点作为锁骨近端节点(4)将锁骨近端节点作为中心点，向左右分别延伸1/2的躯干宽度，作为人体肩部关节点；(5)肘关节确定首先，根据肩关节到手关节的距离信息来判断人的胳膊是否处于伸直状态。若判定为伸直状态，则将肩关节与手关节的连线中点作为肘部关节点；若判定为弯曲状态，则对步骤3中的霍夫线段检测得到的关于手部的线段进行分析，将线段非手部关节点的另一个端点作为肘部关节点；(6)髋关节及膝关节的确定首先在轮廓图像中找到双腿分叉点，然后通过此点作水平线，各取距离分叉点为肢体宽度的1/4的点作为髋骨的左右端点。膝关节点确定，将髋骨左右端点分别与左右脚部节点连线。根据人体解剖信息，大小腿长度近似相等，故将连线中点分别作为左右膝关节点(7)相应关节点连线，形成二维骨架图像。附图说明为了更清楚地说明本专利技术实施例，下面将对本专利技术实施例描述中所需要使用的附图作简单的介绍，显然地，下面描述中的附图仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，可以根据这些附图获得的更多的附图。图I所示为本专利技术的整体实现流程图；图2所示为人体关节点标注顺序图。具体实本文档来自技高网...

【技术保护点】

【技术特征摘要】

【专利技术属性】
技术研发人员：顾仁涛，张俊杰，纪越峰，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：