本发明专利技术公开一种多视角人体部件语义匹配方法，包括：初始化原始二维人体关节点数据，构建人体部件图模型，建立二维人体部件时间域匹配，建立二维人体部件空间域匹配，得到最终所需的人体部件时空语义对应关系。同时本发明专利技术公开了一种多视角人体姿态语义匹配装置，包括初始化单元、二维人体部件时间域匹配单元、二维人体部件空间域匹配单元。应用本发明专利技术所述的方法和装置，能够方便有效地实现多视角人体部件的语义匹配。
【技术实现步骤摘要】
【专利摘要】本专利技术公开一种多视角人体部件语义匹配方法，包括：初始化原始二维人体关节点数据，构建人体部件图模型，建立二维人体部件时间域匹配，建立二维人体部件空间域匹配，得到最终所需的人体部件时空语义对应关系。同时本专利技术公开了一种多视角人体姿态语义匹配装置，包括初始化单元、二维人体部件时间域匹配单元、二维人体部件空间域匹配单元。应用本专利技术所述的方法和装置，能够方便有效地实现多视角人体部件的语义匹配。【专利说明】一种多视角人体部件语义匹配方法和装置
本专利技术涉及计算机视觉领域，特别涉及一种基于多视角图像采集设备下人体部件 检测结果，能够自动进行人体部件语义匹配的方法和装置。
技术介绍
计算机视觉领域主要研究图像的获取、处理、分析和理解。分析和理解图像中的人 体运动，对于众多人工智能应用有着重要的意义。三维人体姿态估计就是这一研究领域中 的热点之一，它指的是通过对传感器采集的数据进行分析和处理，获得三维空间中可重现 的三维人体关节点位置信息。 多视角方式是常见的人体运动图像采集方法，多视角方式通常基于两个或两个以 上相机进行人体运动图像数据的采集，并通过不同图像之间的时空语义对应关系，通过提 取多视角中的图像特征，从中分析三维人体运动数据。由于使用了多角度数据，多视角方式 获取了更多的三维信息，而且通过增加视角个数，施加透视投影图像约束，可以减小甚至消 除姿态估计中的歧义问题。同时，多视角方式可以应用于户外复杂的自然场景下，可以对高 速的人体运动进行数据采集和姿态估计。因此，多视角方式是一种具有多种应用优势和研 究价值的无标记非接触式人体运动数据采集方式。 然而，为了构建多视角下三维人体姿态，需要已知单视角下二维人体部件检测结 果和多视角间人体关节点或人体部件的语义对应关系，即除了需要已知各个视角下的二维 人体部件的像素坐标位置，还需要知道多视角间各个关节点或部件一一对应关系。与此同 时，由于人体部件的对称性和人体的高度灵活性，在建立多视角间的二维人体部件对应关 系时，人体部件的语义信息较难识别，特别是由于人体存在多组对称性的部件或关节点，其 左右语义标签建立较为困难。实际上在常见的二维姿态方法，如图报模型、混合部件模型等 方法，仅能识别图像平面内的人体关节点或部件，并不能和真实的身体部件或关节点左右 语义标签相对应。因此，对于对称性人体部件或关节点，现有的二维姿态估计方法不能建立 多视角之间的人体部件的语义对应关系，也不能建立多视角人体部件与真实人体部件的语 义对应关系，如何基于二维人体姿态检测和估计结果，即人体部件的像素位置信息，建立多 视角间的人体部件的语义对应关系是当前必须解决的一个关键问题。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种多视角人体部件语义匹配方法和装置，基 于二维人体部件检测结果，建立多视角间的人体部件的语义对应关系。 首先，初始化，初始化二维人体关节点数据，将原始的多视角人体关节点结果进行 语义合并和语义重构，重构为人体部件图模型； 其次，时间域人体部件语义匹配，基于上述人体部件图模型，通过计算人体部件图 模型的时间域节点-节点关联矩阵，通过关联矩阵度量函数，建立多视角间的人体部件语 义的时间域匹配关系。 第三，基于上述时间域匹配关系，计算多视角下人体姿态在Z向轨迹值，通过Z向 轨迹值为特征进行分类，建立多视角间的人体部件语义的空间匹配关系，实现人体部件的 时空一致性匹配。 为达到以上目的，本专利技术的技术方案是： 一种二维人体部件语义匹配方法，该方法包括： (1)初始化：用于初始化数据和模型，包括人体关节点数据预处理、人体部件图模 型重构。 (2)二维人体部件时间域匹配：用于建立时间域人体部件的关联关系，包括时间 域节点-节点关联矩阵计算、时间域匹配计算。 (3)二维人体部件空间域匹配：用于建立空间域人体部件的关联关系，包括Z向轨 迹特征计算、人体部件特征图模型构造、空间域匹配计算。 一种二维人体部件语义匹配装置，该装置包括： (1)初始化单元：用于初始化数据和模型，包括人体关节点数据预处理单元、人体 部件图模型重构单元。 (2)二维人体部件时间域匹配单元：用于建立时间域人体部件的关联关系，包括 时间域节点-节点关联矩阵计算单元、时间域匹配计算单元。 (3)二维人体部件空间域匹配单元：用于建立空间域人体部件的关联关系，包括Z 向轨迹特征计算单元、人体部件特征图模型构造单元、空间域匹配计算单元。 由以上步骤可见，本专利技术的有益效果是：通过建立人体部件的时空语义对应关系 实现人体部件的语义匹配，整个方法和装置具有简单易行、通用性好的特点。 【专利附图】【附图说明】 图1是用于说明多视角人体部件语义匹配问题的示意图。 图2是本专利技术多视角人体部件语义匹配方法实施例的流程图。 图3是为了说明人体关节点图模型构建方式的图。 图4是为了说明人体部件图模型构建方式的图。 图5是本专利技术方法实施例中的Z向轨迹特征示意图。 图6是本专利技术多视角人体部件语义匹配装置实施例的组成结果示意图。 【具体实施方式】 在介绍具体的方案之前，首先介绍一下二维人体部件或关节点检测，传统方法采 用图像处理的方法进行二维部件或关节点的检测和识别。然而由于图像信息量极大，图像 中常常包含所需要检测人体前景和图像背景，这些信息可以分为几何信息和非几何信息两 大类，其中的几何信息，如人体的轮廓、背景物体的边缘等都有助于人体姿态检测；另一部 分非几何信息，常见的如环境光照强度、物体表面的明暗程度、以及色彩信息。 传统人体姿态识别方法的鲁棒性较差，近几年提出的基于统计模型的二维人体姿 态识别方法，通过统计模型实现人体部件或人体关节点的识别。然而，基于图像处理方式的 传统方法和基于统计模型的方法可以识别人体部件或关节点的类别，如胳膊、腿等人体部 件，但是两种方法均难于识别对称相似人体部件的左右语义标签，因为无法建立多视角间 的人体部件对应信息。其本质原因是人体部件具有对称性，而一副静态图像中的几何信息 和非几何信息难于提供区分人体所有肢体的语义，例如人体左右手臂、左右胳膊以及左右 膝关节的语义信息，从一副图像中较难提取。 对于多视角人体运动分析，为了求解三维的人体姿态，除了需要通过二维人体姿 态检测和估计得到单个视角中人体部件的像素位置，与此同时，也需要知道不同视角中各 个人体部件的语义对应关系，即空间域人体部件的匹配关系。然而单帧多视角人体姿态数 据不能够提供准确的人体部件对应关系信息，本专利技术采用时间域匹配和空间域匹配结合的 方式，建立其人体部件匹配关系，实现其在时空中的一致性对应关系的建立。 为了说明多视角人体部件语义匹配问题，如图1用于说明多视角人体部件语义匹 配问题的示意图所示，图中包含3个视角下的原始人体关节点数据信息，其中，浅色人体姿 态表示当前视角下前一时刻的人体姿态，深色姿态表示当前时刻人体姿态。仅通过当前时 刻的多视角人体姿态分析，即空间域姿态分析，很难建立多视角人体部件的语义对应关系。 多视角人体部件语义匹配问题的最终目的，就是要基于原始人体关节点数据信息，建立其 本文档来自技高网...
【技术保护点】
一种多视角人体部件语义匹配方法，其特征在于，该方法包括：初始化原始二维人体关节点数据，构建人体部件图模型；基于上述人体部件图模型，建立二维人体部件时间域匹配；基于上述时间域匹配结果，建立二维人体部件空间域匹配，得到最终所需的人体部件时空语义对应关系。
【技术特征摘要】
【专利技术属性】
技术研发人员：贾庆轩，李旭龙，宋荆洲，高欣，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。