从双目成像系统的3D手部姿势恢复技术方案

公开了用于从双目图像系统中构建3D手模型的设备、方法和系统。该设备可以包括：取得装置，配置成从立体帧中取得手部区域，该立体帧包括第一图像和第二图像；分割装置，其与取得装置电通信，并且配置成从取得的手部区域中分割出至少一个手部部分，每个手部部分具有特征点；获取装置，其与分割装置电联接，并且被配置成针对每个分割的手部分来获取多个匹配特征点对，在匹配特征点对中第一图像中的特征点与第二图像中的对应特征点匹配；以及生成装置，其与获取装置电通信，并且被配置成基于手部部分的匹配特征点对来生成每个手部部分的3D模型，以构建3D手模型。

【技术实现步骤摘要】
【国外来华专利技术】从双目成像系统的3D手部姿势恢复
本申请总体涉及身体姿势识别的领域，更具体地，涉及用于从双目图像系统中构建3D手模型的设备。本申请还涉及用于从双目图像系统中构建3D手模型的方法和系统。
技术介绍
近来，身体姿势识别系统、尤其是手部姿势识别系统已经在若干应用中使用，诸如，人机接口(HCI)中的手势控制、手语识别等。从立体图像中恢复出3D模型的传统方法通常分成两步，包括：从立体图像中提取3D点云，随后将3D点云拟合到3D模型中。然而，传统方法通常具有下列问题。首先，一根手指的2D特征与其他手指几乎没有区别。为立体图像对中的两个或更多个不同图像建立相同3D点的对应关系时会存在模糊性，并且会影响3D构建的准确性。其次，对独特特征的提取和特征映射也很难满足实时需求。第三，手部被视作多体对象(通常称为有关节的对象)，因此当使用传统的单一模型拟合时，手部姿势恢复时不能很好完成任务。第四，更加复杂的多体模型拟合可以代替单一模型使用，而这是计算密集型任务。没有考虑人手的独特特性的传统方法难以克服这些困难。
技术实现思路
鉴于上述内容，本申请提出的设备、系统和方法用于解决上述问题。利用该设备、系统和方法，通过引入和使用手部部分的概念克服上述困难来合理地使用人的手部特性。因此，可以实时恢复包括手指和手掌的3D位置和方向在内的手部姿势。根据本申请的实施例，公开用于构建3D手模型的设备。该设备可以包括：取得装置，配置成从立体帧中取得手部区域，该立体帧至少包括第一图像和第二图像；分割装置，其与取得装置电通信，并且被配置成从取得的手部区域中分割出一个或多个手部部分，每个手部部分由多个特征点构成；获取装置，其与分割装置电联接，并且被配置成针对每个分割的手部分来获取多个匹配特征点对，在匹配特征点对中第一图像中的特征点与第二图像中的对应特征点匹配；以及生成装置，其与获取装置电通信，并且被配置成基于手部部分的匹配特征点对来生成每个手部部分的3D模型，以构建3D手模型。根据本申请的实施例，公开用于构建3D手模型的方法。该方法可以包括下列步骤：从立体帧中取得手部区域，该立体帧至少包括第一图像和第二图像；从取得的手部区域中分割出一个或多个手部部分，每个手部部分由多个特征点构成；针对每个手部部分来获取多个匹配特征点对，在匹配特征点对中第一图像中的特征点与第二图像中的对应特征点匹配；以及基于手部部分的匹配特征点对来生成每个手部部分的3D模型，以构建3D手模型。根据本申请的实施例，公开用于构建3D手模型的系统。该系统可以包括：存储器，其存储可执行部件；以及处理器，其电联接到存储器以执行可执行部件，以：从立体帧中取得手部区域，该立体帧至少包括第一图像和第二图像；从取得的手部区域中分割一个或多个手部部分，每个手部部分由多个特征点构成；针对每个手部部分来获取多个匹配特征点对，在匹配特征点对中第一图像中的特征点与第二图像中的对应特征点匹配；并且基于手部部分的匹配特征点对来生成每个手部部分的3D模型，以构建3D手模型。下列描述和附图阐明本公开的某些说明性方面。然而，这些方面表明可以采用本公开的原理的各种方式中的一些方式。当结合附图考虑时，从本公开的下列详细描述中将明白本公开的其他方面。附图说明下文参考附图描述本专利技术的示例性非限制实施例。附图是说明性的，并且一般不按确切比例。不同图上的相同或类似元件引用相同的参考编号。图1是示出符合本申请的实施例的用于构建3D手模型的设备的示意图。图2是示出符合一些公开实施例的用于构建3D手模型的设备的分割装置的示意图。图3是示出符合本申请的一个实施例的用于构建3D手模型的设备的生成装置的示意图。图4是示出符合本申请的一个实施例的所构建的3D手模型的示例的示意图。图5是示出符合一些公开实施例的用于构建3D手模型的方法的示意流程图。图6是示出符合一些其他公开实施例的用于构建3D手模型的方法的分割步骤的示意流程图。图7是示出符合一些其他公开实施例的用于构建3D手模型的方法的生成步骤的示意流程图。图8是示出符合本申请的实施例的用于构建3D手模型的系统的示意图。具体实施方式现在将详细地参考本专利技术的一些具体实施例，包括专利技术人预期的用于实施本专利技术的最佳模式。附图中示出这些具体实施例的示例。尽管结合这些具体实施例描述本专利技术，但应理解，并不意图将本专利技术限于所述实施例。相反，意图涵盖可以包括在如所附权利要求书限定的本专利技术的精神和范围内的替代方案、修改和等效物。以下描述中列出了多个具体细节，以便提供对本专利技术的彻底理解。本专利技术可以在没有这些具体细节中的一些或全部的情况下实践。在其他情况下，没有详细地描述众所周知的过程操作，以免不必要地使本专利技术变得模糊。本文中使用的术语仅仅是出于描述特定实施例的目的，而不意图限制本专利技术。除非上下文另有明确指出，否则本文中使用的单数形式“一”、“一个”和“所述”也意图包括复数形式。还应理解，本说明书中使用的术语“包括”和/或“包括”用于说明存在所述特征、整数、步骤、操作、元件和/或部件，但并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、部件和/或它们的组合。如本领域的技术人员将了解，本专利技术可以体现为系统、方法或计算机程序产品。因此，本专利技术可以采用以下形式：全硬件实施例、全软件实施例(包括固件、常驻软件、微码等)，或者将在本文中通常都可以称为“电路”、“模块”或“系统”的软件和硬件方面组合起来的实施例。此外，本专利技术可以采用计算机程序产品的形式，所述计算机程序产品体现在任何有形的表达介质中，所述介质具有体现在介质中的计算机可用程序代码。还应理解，诸如第一和第二等等相关术语(若有的话)单独使用，以将一个实体、项目或动作与另一个区分开来，而未必要求或暗示这些实体、项目或动作之间的任何实际关系或顺序。本专利技术功能中的很多功能和本专利技术原理中的很多原理在实施时由软件或集成电路(IC)最好地支持，诸如，数字信号处理器和软件或者专用IC。尽管存在可能大量的努力和由例如可用时间、当前技术和经济考虑因素激励的很多设计选择，但可以预期，本领域的技术人员在由本文中公开的概念和原理的教导下可以容易地利用最少的实验生成此类软件指令或IC。因此，出于简洁的目的，并最小化可能会对本专利技术的原理和概念带来任何不清楚的风险，此类软件和IC的进一步论述(若有的话)将限于优选实施例所使用的必要原理和概念。图1是示出符合一些公开实施例的用于从双目成像系统中构建用户的3D手模型的示例性设备1000的示意图。如图所示，设备1000可以包括取得装置100、分割装置200、获取装置300以及生成装置400。在图1所示的实施例中，取得装置100可以从立体帧中取得手部区域，所述立体帧至少包括第一图像和第二图像。在实施例中，取得装置100可以从双目图像系统捕获用户手部的立体帧，并且取得立体帧中的每个图像的最大连接分量，作为手部区域。在本文中，连接分量是指由相邻的一组图像点的集合构成的区域。分割装置200可以与取得装置100通信，并且可以从取得的手部区域中分割一个或多个手部部分，其中每个手部部分由多个特征点构成，这将在之后参考图2详细地描述。获取装置300可以与分割装置200电联接。针对每个手部部分，获取装置300可以获取多个匹配特征点对，在匹配特征点对中第一本文档来自技高网...

【技术保护点】
一种用于构建3D手模型的设备，包括：取得装置，被配置成从立体帧中取得手部区域，所述立体帧至少包括第一图像和第二图像；分割装置，与所述取得装置电通信，并被配置成从所取得的手部区域中分割出一个或多个手部部分，每个所述手部部分由多个特征点构成；获取装置，与所述分割装置电联接，并被配置成针对每个分割出的手部部分来获取多个匹配特征点对，在所述匹配特征点对中所述第一图像中的特征点与所述第二图像中的对应特征点匹配；以及生成装置，与所述获取装置电通信，并被配置成基于所述手部部分的匹配特征点对来生成每个手部部分的3D模型，以构建所述3D手模型。

【技术特征摘要】
【国外来华专利技术】1.一种用于构建3D手模型的设备，包括：取得装置，被配置成从立体帧中取得手部区域，所述立体帧至少包括第一图像和第二图像；分割装置，与所述取得装置电通信，并被配置成从所取得的手部区域中分割出一个或多个手部部分，每个所述手部部分由多个特征点构成；获取装置，与所述分割装置电联接，并被配置成针对每个分割出的手部部分来获取多个匹配特征点对，在所述匹配特征点对中所述第一图像中的特征点与所述第二图像中的对应特征点匹配；以及生成装置，与所述获取装置电通信，并被配置成基于所述手部部分的匹配特征点对来生成每个手部部分的3D模型，以构建所述3D手模型。2.根据权利要求1所述的设备，其中所述分割装置还包括：选择器，配置成从所述手部区域中选择用于识别每个所述手部部分的代表点；提取器，配置成根据选择的代表点来提取每个所述手部部分的连接分量；检测器，被配置成根据提取的连接分量来检测每个所述手部部分的特征点，以利用检测的特征点来分割至少一个所述手部部分。3.根据权利要求2所述的设备，其中所述分割装置还包括：去除器，配置成从所述手部区域中去除包括所述选择的代表点和所述提取的连接分量在内的手部部分，其中在剩余的手部区域中重复地执行所述选择、所述提取和所述去除的处理，直到不需要从所述手部区域中去除手部部分为止。4.根据权利要求2所述的设备，其中所述分割装置还包括：验证器，被配置成根据所述提取的连接分量来验证分割的手部部分是不是手指部分。5.根据权利要求2所述的设备，其中所述手部部分至少包括多个手指部分，并且其中：将所述手部区域中的最突出点选择作为用于识别手指部分的代表点，以及一个所述手指部分的所述连接分量是所述代表点中的没有超出预定手指长度的距离内的代表点周围的图像点的集合。6.根据权利要求2所述的设备，其中所述手部部分至少包括手掌部分，并且其中：将所述手部区域的中心选择作为用于识别所述手掌部分的代表点，以及所述手掌部分的连接分量是预定手掌半径内的代表点周围的图像点的集合。7.根据权利要求2所述的设备，其中所述获取装置还被配置成：根据每个所述手部部分的代表点来获取匹配的手部部分对，其中所述第一图像中的每个手部部分与所述第二图像中的手部部分匹配；以及获取每个匹配的手部部分中的所述匹配特征点对。8.根据权利要求1所述的设备，其中每个所述匹配特征点对包括与所述特征点的2D坐标相关联的手部部分标签，并且所述生成装置还包括：建立器，配置成从每个所述手部部分的匹配特征点对中建立所述第一图像和所述第二图像的3D点云；确定器，配置成根据所述手部部分标签来确定为所述手部部分建立的3D点云是否属于手指部分；以及拟合器，配置成根据与所述3D点云相关联的手部部分标签将所述建立的3D点云与具体的3D模型进行拟合。9.根据权利要求1所述的设备，其中所述取得装置还被配置成从双目图像系统中捕获用户手部的立体帧，并且取得所述第一图像和所述第二图像中的每个的最大连接分量，作为所述手部区域。10.一种用于构建3D手模型的方法，包括：从立体帧中取得手部区域，所述立体帧至少包括第一图像和第二图像；从取...

【专利技术属性】
技术研发人员：汤晓鸥，钱晨，许德唯，吕健勤，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：北京,11