自动生成手部的标注数据的方法和计算骨骼长度的方法技术

本公开涉及一种自动生成手部的标注数据的方法，包括：获取手部的在不同视角下的至少三幅待处理图像；分别在所述至少三幅待处理图像上检测关键点；利用所述至少三幅待处理图像之间的关联关系，对所检测到的关键点进行筛选，所述关联关系为所述至少三幅待处理图像来自手部的不同视角下的同一帧图像；针对同一帧图像上的筛选出的关键点，结合给定的手指骨胳长度，重建所述手部的三维空间表示；将所述手部的三维表示上的关键点投影到所述至少三幅待处理图像；以及利用在所述至少三幅待处理图像上的经投影的关键点，生成待处理图像上的手部的标注数据。

【技术实现步骤摘要】
自动生成手部的标注数据的方法和计算骨骼长度的方法
本公开内容总体上涉及手部图像数据的采集和自动生成标注数据，具体而言，涉及一种自动生成手部的标注数据的方法和计算骨骼长度的方法。
技术介绍
手势输入是虚拟现实VR(VirtualReality)和增强现实AR(AugmentedReality)技术中用于三维人机交互输入的主要技术之一，具有广阔的运用前景。在虚拟环境中用手实现抓取、释放物体以及飞行、漫游等三维交互任务和技术，以往是利用人的触摸或操作行为和计算机的反应来获得基于人机交互的手段，一般采用硬件设备，诸如VR控制器、空间球、6D操纵杆、6D鼠标等来实现。但也可通过计算机非接触式地(如摄像机等)观察用户的动作来实现人机交互，这是一种通过手势识别来了解用户意图的三维交互新技术。因此，在使用手势输入的场景中，如何对用户做出的手势进行准确地识别和区分，特别是对手势做出不同精度地区分(可以是很精细化地)，是决定手势输入能否普及的重要因素之一。当前，手势识别的一个研究方向是利用人工神经网络架构下的深度学习技术。利用摄像头采集图像，并利用深度学习模型来实现手部关键点的检测和跟踪、以及手势的识别，是比较高效和精准的方法。为了提高识别系统的可用性，需要提供训练好的深度网络模型。在基于机器学习，特别是深度学习的识别过程中，为了提高识别的准备率，需要提供大量的具有正确训练标注的样本图像来对深度机器学习模型进行训练。同时，训练样本应当是尽可能地广泛的，包括提供的训练样本图像应当考虑光照、手部所在的周围环境、年龄、种族、肤色等各种因素的差异，以及手型、手势和动作的广泛性。目前，为了产生正确的标注样本图像，采用的方法是利用大量的人工对摄像装置拍摄的各种图像中的手部的关键点进行人工标注。然而，为了提供大量的训练样本图像，采用人工标注的方法费事费力。
技术介绍
部分的内容仅仅是公开人所知晓的技术，并不当然代表本领域的现有技术。
技术实现思路
本公开描述的技术方案的目的之一在于提供一种手部图像数据的采集和自动生成标注数据的方案。本公开提供一种自动生成手部的标注数据的方法，包括：获取手部的在不同视角下的至少三幅待处理图像；分别在所述至少三幅待处理图像上检测关键点；利用所述至少三幅待处理图像之间的关联关系，对所检测到的关键点进行筛选，所述关联关系为所述至少三幅待处理图像来自手部的不同视角下的同一帧图像；针对同一帧图像上的筛选出的关键点，结合给定的手指骨胳长度，重建所述手部的三维空间表示；将所述手部的三维表示上的关键点投影到所述至少三幅待处理图像；以及利用在所述至少三幅待处理图像上的经投影的关键点，生成待处理图像上的手部的标注数据。本公开还提供一种自动生成手部的标注数据的系统，包括：图像捕获系统，包括相机集合，被配置为获取针对手部的在不同视角下的至少三幅待处理图像；标注装置，被配置为执行以下操作：分别在所述至少三幅待处理图像上检测关键点；利用所述至少三幅待处理图像之间的关联关系，对所检测到的关键点进行筛选，所述关联关系为所述至少三幅待处理图像来自手部的不同视角下的同一帧图像；针对同一帧图像上的筛选出的关键点，结合给定的手指骨胳长度，重建所述手部的三维空间表示；将所述手部的三维表示上的关键点投影到所述至少三幅待处理图像；以及利用在所述至少三幅待处理图像上的经投影的关键点，生成待处理图像上的手部的标注数据。本公开还提供一种用于计算手指骨骼长度的方法，包括：获取手部的在不同视角下的一帧图像中的至少两幅图像；利用所述不同视角下的至少两幅图像，进行手部的手势识别；在所识别的手势是预定义简单手势的情形下，分别在至少两幅图像中的每幅手部图像上进行关键点检测；利用所检测的关键点重建手部的三维表示；以及根据重建的手部的三维表示上的三维关键点，计算手部的手指骨胳长度。本公开还提供一种用于计算手指骨骼长度的装置，包括：获取装置，用于获取手部的在不同视角下的一帧图像中的至少两幅图像；识别装置，用于利用所述不同视角下的至少两幅图像，进行手部的手势识别；检测装置，用于在所识别的手势是预定义简单手势的情形下，分别在至少两幅图像中的每幅手部图像上进行关键点检测；重建装置，用于利用所检测的关键点重建手部的三维表示；以及计算装置，用于根据重建的手部的三维表示上的三维关键点，计算手部的手指骨胳长度。本公开还提供一种用于计算手指骨骼长度的系统，包括：图像捕获系统，包括相机集合，被配置为获取手部的在不同视角下的一帧图像中的至少两幅图像；手指骨骼长度计算装置，被配置为执行以下操作：利用所述不同视角下的至少两幅图像，进行手部的手势识别；在所识别的手势是预定义简单手势的情形下，分别在至少两幅图像中的每幅手部图像上进行关键点检测；利用所检测的关键点重建手部的三维表示；以及根据重建的手部的三维表示上的三维关键点，计算手部的手指骨胳长度。本公开还提供一种用于计算手势边界框的方法，包括：获取手部的三维表示中的多个三维关键点的位置，所述手部的三维表示是根据手部的至少两幅二维图像重建的；根据多个三维关键点中的每个关键点的类别，生成与每个关键点相关联的辅助几何结构；针对每个辅助几何结构，在每个辅助几何结构的表面生成一组辅助点；将所述辅助点投影到所述至少两幅二维图像；在所述至少两幅二维图像上，获取所述辅助点的投影中的最上、最下、最左、最右的边缘节点，并且基于这四个节点生成手势边界框。本公开还提供一种用于计算手势边界框的装置，包括：获取装置，用于获取手部的三维表示中的多个三维关键点的位置，所述手部的三维表示是根据手部的至少两幅二维图像重建的；辅助几何结构生成装置，用于根据多个三维关键点中的每个关键点的类别，生成与每个关键点相关联的辅助几何结构；辅助点生成装置，用于针对每个辅助几何结构，在每个辅助几何结构的表面生成一组辅助点；投影装置，用于将所述辅助点投影到所述至少两幅二维图像；边界框生成装置，用于在所述至少两幅二维图像上，获取所述辅助点的投影中的最上、最下、最左、最右的边缘节点，并且基于这四个节点生成手势边界框。本公开还提供一种用于计算手势边界框的系统，包括：图像捕获系统，包括相机集合，被配置为获取手部的在不同视角下的一帧图像中的至少两幅图像；手势边界框计算装置，被配置为执行以下操作：获取手部的三维表示中的多个三维关键点的位置，所述手部的三维表示是根据所述至少两幅二维图像重建的；根据多个三维关键点中的每个关键点的类别，生成与每个关键点相关联的辅助几何结构；针对每个辅助几何结构，在每个辅助几何结构的表面生成一组辅助点；将所述辅助点投影到所述至少两幅二维图像；在所述至少两幅二维图像上，获取所述辅助点的投影中的最上、最下、最左、最右的边缘节点，并且基于这四个节点生成手势边界框。本公开的优点在于，可以为深度学习模型提供大量的、有准确标注的、不同主体的、多样环境下的训练样本。根据本公开，可以快速生成满足上述要求的手部图像数据。附图说明构成本公开的一部分的附图用来提供对本公开的进一步理解，本公开的示意性实施例及本文档来自技高网...

【技术保护点】
1.一种自动生成手部的标注数据的方法，包括：/n获取手部的在不同视角下的至少三幅待处理图像；/n分别在所述至少三幅待处理图像上检测关键点；/n利用所述至少三幅待处理图像之间的关联关系，对所检测到的关键点进行筛选，所述关联关系为所述至少三幅待处理图像来自手部的不同视角下的同一帧图像；/n针对同一帧图像上的筛选出的关键点，结合给定的手指骨胳长度，重建所述手部的三维空间表示；/n将所述手部的三维表示上的关键点投影到所述至少三幅待处理图像；以及/n利用在所述至少三幅待处理图像上的经投影的关键点，生成待处理图像上的手部的标注数据。/n

【技术特征摘要】
1.一种自动生成手部的标注数据的方法，包括：
获取手部的在不同视角下的至少三幅待处理图像；
分别在所述至少三幅待处理图像上检测关键点；
利用所述至少三幅待处理图像之间的关联关系，对所检测到的关键点进行筛选，所述关联关系为所述至少三幅待处理图像来自手部的不同视角下的同一帧图像；
针对同一帧图像上的筛选出的关键点，结合给定的手指骨胳长度，重建所述手部的三维空间表示；
将所述手部的三维表示上的关键点投影到所述至少三幅待处理图像；以及
利用在所述至少三幅待处理图像上的经投影的关键点，生成待处理图像上的手部的标注数据。


2.根据权利要求1所述的方法，其中，所述至少三幅待处理图像是一相机集合拍摄的，所述方法还包括：
对所述相机集合进行标定，求解出所述相机集合的相机内参和相机外参。


3.根据权利要求1-2任一项所述的方法，还包括如下的手指骨骼长度计算方法：
获取手部的在不同视角下的一帧图像中的至少两幅图像；
利用所述不同视角下的至少两幅图像，进行手部的手势识别；
在所识别的手势是预定义简单手势的情形下，分别在至少两幅图像中的每幅手部图像上进行关键点检测；
利用所检测的关键点重建手部的三维表示；以及
根据重建的手部的三维表示上的三维关键点，计算手部的手指骨胳长度。


4.根据权利要求3所述的方法，其中，在分别在至少三幅图像中的每幅手部图像上进行关键点检测的步骤之后，所述手指骨骼长度计算方法进一步包括：
利用同一帧图像中的所述至少三幅图像之间的关联关系，对所检测到的关键点进行筛选，
其中，所述利用所检测的关键点重建手部的三维表示的步骤包括：
利用筛选出的关键点重建手部的三维表示。


5.根据权利要求4所述的方法，其中，所述至少三幅图像是一相机集合拍摄的，所述利用筛选出的关键点重建手部的三维表示进一步包括：
利用筛选出的关键点并结合所述相机集合的相机集合的内参和外参来重建手部的三维表示。


6.根据权利要求1-2任一项所述的方法，其中，所述生成待处理图像上的手部的标注数据为生成手部的边界框，具体包括：
获取手部的三维表示中的多个三维关键点的位置，所述手部的三维表示是根据手部的至少两幅二维图像重建的；
根据多个三维关键点中的每个关键点的类别，生成与每个关键点相关联的辅助几何结构；
针对每个辅助几何结构，在每个辅助几何结构的表面生成一组辅助点；
将所述辅助点投影到所述至少两幅二维图像；
在所述至少两幅二维图像上，获取所述辅助点的投影中的最上、最下、最左、最右的边缘节点，并且基于这四个节点生成手势边界框。


7.一种自动生成手部的标注数据的装置，包括：
获取装置，用于获取针对手部的在不同视角下的至少三幅待处理图像；
检测装置，用于分别在所述至少三幅待处理图像上检测关键点；
筛选装置，用于利用所述至少三幅待处理图像之间的关联关系，对所检测到的关键点进行筛选，所述关联关系为所述至少三幅待处理图像来自手部的不同视角下的同一帧图像；
重建装置，针对同一帧图像上的筛选出的关键点，结合给定的手指骨胳长度，重建所述手部的三维空间表示；
投影装置，用于将所述手部的三维表示上的关键点投影到所述至少三幅待处理图像；以及
标注装置，用于利用在所述至少三幅待处理图像上的经投影的关键点，生成待处理图像上的手部的标注数据。


8.根据权利要求7所述的装置，其中，所述至少三幅待处理图像是一相机集合拍摄的，所述装置还包括：
标定装置，用于对所述相机集合进行标定，求解出所述相机集合的相机内参和相机外参。


9.一种自动生成手部的标注数据的系统，包括：
图像捕获系统，包括相机集合，被配置为获取针对手部的在不同视角下的至少三幅待处理图像；
标注装置，被配置为执行以下操作：
分别在所述至少三幅待处理图像上检测关键点；
利用所述至少三幅待处理图像之间的关联关系，对所检测到的关键点进行筛选，所述关联关系为所述至少三幅待处理图像来自手部的不同视角下的同一帧图像；
针对同一帧图像上的筛选出的关键点，结合给定的手指骨胳长度，重建所述手部的三维空间表示；
将所述手部的三维表示上的关键点投影到所述至少三幅待处理图像；以及
利用在所述至少三幅待处理图像上的经投影的关键点，生成待处理图像上的手部的标注数据。


10.根据权利要求9所述的系统，其中，所述重建所述手部的三维空间表示的操作进一步包括：
针对同一帧图像上的筛选出的关键点，结合给定的手指骨胳长度，并结合相机集合的相机内参和相机外参来重建所述手部的三维空间表示。


11.一种自动生成手部的标注数据的计算机程序产品，用于使一个或多个处理器执行如下处理的可执行指令，包括：
获取手部的在不同视角下的至少三幅待处理图像；
分别在所述至少三幅待处理图像上检测关键点；
利用所述至少三幅待处理图像之间的关联关系，对所检测到的关键点进行筛选，所述关联关系为所述至少三幅待处理图像来自手部的不同视角下的同一帧图像；
针对同一帧图像上的筛选出的关键点，结合给定的手指骨胳长度，重建所述手部的三维空间表示；
将所述手部的三维表示上的关键点投影到所述至少三幅待处理图像；以及
利用在所述至少三幅待处理图像上的经投影的关键点，生成待处理图像上的手部的标注数据。


12.一种用于计算手指骨骼长度的方法，包括：
获取手部的在不同视角下的一帧图像中的至少两幅图像；
利用所述不同视角下的至少两幅图像，进行手部的手势识别；
在所识别的手势是预定义简单手势的情形下，分别在至少两幅图像中的每幅手部图像上进行关键点检测；
利用所检测的关键点重建手部的三维表示；以及
根据重建的手部的三...

【专利技术属性】
技术研发人员：王勃，孙天元，
申请(专利权)人：宏达国际电子股份有限公司，
类型：发明
国别省市：中国台湾;71