一种快速生成手部关键点数据集的装置及方法制造方法及图纸

本发明专利技术公开了一种快速生成手部关键点数据集的装置及方法，属于计算机视觉领域，装置包括：运算单元、直线导轨、以及设置在直线导轨上的仿真手部模型和图像采集单元；仿真手部模型用于感知手部各关键点相对于基准点的三维坐标；图像采集单元用于采集基准点相对于图像采集单元的长度和高度；运算单元用于根据各关键点相对于基准点的三维坐标、长度和高度，计算各关键点相对于图像采集单元的空间三维坐标；并根据空间三维坐标与图像坐标之间的映射关系式，计算各关键点在图像坐标系下的二维图像坐标。快速精准地生成手部关键点数据集，从而实现自动标注，且能准确标注出被遮挡关键点，解决了人工标注速度慢和关键点位置存在主观臆断的缺点。观臆断的缺点。观臆断的缺点。

【技术实现步骤摘要】
一种快速生成手部关键点数据集的装置及方法


[0001]本专利技术属于计算机视觉领域，更具体地，涉及一种快速生成手部关键点数据集的装置及方法。

技术介绍

[0002]随着技术的发展，增强现实(Augmented Reality，AR)和虚拟现实(Virtual Reality，VR)等技术的应用逐渐普及，人们可以通过手指的动作与虚拟场景中的3D形象进行互动。这些功能的实现都基于对手指动作的灵敏捕捉，以准确地获取手指各个关节姿态信息。
[0003]为了捕获手指各个关节姿态信息，通常采用深度学习网络来训练算法模型。深度学习网络需要大量已标注关键点的手部数据集作为网络训练样本。目前，通常采用人工标注的方法标注手部关键点数据集。人工标注需要大量的人力和时间。此外，对于部分关键点被遮挡的情况，人工标注存在主观臆断的情况，使得关节点标注不准确，导致训练算法模型推断时出现误差，影响模型精度。

技术实现思路

[0004]针对现有技术的缺陷和改进需求，本专利技术提供了一种快速生成手部关键点数据集的装置及方法，其目的在于快速精准地自动生成手部关键点数据集，从而实现自动标注，并且能准确标注出被遮挡关键点，解决了人工标注效率低、耗时长和标准不准确的问题。
[0005]为实现上述目的，按照本专利技术的一个方面，提供了一种快速生成手部关键点数据集的装置，包括：运算单元、直线导轨、以及设置在所述直线导轨上的仿真手部模型和图像采集单元；所述直线导轨用于调整所述仿真手部模型和图像采集单元之间的长度距离；所述仿真手部模型中设置有多个关键点和一基准点，用于感知各所述关键点相对于所述基准点的三维坐标；所述图像采集单元用于采集所述基准点相对于所述图像采集单元的长度和高度；所述运算单元用于根据各所述关键点相对于所述基准点的三维坐标、所述长度和高度，计算各所述关键点相对于所述图像采集单元的空间三维坐标；并根据所述空间三维坐标与图像坐标之间的映射关系式，计算各所述关键点在图像坐标系下的二维图像坐标。
[0006]更进一步地，所述图像采集单元还用于采集并生成所述仿真手部模型的图像；所述运算单元还用于根据各所述关键点在图像坐标系下的二维图像坐标在所述图像中标注出各所述关键点。
[0007]更进一步地，还包括存储单元，用于存储所述图像和各所述关键点在图像坐标系下的二维图像坐标。
[0008]更进一步地，各所述关键点相对于所述图像采集单元的空间三维坐标P
i
为：
[0009][0010]其中，x
i
、y
i
、z
i
为第i个关键点相对于所述基准点的三维坐标，d和h分别为所述基准点相对于所述图像采集单元的长度和高度。
[0011]更进一步地，所述映射关系式为：
[0012][0013]其中，K为所述图像采集单元的内参矩阵，px
i
、py
i
为第i个关键点在图像坐标系下的二维图像坐标。
[0014]更进一步地，所述仿真手部模型包括：可感知姿态骨架，用于感知各所述关键点相对于所述基准点的三维坐标；仿真外壳，均匀包裹在所述可感知姿态骨架外部，用于模拟真实手部皮肤。
[0015]更进一步地，所述可感知姿态骨架中各手指骨架的活动关节处设置有角度传感器，用于获取各关节的旋转角度，以根据各关节的旋转角度以及尺寸计算各所述关键点相对于所述基准点的三维坐标。
[0016]更进一步地，所述各手指骨架中相邻活动关节之间通过轴承连接，用于减少相连关节之间的阻力；所述各手指骨架中各指段上套设有回正弹簧，用于回正所述各指段；所述各手指骨架中各指段上卡套有卡簧，用于在轴向方向上固定所述各指段和所述回正弹簧。
[0017]更进一步地，所述仿真外壳的材料为橡胶、塑料或金属。
[0018]按照本专利技术的另一个方面，提供了一种快速生成手部关键点数据集的方法，包括：获取手部各关键点相对于基准点的三维坐标，并采集与所述基准点之间的长度和高度；根据各所述关键点相对于所述基准点的三维坐标、所述长度和高度，计算各所述关键点对应的空间三维坐标；并根据所述空间三维坐标与图像坐标之间的映射关系式，计算各所述关键点在图像坐标系下的二维图像坐标。
[0019]总体而言，通过本专利技术所构思的以上技术方案，能够取得以下有益效果：仿真手部模型可以感知各个手部关键点相对于基准点的三维坐标，通过移动直线导轨滑块获得基准点相对于图像采集单元的水平位置，测量基准点相对于图像采集单元摄像头光心的竖直位置，基于上述三维坐标、水平位置和竖直位置可以推算各个手部关键点的空间三维坐标，基于空间三维坐标与图像坐标之间的映射关系式计算各个手部关键点在图像坐标系下的二维图像坐标，并进一步进行相应标注，可以快速精准地自动生成手部关键点数据集，从而实现自动标注，并且能准确标注出被遮挡关键点，解决了人工标注效率低、耗时长和标准不准确的问题。
附图说明
[0020]图1为本专利技术实施例提出的快速生成手部关键点数据集的装置的结构示意图；
[0021]图2为仿真手部模型中各关键点的位置示意图；
[0022]图3A-3B为仿真手部模型中仿真外壳的结构示意图；
[0023]图4为仿真手部模型中可感知姿态骨架的结构示意图；
[0024]图5为可感知姿态骨架中大拇指骨架的结构示意图；
[0025]图6为可感知姿态骨架中大拇指骨架的爆炸图；
[0026]图7为可感知姿态骨架中食指骨架的结构示意图；
[0027]图8为可感知姿态骨架中食指骨架的爆炸图。
[0028]在所有附图中，相同的附图标记用来表示相同的元件或者结构，其中：
[0029]1为直线导轨，2为仿真手部模型，21为可感知姿态骨架，22为仿真外壳，3为图像采集单元，4为运算单元，5为存储单元，1101为大拇指第一指段，1102为第一卡簧，1103为第一电位计，1104为第一轴承，1105为第一回正弹簧，1106为第二卡簧，1107为大拇指第二指段，1108为第三卡簧，1109为第二电位计，1110为第二轴承，1111为第二回正弹簧，1112为第四卡簧，1119为大拇指扣件，1120为第三电位计，1121为第三轴承，1122为第四电位计，1123为大拇指第三指段，1201为食指第一指段，1202为第五卡簧，1203为第五电位计，1204为第四轴承，1205为第三回正弹簧，1206为第六卡簧，1207为食指第二指段，1208为第七卡簧，1209为第六电位计，1210为第五轴承，1211为第四回正弹簧，1212为第八卡簧，1213为食指第三指段，1214为第九卡簧，1215为第七电位计，1216为第六轴承，1217为第五回正弹簧，1218为第十卡簧，1219为食指扣件，1220为第八电位计，1221为第七轴承。
具体实施方式
[0030]为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种快速生成手部关键点数据集的装置，其特征在于，包括：运算单元(4)、直线导轨(1)、以及设置在所述直线导轨(1)上的仿真手部模型(2)和图像采集单元(3)；所述直线导轨(1)用于调整所述仿真手部模型(2)和图像采集单元(3)之间的长度距离；所述仿真手部模型(2)中设置有多个关键点和一基准点，用于感知各所述关键点相对于所述基准点的三维坐标；所述图像采集单元(3)用于采集所述基准点相对于所述图像采集单元(3)的长度和高度；所述运算单元(4)用于根据各所述关键点相对于所述基准点的三维坐标、所述长度和高度，计算各所述关键点相对于所述图像采集单元(3)的空间三维坐标；并根据所述空间三维坐标与图像坐标之间的映射关系式，计算各所述关键点在图像坐标系下的二维图像坐标。2.如权利要求1所述的快速生成手部关键点数据集的装置，其特征在于，所述图像采集单元(3)还用于采集并生成所述仿真手部模型(2)的图像；所述运算单元(4)还用于根据各所述关键点在图像坐标系下的二维图像坐标在所述图像中标注出各所述关键点。3.如权利要求2所述的快速生成手部关键点数据集的装置，其特征在于，还包括存储单元(5)，用于存储所述图像和各所述关键点在图像坐标系下的二维图像坐标。4.如权利要求1所述的快速生成手部关键点数据集的装置，其特征在于，各所述关键点相对于所述图像采集单元(3)的空间三维坐标P
i
为：其中，x
i
、y
i
、z
i
为第i个关键点相对于所述基准点的三维坐标，d和h分别为所述基准点相对于所述图像采集单元(3)的长度和高度。5.如权利要求4所述的快速生成手部关...

【专利技术属性】
技术研发人员：孙志刚，金栋，肖力，王卓，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：