【技术实现步骤摘要】
本专利技术涉及计算机视觉领域，特别涉及一种二维空间到三维空间的关键点映射转换方法及系统。
技术介绍
1、关键点检测是计算机视觉领域的一个热点研究问题，其目的是在图像或视频中定位特定目标物体的关键部位或特征点，以便用于进一步的分析、识别、跟踪、姿态估计、图像配准等任务，在医学影像分析、工业生产与质量控制、动画制作、人体行为分析等领域有着广泛的应用。
2、近年来随着二维关键点检测技术的发展，两阶段方法成了三维关键点检测的主流，这些方法的核心思想是首先估计图像中的二维空间关键点，再通过映射转换到三维空间，获得各个关键点的三维位置。由于三维关键点检测的本质是从低维信息中恢复出高维信息，其必然存在深度模糊问题，即多个三维空间关键点对应同一个二维空间关键点，因此具有高度的不适定性。
3、为了解决这一问题，近年来许多研究利用序列中蕴含的时序信息来减少二维空间到三维空间的映射歧义，取得了许多进展，并且一般而言，序列越长，时序信息越丰富，结果准确性越高。但是，序列信息会导致计算复杂度的增加，且序列越长，计算复杂度越高，所需要的计算资源和时间越多，此外，序列中相近元素的关键点通常非常接近，序列信息中存在大量信息冗余，信息利用率不高。
技术实现思路
1、为了克服现有技术的上述缺点与不足，本专利技术的目的在于提供一种二维空间到三维空间的关键点映射转换方法及系统。
2、本方法改进了数据预处理、序列聚合和监督训练的方法，提升了模型在相同序列长度下对时序信息的捕获能力，提高了
3、本专利技术的目的通过以下技术方案实现：
4、一种二维空间到三维空间的关键点映射转换方法，包括：
5、输入二维空间关键点序列，获取序列的长度，对序列进行稀疏化处理，获得稀疏二维空间关键点序列；
6、对稀疏二维空间关键点序列进行序列建模，获得初步映射后的三维空间关键点序列；
7、对初步映射后的三维空间关键点序列进行压缩聚合，获得中心目标的三维空间关键点；
8、采用监督学习对三维空间关键点估计网络进行端到端训练；
9、将二维空间关键点序列输入训练后的三维空间关键点估计网络，得到三维空间关键点序列，在三维空间中进行绘图，获得可视化结果。
10、进一步，所述输入二维空间关键点序列，获取序列的长度，对序列进行稀疏化处理，获得稀疏二维空间关键点序列，具体为：
11、获得二维空间关键点序列的序列长度l0；
12、对二维空间关键点序列进行稀疏化处理，包括：
13、给定系数因子t和目标序列长度l；
14、对于二维空间关键点序列每间隔(t-1)个元素取1个元素，共取l个构成稀疏二维空间关键点序列
15、进一步，对获得的稀疏二维空间关键点序列进行序列建模，获得初步映射后的三维空间关键点序列，具体为：
16、将稀疏二维空间关键点序列输入到transformer编码器结构中，编码器包括多头注意力机制和前馈网络，并且使用gelu作为激活函数，进行序列建模，得到初步映射后的三维空间关键点序列
17、进一步，所述对初步映射后的三维空间关键点序列进行压缩聚合，获得中心目标的三维空间关键点，具体为：
18、将编码器的前馈网络部分的全连接层替换为跨步卷积层，将长序列压缩聚合至单个中心目标，进行序列压缩聚合，获得中心目标的三维空间关键点。
19、进一步，采用时空约束策略提供网络的映射准确率。
20、进一步，在三维空间中进行绘图，获得可视化结果，具体包括：
21、根据人体骨骼模型确定关键点之间的连接关系，设置连接数组；
22、获得的中心目标三维空间关键点在三维空间中绘制对应的点，根据设定的连接数组连接相应的关键点，得到最终的可视化结果。
23、进一步，所述稀疏因子取值为2。
24、进一步，所述l为奇数，取值为27，81，251，243或351。
25、进一步，采用监督学习对三维空间关键点估计网络进行端到端训练，具体为：
26、设置中心目标监督；
27、
28、式中，yi是获得的第i个关键点的三维预测结果，yigt是yi对应的真实值，k为单个关键点元素中关键点的总数，‖·‖2表示欧几里得距离；
29、设置时空约束监督，其数学表达式：
30、
31、
32、其中，n为获得的三维空间关键点序列的长度,r为所有连接线的集合，|·|表示曼哈顿距离，lr为网络预测的连接线长度，lrgt为lr对应的真实值，其定义如下式所示：
33、lr＝||yj-yi||2,lrgt＝||yjgt-yigt||2；
34、设置中心目标监督和时空约束监督的权重因子，获得损失函数；
35、loss＝λ1lcenter+λ2ltemporal+λ3lspatial
36、式中，λ1、λ2、λ3为权重因子，取值范围均为[0,1]。
37、一种实现所述的关键点映射转换方法的系统，包括：
38、序列预处理模块：输入二维空间关键点序列，获取序列的长度，对序列进行稀疏化预处理，获得稀疏二维空间关键点序列；
39、映射升维模块：用于对稀疏二维空间关键点序列进行序列建模，获得初步映射后的三维空间关键点序列；
40、序列聚合模块：对初步映射后的三维空间关键点序列进行压缩聚合，获得中心目标的三维空间关键点；
41、训练网络模块：所述三维空间关键点估计网络包括序列预处理模块、映射升维模块及序列聚合模块，采用监督学习对网络进行端到端训练，使用时空约束策略提高网络模型的映射准确率；
42、可视化模块：用于通过训练后的网络得到三维空间关键点，在三维空间中进行绘图，获得可视化结果。
43、与现有技术相比，本专利技术具有以下优点和有益效果：
44、(1)本专利技术构建一个序列预处理模块，使得本方法能够在相同序列长度，相同运算成本下捕获更多的时域信息，增大模型感受野，进而提高信息利用率；
45、(2)本专利技术构建了一个序列聚合模块，并选用gelu作为激活函数，将长序列聚合至单个目标，减少序列冗余，并使模型能够充分利用上下文信息；
46、(3)本专利技术采用端到端的方式对网络进行监督，设计了一种时空约束策略，有效地引导模型在时间域和空间域上进行优化，提高了关键点检测的准确性。
本文档来自技高网...【技术保护点】
1.一种二维空间到三维空间的关键点映射转换方法，其特征在于，包括：
2.根据权利要求1所述的关键点映射转换方法，其特征在于，所述输入二维空间关键点序列，获取序列的长度，对序列进行稀疏化处理，获得稀疏二维空间关键点序列，具体为：
3.根据权利要求1所述的关键点映射转换方法，其特征在于，对获得的稀疏二维空间关键点序列进行序列建模，获得初步映射后的三维空间关键点序列，具体为：
4.根据权利要求3所述的关键点映射转换方法，其特征在于，所述对初步映射后的三维空间关键点序列进行压缩聚合，获得中心目标的三维空间关键点，具体为：
5.根据权利要求1所述的关键点映射转换方法，其特征在于，采用时空约束策略提高网络的映射准确率。
6.根据权利要求1所述的关键点映射转换方法，其特征在于，在三维空间中进行绘图，获得可视化结果，具体包括：
7.根据权利要求1所述的关键点映射转换方法，其特征在于，所述稀疏因子取值为2。
8.根据权利要求2所述的关键点映射转换方法，其特征在于，所述L为奇数，取值为27，81，251，243或35
9.根据权利要求1所述的关键点映射转换方法，其特征在于，采用监督学习对三维空间关键点估计网络进行端到端训练，具体为：
10.一种实现权利要求1-9任一项所述的关键点映射转换方法的系统，其特征在于，包括：
...【技术特征摘要】
1.一种二维空间到三维空间的关键点映射转换方法，其特征在于，包括：
2.根据权利要求1所述的关键点映射转换方法，其特征在于，所述输入二维空间关键点序列，获取序列的长度，对序列进行稀疏化处理，获得稀疏二维空间关键点序列，具体为：
3.根据权利要求1所述的关键点映射转换方法，其特征在于，对获得的稀疏二维空间关键点序列进行序列建模，获得初步映射后的三维空间关键点序列，具体为：
4.根据权利要求3所述的关键点映射转换方法，其特征在于，所述对初步映射后的三维空间关键点序列进行压缩聚合，获得中心目标的三维空间关键点，具体为：
5.根据权利要求1所述的关键点映射转换方法，其...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。