【技术实现步骤摘要】
带标注的手与物体复杂交互真实彩色数据生成方法及装置
本专利技术涉及神经网络
，特别涉及一种带标注的手与物体复杂交互真实彩色数据生成方法及装置。
技术介绍
人使用手与物体进行交互是日常生活中非常常见的场景，手与物体交互过程包含了丰富的信息。对人手与物体的交互过程进行重建是计算机视觉的重要研究领域，对于AR/VR，HCI以及智能机器人等产业都具有非常重要的应用价值。在计算机视觉领域和与视觉相关的产业中，彩色相机是应用最为广泛的视觉传感器。随着人工智能的发展，使用神经网络处理单目彩色图片序列对人手与物体交互过程进行重建是目前研究的热点问题也是最有应用前景的方案。为了训练能够通过处理单目彩色图像序列重建手与物体交互过程的神经网络，如何获得训练数据成为了最重要的问题。然而，目前少有成熟的，且不破坏视觉信息的真实彩色数据生成方案。
技术实现思路
本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本专利技术的一个目的在于提出一种带标注的手与物体复杂交互真实彩色数据生成方法，该方法在深度序列...
【技术保护点】
1.一种带标注的手与物体复杂交互真实彩色数据生成方法，其特征在于，包括以下步骤：/nS1，通过两台相对放置的RGBD相机采集人手与物体交互场景的彩色图片序列和深度图片序列；/nS2，通过截取网络对所述深度图片序列进行截取，将截取的人手与物体交互部分的数据送入双视角人手与物体交互重建系统中进行重建，得到完整的物体几何以及逐帧的人手姿态和物体姿态；/nS3，在所述彩色图片序列和所述深度图片序列中，利用深度阈值截取前景深度数据，将所述前景深度数据投影到彩色图像中作为模板得到前景的彩色图像，将所述逐帧的人手姿态和物体姿态变换到彩色相机坐标系下，得到所述彩色图片序列对应的人手姿态和物...
【技术特征摘要】
1.一种带标注的手与物体复杂交互真实彩色数据生成方法，其特征在于，包括以下步骤：
S1，通过两台相对放置的RGBD相机采集人手与物体交互场景的彩色图片序列和深度图片序列；
S2，通过截取网络对所述深度图片序列进行截取，将截取的人手与物体交互部分的数据送入双视角人手与物体交互重建系统中进行重建，得到完整的物体几何以及逐帧的人手姿态和物体姿态；
S3，在所述彩色图片序列和所述深度图片序列中，利用深度阈值截取前景深度数据，将所述前景深度数据投影到彩色图像中作为模板得到前景的彩色图像，将所述逐帧的人手姿态和物体姿态变换到彩色相机坐标系下，得到所述彩色图片序列对应的人手姿态和物体姿态；
S4，将所述前景的彩色图像、所述彩色图片序列对应的人手姿态和物体姿态以及物体几何作为带标注的人手与物体交互过程前景数据集。
2.根据权利要求1所述的带标注的手与物体复杂交互真实彩色数据生成方法，其特征在于，在所述S1之前还包括：
S0，在人手上佩戴特殊颜色的护腕，通过RGBD相机采集人手与物体交互的彩色-深度图片序列，通过护腕对人手和物体交互部分的深度图片序列进行截取，构建深度图片序列上的截取训练数据集进行训练得到截取网络。
3.根据权利要求2所述的带标注的手与物体复杂交互真实彩色数据生成方法，其特征在于，所述S0具体包括：
S01，使人手佩戴特殊颜色的护腕与物体在RGBD相机前进行交互；
S02，使用单台RGBD相机采集交互的彩色图片序列和深度图片序列；
S03，利用特殊颜色的护腕的彩色信息截取人手和物体的数据，获得截取框；
S04，构建深度图片序列与人手和物体有效信息截取框的数据集；
S05，训练输入为交互的深度信息，输出为人手与物体信息截取框的截取网络。
4.根据权利要求1所述的带标注的手与物体复杂交互真实彩色数据生成方法，其特征在于，所述将截取的人手与物体交互部分的数据送入双视角人手与物体交互重建系统中进行重建，包括：
通过两轮求解策略进行重建，在第一轮求解中，初始状态下没有物体几何，物体模型融合模块开启，通过第一轮求解获得逐帧的人手姿态、物体姿态和所述完整的物体几何；
在第二轮求解中，将第一轮获得的所述完整物体几何作为物体的已知模型，关闭所述物体模型融合模块，以第一轮得到的逐帧的人手姿态和物体姿态作为初始值，求解交互的逐帧人手姿态和物体姿态。
5.根据权利要求1所述的带标注的手与物体复杂交互真实彩色数据生成方法，其特征在于，在所述S4之后还包括：
S5，利...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。