一种复杂场景下的人体表面重建方法和系统技术方案

本发明专利技术涉及点云表面重建领域，并且更具体地，涉及一种复杂场景下的人体表面重建方法和系统，包括以下步骤：采用深度相机获取多幅复杂场景的点云图；根据所述多幅复杂场景点云图中的坐标信息进行滤波处理分离出人体点云信息；采用均匀采样方法对所述人体点云信息进行下采样；将所述多幅采样后人体点云图输入训练好的深度学习点云配准网络中进行配准以融合多幅点云图的人体细节信息；得到融合后的人体点云图后，利用自适应滚球表面重建算法对人体进行表面重建。进行表面重建。进行表面重建。

【技术实现步骤摘要】
一种复杂场景下的人体表面重建方法和系统


[0001]本专利技术涉及点云表面重建领域，并且更具体地，涉及一种复杂场景下的人体表面重建方法和系统。

技术介绍

[0002]随着社会的发展，人体表面重建技术在越来越多的行业中得到了广泛应用，例如服装设计、医疗影像、电影动画等。目前，人体表面重建的主要方法包括基于标准人体尺寸的三维软件构建和基于三维扫描技术的非接触式人体重建。然而，这些方法都存在一些局限性，如标准人体尺寸限制了人体模型的适用性，而高昂的设备价格和体积限制了非接触式人体重建技术的应用范围。因此一种低成本、高精准度的人体表面重建方法很有价值。
[0003]目前人体表面重建技术主要有两种方法：基于传感器的方法和基于深度学习的方法。基于传感器的方法包括光学扫描、激光扫描、结构光等技术，这些技术可以获得高精度的人体表面数据，但设备成本高、操作繁琐、处理时间长等问题限制了其在实际应用中的推广。基于深度学习的方法则采用神经网络模型，通过大量的数据训练，可以实现从单张或多张图像中直接重建出人体的三维模型。这种方法不需要昂贵的设备，且可以实现实时重本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种复杂场景下的人体表面重建方法，其特征在于，包括以下步骤：S1、采用深度相机获取不同视角下的包含复杂背景的多幅点云图；S2、根据获取到的包含复杂背景点云图中的坐标信息进行滤波，以分割出点云图的背景，仅保留人体点云信息；S3、采用均匀采样方法对人体点云信息进行下采样以减少后续的计算量，得到下采样后人体点云图；S4、将下采样后人体点云图输入训练好的深度学习点云配准网络进行配准以融合多幅人体点云图的信息；S5、将配准后的人体点云图利用自适应加权滚球表面重建算法进行重建，得到重建后的人体模型。2.根据权利要求1所述的一种复杂场景下的人体表面重建方法，其特征在于：步骤S1中，利用单个深度相机，人体自行旋转，深度相机自动拍照获取多幅包含复杂场景的人体点云图。3.根据权利要求1所述的一种复杂场景下的人体表面重建方法,其特征在于：步骤S2中，在利用深度相机获取人体点云时，使用者固定站在深度相机前某一区域处，利用点云中点的坐标信息，使用滤波去除这一区域外的所有背景点云以获取人体点云。4.根据权利要求1所述的一种复杂场景下的人体表面重建方法，其特征在于：步骤S3中采用均匀采样对所述人体点云信息进行下采样，具体包括：针对点云P，设置一个采样密度值d，根据采样密度值将人体点云信息划分为多个体素方格G，在每个体素方格中随机选择一个点i，将选择的这一个点代替正方体体素方格中的点云信息，得到代表点云p；;;DivideInputVoxel表示将点云P根据密度参数d划分为G个方格；RandomlyPointInVoxel表示在每个方格中随机选出一个点i，将其代表方格G所有的点；i代表的是方格G中的某一个点；上述两个公式的意思是，首先将点云P根据密度参数d划分为G个方格，然后在每个方格中随机选出一个点i，将其代表方格G所有的点，最后将所有体素方格中的采样点合并为一组新的点云数据，即为采样后的点云数据。5.根据权利要求1所述的一种复杂场景下的人体表面重建方法，其特征在于：步骤S4中的深度学习点云配准网络的具体处理流程如下；S401、输入源点云和目标点云的坐标信息，利用特征提取网络对源点云和目标点云中的单点特征进行升维；S402、将所述升维后的源点云中点的单点特征和目标点云中点的单点特征进行相乘，构建点的特征相似矩阵，特征越相似，点的匹配概率越大，将相似矩阵与目标点云结合，获得预测点云；;;其中，表示点云X特征的转置，代表的是点云y的特征；
S403、将获取到的预测点云与源点云的匹配点进行邻域距离对比，挑选出邻域差异最小的L组匹配点对；S404、基于所挑选出的差异最小匹配点对的坐标信息进行计算得到刚性变换矩阵；S405、将所述刚性变换矩阵与所述源点云的坐标矩阵相乘完成人体三维配准。6.根据权利要求5所述的一种复杂场景下的人体表面重建方法，其特征在于：输入到点云配准网络的是源点云和目标点云的（x,y,z）坐标信息，输入维度为N
×
3，其中N表示输入点云中点的数量，3表示点的坐标特征维度；点云特征提取网络的升维方法包括：（1）输入点云维度为N
×
3，利用最近邻搜索算法搜索所述N个点各自的K个邻域，并将其拼接，获得新的点云特征维度N
×
K
×
3；（2）将中心点的点云特征N
×
3复制K次，与邻域特征作差，得到新的点云特征图，即， Repeat代表复制；（3）通过多层感知机MLP对所述新的点云特征图的点云维度进行升维，获得点云维度N
×
K
×
64，采用最大池化在所述点云维度N
×
K
×
64上进行池化，获得点云维度N<...

【专利技术属性】
技术研发人员：姜明华，肖卓函，余锋，曹家诚，刘莉，周昌龙，宋坤芳，
申请(专利权)人：武汉纺织大学，
类型：发明
国别省市：