基于3D运动流和法线图约束的人体深度估计方法及系统技术方案

本发明专利技术涉及一种基于3D运动流和法线图约束的自监督单目人体深度估计方法，在人体深度估计的基础上设计一个3D运动流估计网络学习两帧之间人体运动参数，建立两帧图像之间的光度一致性和3D几何一致性约束，同时利用法线图和深度图之间的几何关系，建立深度法线一致性损失函数优化人体深度估计网络。其中消除纹理复制模块是在推理测试阶段，设计了一个消除纹理复制的后处理方法，消除衣服上的图案、文字给深度估计网络带来的影响。本发明专利技术不需要深度图监督，只需要视频作为监督数据，泛化性强；同时可以消除衣服上图案和文字，解决纹理复制问题。题。题。

【技术实现步骤摘要】
基于3D运动流和法线图约束的人体深度估计方法及系统


[0001]本专利技术涉及深度学习模型的后门样本检测领域，具体涉及一种基于3D运动流和法线图约束的人体深度估计方法及系统。

技术介绍

[0002]单张图像三维人体重构有很多的应用，特别是最近的元宇宙中数字人重建。3D人体的表示形式可以分为参数化和非参数化人体。参数化3D Mesh表示如SCAPE，SMPL通过姿态和形状编码人体。尽管参数化的人体表示技术成熟，但是它不能表示人体的细节信息，如衣服细节和头发。参数化的表示限制了它在生活中的应用，如虚拟主播，远程会议，和远程教学。一些研究员开始修改人体参数通过加入细节信息，只能提高部分细节信息，对于裙子和宽松衣服很难用参数化形式重建出来。非参数化表示如深度、网格、体素、隐士函数可以体现衣服、头发细节。相比于其他非参数化表示，深度图是一种表示简单且所占存储空间小的人体表示形式。
[0003]目前有工作采用背景深度信息引导人体深度估计，得到的人体深度过于平滑，大量的细节信息丢失。有方法直接用深度监督，但是要获取大量的、高精度的深度数据是一个具有挑本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于3D运动流和法线图约束的人体深度估计方法，其特征在于：S1：采集单人在镜头前自由运动的视频，构建训练集；S2：将S1采集的视频转换为单帧图像并进行预处理，获取单帧图像人体掩膜、法线图和密集姿态图，并选取相邻的N帧图像作为匹配图构建数据集；S3：设计深度估计网络，采用堆叠沙漏网络作为深度估计网络基础，网络采用离散的方式输出深度；S4：设计3D运动流估计网络，基于编码和解码的网络框架结构设计3D运动流网络；S5：利用S2中构建的数据集作为自监督训练集，对深度估计网络和3D运动流估计网络进行训练；对服装有颜色差异的人，需先进行消除纹理复制预处理，具体如下：检索衣服上图案和文字区域，并划分为主颜色区域和非主颜色区域，其中，主颜色区域为颜色最大的区域；将非主颜色区域进行处理，使其颜色接近主颜色区域。2.根据权利要求1所述的基于3D运动流和法线图约束的人体深度估计方法，其特征在于：所述S2中预处理具体为：去除存在模糊和伪影的图像，通过裁剪和缩放把图像调整为256*256分辨率。3.根据权利要求1所述的基于3D运动流和法线图约束的人体深度估计方法，其特征在于：所述深度估计网络中网络输出离散的通道视差概率体，视差层，其中表示最小视差，表示视差间隔；对于每一个视差层的归一化概率图为；加权求和概率图，得到最终视差图；设定人体最小深度a，最大深度b，把视差图转换为深度图。4.根据权利要求1所述的基于进化偏差的在线后门样本检测方法，其特征在于：所述S3中，当前帧和匹配帧的颜色图的密集姿态图和分别输入到编码网络提取多个尺度特征，在最后一个特征层用一个自注意力模块学习上下文的特征相关性；连接两个自注意力特征并通过一个卷积层来输出低分辨率3D运动流；低分辨率3D运动流是多尺度解码的第一步，对于其他三个尺度阶段分别加入相关性特征，上采样低分辨率特征，连接编码特征和相关性特征，通过卷积输出高分辨率3D运动流；其中：上采样低分辨率特征，连接编码特征，根据3D运动流把匹配帧的特征转换到当前帧，基于匹配的分数量化特征相似度，称作相关性特征。5.根据权利要求1所述的基于进化偏差的在线后门样本检测方法，其特征在于：所述S5的网络训练中，包含的损失有：...

【专利技术属性】
技术研发人员：肖春霞，李远珍，罗飞，
申请(专利权)人：武汉大学，
类型：发明
国别省市：