基于深度相机的动静态多刚性物体重建方法技术

本发明专利技术涉及一种基于深度相机的动静态多刚性物体重建方法

【技术实现步骤摘要】
基于深度相机的动静态多刚性物体重建方法、系统及介质


[0001]本专利技术涉及一种三维重建方法，尤其是涉及一种基于深度相机的动静态多刚性物体重建方法
、
系统及介质
。

技术介绍

[0002]三维模型是计算机中物体的多边形表示
。
目前，三维模型已越来越多被应用于各种不同领域，例如医疗行业用于制作器官的精确模型，电影行业用于构建人物
、
物体，建筑业用于展示建筑物或者风景等
。
[0003]三维重建指通过对真实世界的扫描绘制三维模型，是近年来建模领域研究热点
。
目前，常用的三维重建有主动式扫描重建
、
被动式
SfM(Structure from Motion)
等，但是这些方法在三维重建过程中都依赖于环境是静态的以及被重建的刚性物体不能移动
。
因此，对动静态多刚性物体同时进行重建仍然是一个挑战
。

技术实现思路

[0004]本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供一种准确率高的基于深度相机的动静态多刚性物体重建方法
、
系统及介质
。
[0005]本专利技术的目的可以通过以下技术方案来实现：
[0006]一种基于深度相机的动静态多刚性物体重建方法，包括以下步骤：
[0007]利用深度相机获取待重建的
RGBD
图像流；
[0008]采用
SOLO
‑<br/>HRNet
网络对接收到的
RGB
图像进行动静态目标检测与实例分割，获得一组含有多个检测目标的
Mask
数据；
[0009]基于每组所述
Mask
数据对
RGBD
图像流中的所有分割实例进行分割定位，对符合重建条件的物体进行存储；
[0010]将新存储的物体与已存储对象集进行比对追踪，若追踪成功则更新已存储对象集的数据，否则将新存储的物体构建为新的存储对象，加入所述已存储对象集中，更新已存储对象集的数据；
[0011]依次对所述已存储对象集中各存储对象采用
ORB
‑
SLAM2
依次对所述已存储对象集中各存储对象的
RGB
图进行
ORB
特征选取与匹配，计算得到位姿，采用
TSDF
将
RGBD
图经过位姿参数与相机内参运算转化，计算得到体素立方体数据，获得三维重建结果
。
[0012]进一步地，所述
SOLO
‑
HRNet
网络包括依次连接的特征提取层
、FPN
层和
Head
层，其中：
[0013]所述特征提取层用于从所述
RGB
图像提取图像特征；
[0014]所述
FPN
层基于所述图像特征构建多层次的特征金字塔图；
[0015]所述
Head
层基于所述特征金字塔图，采用语义分析实现
Mask
预测，包括
Mask
类别
、Mask
尺寸及位置的预测
。
[0016]进一步地，在获得所述
Mask
数据后，对
Mask
数据进行至少一次膨胀处理
。
[0017]进一步地，在多刚性物体重建中，所述已存储对象集中存储对象的数据结构包括存储
ID、
物体分类编号
、
坐标数据
、
存储路径
、
第一次时间
、
最后一次时间和总出现次数
。
[0018]进一步地，在多刚性物体重建中，采用坐标误差法进行所述比对追踪
。
[0019]进一步地，在多刚性物体重建中，所述更新已存储对象集的数据包括：
[0020]遍历所有存储对象，对于总出现次数小于阈值
k1，而且最后一次时间与当前出现时间差值大于阈值
k2的对象，将其从已存储对象集中删除
。
[0021]进一步地，在多刚性物体重建中，所述坐标数据通过以下过程获取：
[0022]采样不变矩方法计算获得
Mask
图像的中心，得到物体的
XY
坐标；
[0023]通过
Mask
范围内深度图值的均值，得到
Mask
图像的
Z
轴坐标，即为物体的
Z
坐标
。
[0024]进一步地，得到所述体素立方体数据时，同时通过一个颜色变量保存每个体素立方体的
RGB
图颜色，在重建三维模型时，基于对应的颜色变量得到带颜色蒙皮的三维重建模型
。
[0025]本专利技术还提供一种基于深度相机的动静态多刚性物体重建系统，包括一个或多个处理器
、
存储器和被存储在存储器中的一个或多个程序，所述一个或多个程序包括用于执行如上所述基于深度相机的动静态多刚性物体重建方法的指令
。
[0026]本专利技术还提供一种计算机可读存储介质，包括供电子设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行如上所述基于深度相机的动静态多刚性物体重建方法的指令
。
[0027]与现有技术相比，本专利技术具有以下有益效果：
[0028]1、
本专利技术采用
SOLO
‑
HRNet
网络对接收到的
RGB
图像进行动静态目标检测与实例分割，该
SOLO
‑
HRNet
网络将高分辨率的特征提取网络
HRNet(High Resolution Net)
和定位实例分割架构
SOLO
相结合，实现检测和分割物体，提高了目标检测精度，进而能够获得更加精准的重建效果
。
[0029]2、
本专利技术通过定位
、
追踪和存储处理，获取多物体的重建信息，能够方便地进行多个物体的重建，提高重建效率
。
附图说明
[0030]图1为本专利技术的原理示意图；
[0031]图2为本专利技术构建的
SOLO
‑
HRNet
网络结构示意图；
[0032]图3为本专利技术多刚性物体存储对象数据结构示意图；
[0033]图4为实施例中单个动静态刚性物体重建效果展示，其中，
(4a)
为泰迪熊重建所用
RGB
图，
(4b)
为重建点云，
(4c)
为重建的
mesh
模型，
(4d)
为重建带颜色
mesh
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于深度相机的动静态多刚性物体重建方法，其特征在于，包括以下步骤：利用深度相机获取待重建的
RGBD
图像流；采用
SOLO
‑
HRNet
网络对接收到的
RGB
图像进行动静态目标检测与实例分割，获得一组含有多个检测目标的
Mask
数据；基于每组所述
Mask
数据对
RGBD
图像流中的所有分割实例进行分割定位，对符合重建条件的物体进行存储；将新存储的物体与已存储对象集进行比对追踪，若追踪成功则更新已存储对象集的数据，否则将新存储的物体构建为新的存储对象，加入所述已存储对象集中，更新已存储对象集的数据；依次对所述已存储对象集中各存储对象采用
ORB
‑
SLAM2
依次对所述已存储对象集中各存储对象的
RGB
图进行
ORB
特征选取与匹配，计算得到位姿，采用
TSDF
将
RGBD
图经过位姿参数与相机内参运算转化，计算得到体素立方体数据，获得三维重建结果
。2.
根据权利要求1所述的基于深度相机的动静态多刚性物体重建方法，其特征在于，所述
SOLO
‑
HRNet
网络包括依次连接的特征提取层
、FPN
层和
Head
层，其中：所述特征提取层用于从所述
RGB
图像提取图像特征；所述
FPN
层基于所述图像特征构建多层次的特征金字塔图；所述
Head
层基于所述特征金字塔图，采用语义分析实现
Mask
预测，包括
Mask
类别
、Mask
尺寸及位置的预测
。3.
根据权利要求1所述的基于深度相机的动静态多刚性物体重建方法，其特征在于，在获得所述
Mask
数据后，对
Mask
数据进行至少一次膨胀处理
。4.

【专利技术属性】
技术研发人员：张雪芹，李翔宇，顾秋晨，
申请(专利权)人：华东理工大学，
类型：发明
国别省市：