【技术实现步骤摘要】
本专利技术涉及计算机视觉及图形学，尤其涉及一种镜面物体的三维重建方法、装置、设备和存储介质。
技术介绍
1、近年来，三维重建技术作为计算机视觉及图形学结合领域的重要任务之一，得到广泛的关注和研究。传统三维重建方法根据重建过程中的几何表示分为体素、点云、曲面网格、隐式四类。根据输入的二维图像分为单视图和多视图两类，采用学习的端到端重建算法则根据网络架构和训练机制进行具体细分，在科学研究及工程实践中有较多的应用。
2、镜面物体的三维重建一直以来被认为是很有挑战性的问题。传统重建算法建立在对于物体表面的漫反射属性上，因为镜面物体与光线之间的存在复杂的反射和折射关系等光学效应，导致传统重建算法在透明及非漫反射物体上不再适用。从数据采集系统的角度来看，将导致传统的扫描设备如激光扫描仪、结构光系统、激光雷达、深度相机等并不能有效地获取到物体表面的信息。
3、由于镜面物体内部材质分布可能存在的高度不一致性，至今尚未有统一的重建方法，有些方法采用侵入式的方法对镜面物体进行三维重建，但此种方法有可能损伤到物体的表面结构。采用条纹衍射法对于玻璃等透明物体重建的效果相对较好，但是往往系统复杂难以使用，且作业环境较为苛刻。此外，采用x恢复形状，反向渲染技术、断层摄影技术和直接光线测量等方法，这些方法大部分都集中在分析镜面物体及光线之间相互作用，考虑结合物理定律恢复物体的三维几何结构。而这些方法通常也只针对小型物品进行三维重建，大大限制了其使用场景。
4、综上所述，现有的方法大多数在受控的环境中进行，且模型重建往往离不
技术实现思路
1、本专利技术所要解决的技术问题是：一种镜面物体的三维重建方法、装置、设备和存储介质，可高效简便地对镜面物体进行三维重建。
2、第一方面，本专利技术提供了一种镜面物体的三维重建方法，包括：
3、采集若干张rgb图像，所述若干张rgb图像中包括同一镜面物体的多视角图像；
4、根据所述rgb图像，通过预设的镜面位置掩膜提取网络模型，得到掩膜图像，所述掩膜图像中的掩膜区域为镜面位置区域；
5、根据所述rgb图像，确定相机位姿；
6、根据所述相机位姿、镜面物体的多视角图像以及所述掩膜图像，通过预设的三维重建网络，隐式重建镜面场景，并采样得到镜面几何点云；
7、根据所述镜面几何点云，重建得到镜面三维模型。
8、第二方面，本专利技术还提供了一种镜面物体的三维重建装置，包括：
9、采集模块，用于采集若干张rgb图像，所述若干张rgb图像中包括同一镜面物体的多视角图像；
10、提取模块，用于根据所述rgb图像，通过预设的镜面位置掩膜提取网络模型，得到掩膜图像，所述掩膜图像中的掩膜区域为镜面位置区域；
11、确定模块，用于根据所述rgb图像，确定相机位姿；
12、第一重建模块，用于根据所述相机位姿、镜面物体的多视角图像以及所述掩膜图像，通过预设的三维重建网络，隐式重建镜面场景，并采样得到镜面几何点云；
13、第二重建模块，用于根据所述镜面几何点云，重建得到镜面三维模型。
14、第三方面，本专利技术还提供了一种电子设备，所述电子设备包括：
15、一个或多个处理器；
16、存储装置，用于存储一个或多个程序；
17、当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面提供的镜面物体的三维重建方法。
18、第四方面，本专利技术还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面提供的镜面物体的三维重建方法。
19、本专利技术的有益效果在于：通过采集彩色图像并在重建模型隐式场景表达的基础上，进一步采集得到几何的点云描述，进而进行三维重建得到三维模型。与现有受控环境下的重建方法相比，本专利技术的重建条件要求较少，且模型重建不需要较为复杂的数据采集和环境构建系统，可高效简便地对镜面物体进行三维重建，耗时较少，且表达效果较好。
本文档来自技高网...【技术保护点】
1.一种镜面物体的三维重建方法，其特征在于，包括：
2.根据权利要求1所述的镜面物体的三维重建方法，其特征在于，所述镜面位置掩膜提取网络模型包括特征提取网络、关系上下文对比局部模块、解码器模块、边缘检测和融合模块以及细化模块；
3.根据权利要求2所述的镜面物体的三维重建方法，其特征在于，所述关系上下文对比局部模块具体用于：
4.根据权利要求1所述的镜面物体的三维重建方法，其特征在于，所述根据所述RGB图像，确定相机位姿，具体为：
5.根据权利要求1所述的镜面物体的三维重建方法，其特征在于，所述三维重建网络表示为f（x,y,z,θ,φ）→（c,σ），其中，（x,y,z）表示相机观测点的坐标，（θ,φ）表示观测方向，c表示所述相机观测点对应所述观测方向的估计颜色，σ表示所述相机观测点的体密度值；
6.根据权利要求5所述的镜面物体的三维重建方法，其特征在于，通过深度平滑先验和双向深度一致性先验，将镜面场景分解为透射场景和反射场景；
7.根据权利要求1所述的镜面物体的三维重建方法，其特征在于，所述根据所述镜面几何点云
8.一种镜面物体的三维重建装置，其特征在于，包括：
9.一种电子设备，其特征在于，所述电子设备包括：
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7任一项所述的镜面物体的三维重建方法的步骤。
...【技术特征摘要】
1.一种镜面物体的三维重建方法，其特征在于，包括：
2.根据权利要求1所述的镜面物体的三维重建方法，其特征在于，所述镜面位置掩膜提取网络模型包括特征提取网络、关系上下文对比局部模块、解码器模块、边缘检测和融合模块以及细化模块；
3.根据权利要求2所述的镜面物体的三维重建方法，其特征在于，所述关系上下文对比局部模块具体用于：
4.根据权利要求1所述的镜面物体的三维重建方法，其特征在于，所述根据所述rgb图像，确定相机位姿，具体为：
5.根据权利要求1所述的镜面物体的三维重建方法，其特征在于，所述三维重建网络表示为f（x,y,z,θ,φ）→（c,σ），其中，（x,y,z）表示相机观测点的坐标，（θ,φ）表示观...
【专利技术属性】
技术研发人员：张世武，张志宸，马刚，董帅，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。