基于深度学习的单像素三维端到端重建方法及装置制造方法及图纸

本发明专利技术公开了一种基于深度学习的单像素三维端到端重建方法及装置，其中，该方法包括：构建包含多个物体三维信息的三维数据集；对三维数据集进行特定预处理生成单像素探测器的一维测量值；获取三维重建网络，通过三维数据集和一维测量值训练三维重建网络；通过训练后的三维重建网络对待测三维物体进行重建，输出待测三维物体的三维深度信息。该方法设计端到端的神经网络，从单像素探测器的一维测量值重建三维物体的三维深度信息，实现了在单像素三维成像系统中，通过深度学习的方法端到端的完成场景深度信息的重建，计算复杂度低。

Single pixel 3D end-to-end reconstruction method and device based on deep learning

【技术实现步骤摘要】
基于深度学习的单像素三维端到端重建方法及装置
本专利技术涉及三维场景计算重构
，特别涉及一种基于深度学习的单像素三维端到端重建方法及装置。
技术介绍
在光学中，三维测量及重建的方法是光学器件和计算机技术的结合。按光照方式，三维测量分为两类，包括主动法和被动法。在主动法中，使用激光作为光源的方法称为激光测距法，例如相关技术提出的结合激光扫描法进行室内场景的三维重建方法。除了激光，还可使用结构光在物体表面形成结构性光场，相关技术中提出使用结构光照射物体后的条带边缘进行定位，能够达到稳定的亚毫米精度三维重建效果。此外，还可使用干涉测量法生成相干信号，结合外差等技术进行三维重建。被动法则不提供主动照明，只使用传感器拍摄物体环境光下的表面反射，通过图像特征来分析解构三维信息。近几年兴起的基于计算机视觉及深度学习的技术，大部分采用被动法。如输入单视点的单幅或多幅图像，通过图像的明暗、阴影等二维特征来推导出场景深度信息，但重建效果一般；又如输入多视点多幅图像，通过匹配特征点及约束条件求取空间三维点的坐标信息，该方法重建效果较好，但运算量较大，重建时间长；以及通过深度学习的方式，对数据集中的每个目标进行特征提取，然后建立待测目标的概率函数，与数据集中的相似目标进行比较进而重建，该方法重建效率高，但对数据集的数量及精度要求高。而在上述光学成像模型下，用传统阵列相机拍摄图像进行后续的三维重建工作具有一定局限性，在存储高清图像时所需内存大，且单幅图像只能感知光的强度信息，丢失场景的深度信息。单像素相机作为计算摄像学领域的器件，使用光电二极管而非阵列传感器捕获图像，具有高信噪比。且单像素探测器无需采集全部像素点，在数据传输以及存储需求上都相应减少，因此具有优于传统阵列传感器的特点，在宽光谱范围及多领域光波段的二维成像得到较多应用。对于传统三维光学重建方法，存在下列问题：(1)所需仪器价格高；(2)采集时间长，次数多；(3)根据不同场景的需求，部分三维重建精度不够；而对于深度学习的三维重建方法，存在的问题则是：(1)需要采集大量单视角多幅图像或多视角多幅图像；(2)需要完备的数据集。较多文章进行了深度学习方面的三维重建研究，但大部分基于深度学习的三维重建方法都在光学的被动法中，利用数据集的高清二维图像进行结构分析，达到高精度的重建，而与单像素探测器的结合较少。目前关于单像素三维重建方面的研究仍旧在起步阶段，现有单像素三维重建方法还存在较多问题，包括：(1)所需单像素探测器的数量较多；(2)完整精密重建系统所需仪器(如飞秒激光仪、光栅投射器等)成本高；(3)无法直接求解高度信息，需要经过复杂运算步骤等。因此，使用单像素探测器实现高效三维重建具有重要的研究意义。
技术实现思路
本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本专利技术的一个目的在于提出一种基于深度学习的单像素三维端到端重建方法，该方法实现了在单像素三维成像系统中，通过深度学习的方法端到端地完成场景深度信息的重建，计算复杂度低，在三维成像领域具有广泛的应用。本专利技术的另一个目的在于提出一种基于深度学习的单像素三维端到端重建装置。为达到上述目的，本专利技术一方面实施例提出了一种基于深度学习的单像素三维端到端重建方法，包括：S1，构建包含多个物体三维信息的三维数据集；S2，对所述三维数据集进行特定预处理生成单像素探测器的一维测量值；S3，获取三维重建网络，通过所述三维数据集和所述一维测量值训练所述三维重建网络；S4，通过训练后的三维重建网络对待测三维物体进行重建，输出所述待测三维物体的三维深度信息。本专利技术实施例的基于深度学习的单像素三维端到端重建方法，通过建立包含大量物体三维信息的三维数据集，并针对数据集中的每个物体仿真单像素探测器的一维测量值，设计卷积神经网络及并行网络组成的解码网络用以恢复三维信息，使用三维数据集及对应的一维测量值对该网络进行训练，通过测试集对网络进行测试，得到待测三维物体的深度数据。该方法实现了在单像素三维成像系统中，通过深度学习的方法端到端地完成场景深度信息的重建，计算复杂度低，在三维成像领域具有广泛的应用。另外，根据本专利技术上述实施例的基于深度学习的单像素三维端到端重建方法还可以具有以下附加的技术特征：进一步地，在本专利技术的一个实施例中，还包括：通过输出的所述待测三维物体的三维深度信息恢复所述待测三维物体，将恢复出的待测三维物体与所述待测三维物体进行误差对比，得到三维重建误差，根据所述三维重建误差调整所述三维重建网络。进一步地，在本专利技术的一个实施例中，所述构建包含多个物体三维信息的三维数据集，包括：选取多个三维物体对应的正弦条纹图，计算每张正弦条纹图对应的三维物体的高度信息，根据高度信息生成每张条纹图对应的高度矩阵。进一步地，在本专利技术的一个实施例中，所述对所述三维数据集进行特定预处理生成单像素探测器的一维测量值，包括：S21，利用和所述三维数据集中的正弦条纹图相同像素大小的随机[0,1]矩阵与所述三维数据集中的一张正弦条纹图相乘，并进行各点像素数值叠加，得到单像素探测器的一个测量值；S22，设定单像素采集次数为M次，将M个[0,1]矩阵与同一张条纹图像相乘，得到M×1的所述一维测量值；S23，重复步骤S21和S22，直至将所述三维数据集中的所有条纹图进行处理，得到多个M×1的所述一维测量值。进一步地，在本专利技术的一个实施例中，所述三维重建网络包括由多种卷积层及多组并行的卷积神经网络组成的解码网络。为达到上述目的，本专利技术另一方面实施例提出了一种基于深度学习的单像素三维端到端重建装置，包括：数据集构建模块，用于构建包含多个物体三维信息的三维数据集；数据预处理模块，用于对所述三维数据集进行预处理生成单像素探测器的一维测量值；网络训练模块，用于获取三维重建网络，通过所述三维数据集和所述一维测量值训练所述三维重建网络；结果测试模块，用于通过训练后的三维重建网络对待测三维物体进行重建，输出所述待测三维物体的三维深度信息。本专利技术实施例的基于深度学习的单像素三维端到端重建装置，通过建立包含大量物体三维信息的三维数据集，并针对数据集中的每个物体仿真单像素探测器的一维测量值，设计卷积神经网络及并行网络组成的解码网络用以恢复三维信息，使用三维数据集及对应的一维测量值对该网络进行训练，通过测试集对网络进行测试，得到待测三维物体的深度数据。该装置实现了在单像素三维成像系统中，通过深度学习的方法端到端地完成场景深度信息的重建，计算复杂度低，在三维成像领域具有广泛的应用。另外，根据本专利技术上述实施例的基于深度学习的单像素三维端到端重建装置还可以具有以下附加的技术特征：进一步地，在本专利技术的一个实施例中，还包括：调整模块，所述调整模块，用于通过输出的所述待测三维物体的三维深度信息恢复所述待测三维物体，将恢复出的待测三维物体与所述待测三维物体进行误差对比，得到三维重本文档来自技高网...

【技术保护点】
1.一种基于深度学习的单像素三维端到端重建方法，其特征在于，包括以下步骤：/nS1，构建包含多个物体三维信息的三维数据集；/nS2，对所述三维数据集进行特定预处理生成单像素探测器的一维测量值；/nS3，获取三维重建网络，通过所述三维数据集和所述一维测量值训练所述三维重建网络；/nS4，通过训练后的三维重建网络对待测三维物体进行重建，输出所述待测三维物体的三维深度信息。/n

【技术特征摘要】
1.一种基于深度学习的单像素三维端到端重建方法，其特征在于，包括以下步骤：
S1，构建包含多个物体三维信息的三维数据集；
S2，对所述三维数据集进行特定预处理生成单像素探测器的一维测量值；
S3，获取三维重建网络，通过所述三维数据集和所述一维测量值训练所述三维重建网络；
S4，通过训练后的三维重建网络对待测三维物体进行重建，输出所述待测三维物体的三维深度信息。


2.根据权利要求1所述的基于深度学习的单像素三维端到端重建方法，其特征在于，还包括：
通过输出的所述待测三维物体的三维深度信息恢复所述待测三维物体，将恢复出的待测三维物体与所述待测三维物体进行误差对比，得到三维重建误差，根据所述三维重建误差调整所述三维重建网络。


3.根据权利要求1所述的基于深度学习的单像素三维端到端重建方法，其特征在于，所述构建包含多个物体三维信息的三维数据集，包括：
选取多个三维物体对应的正弦条纹图，计算每张正弦条纹图对应的三维物体的高度信息，根据高度信息生成每张条纹图对应的高度矩阵。


4.根据权利要求1所述的基于深度学习的单像素三维端到端重建方法，其特征在于，所述对所述三维数据集进行特定预处理生成单像素探测器的一维测量值，包括：
S21，利用和所述三维数据集中的正弦条纹图相同像素大小的随机[0,1]矩阵与所述三维数据集中的一张正弦条纹图相乘，并进行各点像素数值叠加，得到单像素探测器的一个测量值；
S22，设定单像素采集次数为M次，将M个[0,1]矩阵与同一张条纹图像相乘，得到M×1的所述一维测量值；
S23，重复步骤S21和S22，直至将所述三维数据集中的所有条纹图进行处理，得到多个M×1的所述一维测量值。


5.根据权利要求1所述的基于深度学习的单像素三维端到端重建方法，其特征在于，所述三维重建网络包括由多种卷积层及多组并行的卷积神经网络组成的解码网...

【专利技术属性】
技术研发人员：边丽蘅，王华依，张军，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：北京;11