基于深度学习的单像素三维端到端重建方法及装置制造方法及图纸

本发明专利技术公开了一种基于深度学习的单像素三维端到端重建方法及装置，其中，该方法包括：构建包含多个物体三维信息的三维数据集；对三维数据集进行特定预处理生成单像素探测器的一维测量值；获取三维重建网络，通过三维数据集和一维测量值训练三维重建网络；通过训练后的三维重建网络对待测三维物体进行重建，输出待测三维物体的三维深度信息。该方法设计端到端的神经网络，从单像素探测器的一维测量值重建三维物体的三维深度信息，实现了在单像素三维成像系统中，通过深度学习的方法端到端的完成场景深度信息的重建，计算复杂度低。

Single pixel 3D end-to-end reconstruction method and device based on deep learning

【技术实现步骤摘要】
基于深度学习的单像素三维端到端重建方法及装置
本专利技术涉及三维场景计算重构
，特别涉及一种基于深度学习的单像素三维端到端重建方法及装置。
技术介绍
在光学中，三维测量及重建的方法是光学器件和计算机技术的结合。按光照方式，三维测量分为两类，包括主动法和被动法。在主动法中，使用激光作为光源的方法称为激光测距法，例如相关技术提出的结合激光扫描法进行室内场景的三维重建方法。除了激光，还可使用结构光在物体表面形成结构性光场，相关技术中提出使用结构光照射物体后的条带边缘进行定位，能够达到稳定的亚毫米精度三维重建效果。此外，还可使用干涉测量法生成相干信号，结合外差等技术进行三维重建。被动法则不提供主动照明，只使用传感器拍摄物体环境光下的表面反射，通过图像特征来分析解构三维信息。近几年兴起的基于计算机视觉及深度学习的技术，大部分采用被动法。如输入单视点的单幅或多幅图像，通过图像的明暗、阴影等二维特征来推导出场景深度信息，但重建效果一般；又如输入多视点多幅图像，通过匹配特征点及约束条件求取空间三维点的坐标信息，该方法重建效果较好，但运算量较大，重本文档来自技高网...

【技术保护点】
1.一种基于深度学习的单像素三维端到端重建方法，其特征在于，包括以下步骤：/nS1，构建包含多个物体三维信息的三维数据集；/nS2，对所述三维数据集进行特定预处理生成单像素探测器的一维测量值；/nS3，获取三维重建网络，通过所述三维数据集和所述一维测量值训练所述三维重建网络；/nS4，通过训练后的三维重建网络对待测三维物体进行重建，输出所述待测三维物体的三维深度信息。/n

【技术特征摘要】
1.一种基于深度学习的单像素三维端到端重建方法，其特征在于，包括以下步骤：
S1，构建包含多个物体三维信息的三维数据集；
S2，对所述三维数据集进行特定预处理生成单像素探测器的一维测量值；
S3，获取三维重建网络，通过所述三维数据集和所述一维测量值训练所述三维重建网络；
S4，通过训练后的三维重建网络对待测三维物体进行重建，输出所述待测三维物体的三维深度信息。


2.根据权利要求1所述的基于深度学习的单像素三维端到端重建方法，其特征在于，还包括：
通过输出的所述待测三维物体的三维深度信息恢复所述待测三维物体，将恢复出的待测三维物体与所述待测三维物体进行误差对比，得到三维重建误差，根据所述三维重建误差调整所述三维重建网络。


3.根据权利要求1所述的基于深度学习的单像素三维端到端重建方法，其特征在于，所述构建包含多个物体三维信息的三维数据集，包括：
选取多个三维物体对应的正弦条纹图，计算每张正弦条纹图对应的三维物体的高度信息，根据高度信息生成每张条纹图对应的高度矩阵。


4.根据权利要求1所述的基于深度学习的单像素三维端到端重建方法，其特征在于，所述对所述三维数据集进行特定预处理生成单像素探测器的一维测量值，包括：
S21，利用和所述三维数据集中的正弦条纹图相同像素大小的随机[0,1]矩阵与所述三维数据集中的一张正弦条纹图相乘，并进行各点像素数值叠加，得到单像素探测器的一个测量值；
S22，设定单像素采集次数为M次，将M个[0,1]矩阵与同一张条纹图像相乘，得到M×1的所述一维测量值；
S23，重复步骤S21和S22，直至将所述三维数据集中的所有条纹图进行处理，得到多个M×1的所述一维测量值。


5.根据权利要求1所述的基于深度学习的单像素三维端到端重建方法，其特征在于，所述三维重建网络包括由多种卷积层及多组并行的卷积神经网络组成的解码网...

【专利技术属性】
技术研发人员：边丽蘅，王华依，张军，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：北京;11