基于分组稀疏的光度立体视觉实现非朗伯物体重建的方法技术

本发明专利技术公开了一种基于分组稀疏的光度立体视觉实现非朗伯物体重建的方法。方法包括：对非朗伯物体的每一像素，提取出其在不同光源方向下的归一化强度，并对强度进行分组，利用分组稀疏的方法来实现高光检测，并最终完成法向恢复和三维重建。本发明专利技术充分利用了光源方向的结构信息，可以使用相对较少的光源数目实现复杂非朗伯物体的重建，从而可以以较低成本和较少的采集时间来实现具有不同反射特性的物体的重建。

【技术实现步骤摘要】

本专利技术涉及用光度立体视觉技术恢复场景表面法向，可以在光源数量相对较少而待重建物体高光很强的情况下取得理想结果。
技术介绍
光度立体视觉具有非接触，精度较高，对物体表面可以更好地恢复细节的特点。因此一直都是比较热门的研究方向并具有巨大的应用潜力。典型的光度立体视觉系统包括一个摄像机和若干个光源。在理想朗伯反射条件下，图像中像素点的强度满足： o ~ = ρ n T ( sl ) ]]>其中ρ为场景表面反射率同相机相关的线性比例的乘积，n为场景表面法向，s为光源强度，l为光源方向。在数据采集过程中，光源依次点亮，相机采集不同光照方向下得到的图像，这样对于每一个像素就得到了一系列不同光照方向下的强度向量结合求得的光源方向和光源强度就可以恢复场景表面法向。R.J.Woodham在文献【“Photometric method for determining surface orientation from multiple images,”Optical Engineering 19(1),139–144(1980).】中首次提出光度立体视觉技术来实现物体三维恢复，然而在该文献中物体表面反射仅仅假设为理想朗伯。对于实际的物体表面，往往会同时出现阴影和高光两种影响因素，其中阴影因具有较低的强度而相对容易判断。而受到物体自身颜色和法向等因素影响，高光和漫反射在强度上就较难区分。S.Ikehata,等人在文献【Robust photometric stereo using sparse regression,”in Proceedings of IEEE Conference on Computer Vision and Pattern Recognition,318–325,IEEE(2012).】中提出了基于高光分布稀疏的假设，给出了两种方法来求解稀疏模型，即基于一次模惩罚和利用稀疏贝叶斯学习的方法。其中利用贝叶斯学习的方法可以更好地近似稀疏模型，该方法对具有高光的物体取得了较好的结果。然而该文献中的方法并没有利用光源的结构信息，也没有利用反射的自身特性，因此需要使用的光源数量较多，当光源较少而物体本身具有较强的高光时则不能得到满意结果。
技术实现思路
本专利技术的目的在于针对现有光度立体视觉技术对强高光物体重建需要较多数量光源的问题，提供了一种对光源进行特殊排布并应用分组稀疏思想来实现光度立体视觉的方法。本专利技术的目的是通过以下技术方案来实现的：一种基于分组稀疏的光度立体视觉实现非朗伯物体重建的方法，该方法包括以下步骤：(1)构建三维成像系统：所述三维成像系统包括摄像机、2M(M>3)个光源和计算机，摄像机与计算机相连，光源均匀分布在两个同心圆上，每个同心圆包含M个光源，摄像机位于同心圆圆心，摄像机视线与光源平面垂直；(2)标定光源方向和强度，记光源方向矩阵为li为第i个光源归一化后的光源方向；(3)将每个光源依次点亮并采集图像，最终采集得到2M个图像，利用步骤2标定的光源强度对采集的图像序列进行归一化，即对第i张图像除以第i个光源的光源强度si，最终得到2M张归一化后的图像；(4)重建中，对每个像素进行处理，提取出每个像素在不同光源方向对应的归一化强度，得到强度向量强度向量O满足：o＝LTn+e  (1)其中e为高光分量，n为场景表面法向；(5)建立基于稀疏假设的优化模型，具体包括以下子步骤：(5.1)根据光源排布将平面圆等分成M个扇形区间，每个光源落在扇形区间的对称轴上，利用强度向量o判断法向所处的区间；(5.2)利用步骤5.1中得到的法向区间，推导出所有可能的高光组合每一个高光组合满足：对于共圆的M个光源，同法向区间接近的光源优先成为高光；(5.3)对步骤5.2得到的所有可能的高光组合，去掉冗余组合得到最优的分组使其满足其中为的任意子集；(5.4)利用步骤5.3得到的最优的分组建立优化模型： min e , n | | L T n - o - e | | 2 2 + Ω ( e ) - - - ( 2 ) ]]>其中Ω(e)为高光分量基于稀疏假设的惩罚项，为分组G中的第j个元素所对应的惩罚权值，ej为第j个光源所对应的高光分量；(6)求解步骤5得到的优化模型，得到法向结果： n = arg min e , n | | L T n - o - e | | 2 2 + Ω ( e ) - - - ( 3 ) ]]>(7)对所有像素重复步骤4-6得到所有像素的法向结果，并进行重建，最终得到物体的三维结构。本专利技术的有益效果是，本专利技术在系统设计中使用了相对较少的光源数量，这样可以节省系统的搭建成本以及数据采集时间；本专利技术可以实现对表面反射具有较强高光的物体的高精度重建，有更广泛的应用范围。附图说明图1为本专利技术所用的光度立体视觉系统图；图2为本专利技术确定强度向量分组的基本原理图；图3为本专利技术实施例1对仿真数据进行重建的误差，三条曲线分别代表基于朗伯假设的方法，基于贝叶斯学习的方法和本专利技术方法；图4为本专利技术实施例2的重建结果图；其中，(a)为待重建物体在自然条件下的照片；(b)为基于朗伯假设的重建结果图，(c)为基于贝叶斯学习的方法重建结果图：(d本文档来自技高网...

【技术保护点】
一种基于分组稀疏的光度立体视觉实现非朗伯物体重建的方法，其特征在于，该方法包括以下步骤：(1)构建三维成像系统：所述三维成像系统包括摄像机、2M(M>3)个光源和计算机，摄像机与计算机相连，光源均匀分布在两个同心圆上，每个同心圆包含M个光源，摄像机位于同心圆圆心，摄像机视线与光源平面垂直；(2)标定光源方向和强度，记光源方向矩阵为li为第i个光源归一化后的光源方向；(3)将每个光源依次点亮并采集图像，最终采集得到2M个图像，利用步骤2标定的光源强度对采集的图像序列进行归一化，即对第i张图像除以第i个光源的光源强度si，最终得到2M张归一化后的图像；(4)重建中，对每个像素进行处理，提取出每个像素在不同光源方向对应的归一化强度，得到强度向量强度向量O满足：o＝LTn+e  (1)其中e为高光分量，n为场景表面法向；(5)建立基于稀疏假设的优化模型，具体包括以下子步骤：(5.1)根据光源排布将平面圆等分成M个扇形区间，每个光源落在扇形区间的对称轴上，利用强度向量o判断法向所处的区间；(5.2)利用步骤5.1中得到的法向区间，推导出所有可能的高光组合每一个高光组合满足：对于共圆的M个光源，同法向区间接近的光源优先成为高光；(5.3)对步骤5.2得到的所有可能的高光组合，去掉冗余组合得到最优的分组使其满足其中为的任意子集；(5.4)利用步骤5.3得到的最优的分组建立优化模型：mine,n||LTn-o-n||22+Ω(e)---(2)]]>其中Ω(e)为高光分量基于稀疏假设的惩罚项，为分组G中的第j个元素所对应的惩罚权值，ej为第j个光源所对应的高光分量；(6)求解步骤5得到的优化模型，得到法向结果：n=argmine,n||LTn-o-e||22+Ω(e)---(3)]]>(7)对所有像素重复步骤4‑6得到所有像素的法向结果，并进行重建，最终得到物体的三维结构。...

【技术特征摘要】
1.一种基于分组稀疏的光度立体视觉实现非朗伯物体重建的方法，其特征在
于，该方法包括以下步骤：
(1)构建三维成像系统：所述三维成像系统包括摄像机、2M(M>3)个光源
和计算机，摄像机与计算机相连，光源均匀分布在两个同心圆上，每个同心
圆包含M个光源，摄像机位于同心圆圆心，摄像机视线与光源平面垂直；
(2)标定光源方向和强度，记光源方向矩阵为li为第i个光源归一化后的光源方向；
(3)将每个光源依次点亮并采集图像，最终采集得到2M个图像，利用步骤2
标定的光源强度对采集的图像序列进行归一化，即对第i张图像除以第i个光源
的光源强度si，最终得到2M张归一化后的图像；
(4)重建中，对每个像素进行处理，提取出每个像素在不同光源方向对应的
归一化强度，得到强度向量强度向量O满足：
o＝LTn+e  (1)
其中e为高光分量，n为场景表面法向；
(5)建立基于稀疏假设的优化模型，具体包括以下子步骤：
(5.1)根据光源排布将平面圆等分成M个扇形区间，每个光源落在扇形区间
的对称轴上，利用强度向量o判断法向所处的区间；
(5.2)利用步骤5.1中得到的法向区间，推导出所有可能的高光组合每一
个高光组合满足：对于共圆的M个光源，同法向区间接近的光源优先成为高
光；
(5.3)对步骤5.2得到的所有可能的高光组合，去掉冗余组合得到最优的分
组使其满足其中为的任意子集；
(5.4)利用步骤5.3得到的最优的分组建立优化模型：
min e , ...

【专利技术属性】
技术研发人员：沈会良，韩天奇，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江;33