一种基于Kinect设备的材质外观采集方法技术

本发明专利技术公开了一种基于Kinect设备的材质外观采集方法，该方法利用单个微软体感设备Kinect来采集某物体的材质外观，最终获得该物体随位置、光照以及观察角度不同而变化的六维外观函数，物体各个位置的法向量和采集物体时周围的环境光照。该方法包括三个步骤：物体几何与RGB图像的采集，对物体法向量、双向反射分布函数（BRDF）、相机方位和环境光照的联合优化和后处理。本发明专利技术不使用专业或昂贵的采集设备，只需要普通的Kinect设备，即可采集非平面物体的表面材质与法向量以及被测物体所处的环境光照。

【技术实现步骤摘要】

本专利技术设及材质外观采集技术，尤其设及一种基于Kinect设备的材质外观采集 方法。
技术介绍
本专利技术相关的研究背景简述如下： 根据输入RGB图像进行相机方位优化是一个经典问题。有许多方法都利用了最大 化输入图像的一致性来进行优化炬ERNA畑INI,F.，MARTIN,I.M.，ANDRUSHMEIER,H. 2001. High-qualitytexturereconstructionfrommultiplescans.IEEETrans.Vis. Comp.Graph. 7, 4, 318 - 332.CORSINI,M.，DELLEPIANE,M.，GANOVELLI,F.，細ERARDI,R ?,FUSIE化 0,A.,ANDSC0PIGN0,R., 2013.Frillyautomaticregishationofimage setsonapproximategeometry,March.)。最近，有一种针对漫反射材质物体的对相机 方位进行优化的算法狂H0U，Q.-Y.，ANDK0LTUN，V. 2014.Colormapoptimizationfor 3dreconstructionwithconsumerdepthcameras.ACMTrans.Graph. 33, 4, 1 - 10. AITTALA,M.，WEYRICH,T.，ANDL邸TI肥N,J. 2013.PracticalSVB畑Fcaptureinthe frequencydomain.ACMlYans.Graph. 32, 4(July), 110:1 - 110:12.TUNWATTANAPONG,B .，FYF阳，G.，GRAHAM,P.，BUSCH,J.，YU,X.，細OSH,A.，ANDDE肥VEC,P. 2013.Acquiring reflectanceandshapefromcontinuoussphericalharmonicillumination.ACM Trans.Graph. 32, 4 (July), 109:1 - 109:12.)。 对物体表面的双向反射函数炬RD巧的测定，主要依赖于准确可靠的对物体表面 反射的重构（LAWRENCE,J.，BEN-ARTZI,A.，DEC0R0,C.，MATUSIK,W.，PFISTER,H.，RAMAM00R THI,R. ,ANDRUSINKIEWICZ,S. 2006.Inverseshadetreesfornon-parametricmaterial representationandediting.ACMTrans.Graph. 25, 3, 735 - 745.)该些方法都需要主动 光源和专业的校准。该一要求对于非专业用户显得很不现实。 使用被动光源的材质采集方法有两类，W下做一介绍。 1.基于样例的材质外观采集方法 在该种方法中，通常不需要对照相机或者光源进行校正，取而代之的是把与物体 材质相近的已知BRDF的样本放在物体旁，并一同拍摄照片，通过样本的反射光来估计出物 体的材质外观。人们用此思路来把大规模测量的BRDF用一小部分代表元素线性表出；采 集人脸的SVBRDF;用两段式方法采集SVBRDF，第一段用专用设备采集较高精度的BRDF代表 元素，第二段用照相机拍摄的照片来估计出如何用代表元素来表出一整块平面SVBRDF;还 有使用线性光源和一块包含各种不同BRDF的BRDF色板，拍摄照片时把色板放置于物体旁， 从而估计出物体的SVB畑F化ERTZMANN,A.，ANDSEITZ,S.M. 2003.aiapeandmaterialsby example:Aphotometricstereoapproach.InProc.ofCVPR2003, 533 - 540.MATUSIK,W., PFISTER,H. ,BRAND,M. ,ANDMCMILLAN,L. 2003.EfficientisotropicB畑Fmeasurement. InProc.ofEGWR2003,241 - 247.WEYRICH，T.，MATUSIK，W.，PFIST邸，H.，BIC邸L，B.，D ON-肥R, C.，TU, C.，MCANDLESS, J.，LEE, J.，NGAN, A.，JENSEN, H. W.，AND GROSS, M. 2006. Analysis of human faces using a measurement-based skin reflectance model. ACM Trans. Graph. 25, 3 (July)，1013 - 1024. DONG, Y.，WANG, J.，TONG, X.，SNYD邸，J.，LAN, Y.，BE N-EZRA,M. , AND GUO, B. 2010. Manifold bootstrapping for SVB畑F cap1:ure. ACM Trans. Graph. 29, 4 Guly)，98:1 - 98:10. REN, P.，WANG, J.，SNYDER, J.，TONG, X.，AND GUO, B. 2011. Pocket reflectometiT. ACM Trans. Graph. 30, 4 (July), 45:1 - 45:10.)。 该些方法都需要知道现存的与被测物体材质相近的材质作为样例。而且，其中一 些算法所恢复的SVB畑F局限于样例B畑F的线性子空间。 2.对材质与光照的联合估测 在物体几何已知的情况下，W图像、滴、真实世界的光照的统计等作为约 束，可W对物体的材质、所处环境光照进行估测（R0MEIR0, F.，AND ZICKLER，T. 2010. Blind reflectometry. In Proc.of ECCV 2010, K. Daniilidis,P.Maragos,and N. Paragios, Eds. , vol. 6311, 45 - 58. LOMBA畑I, S. , AND NI細INO, K. 2012. Reflectance and natural illumination from a single image. In Proc. of ECCV 2012, A. Fitzgibbon, S. Lazebnik, P. Perona, Y. Sato, and C. Schmid, Eds. , vol. 7577, 582 - 595. HAB邸，T.，即CHS, C.，B EKAER, P.，S EIDEL H. P.，G犯沈LE, M.，AND LENSCH, H. P. A. 2009.)。 另外，还有方法使用多个方位的图像，通过优化光照的材质来重建物体的几何模型 (Reli曲ting objects from image collections. In Proc. of CVPR 2009, 627 - 634. LI, G.，WU, C.，S TOLL C.，LIU, Y.，VARANASI, K.，DAI, Q.，AND T皿OBALT, C. 20本文档来自技高网...

【技术保护点】
一种基于Kinect设备的材质外观采集方法，其特征在于，包括以下步骤：(1)物体几何与RGB图像的采集：使用Kinect融合方法来采集物体的几何信息，对Kinect RGB摄像机同时拍摄的图像序列进行预处理；(2)对相机方位、双向反射分布函数(BRDF)、环境光照和物体法向量的联合优化：以物体在环境光照下的渲染结果与拍摄的RGB图像的一致性作为优化目标，交替对相机方位、BRDF、环境光照和物体法向量进行优化直至收敛；(3)对优化结果进行后处理。

【技术特征摘要】

【专利技术属性】
技术研发人员：周昆，吴鸿智，王钊天，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江;33