本发明专利技术实施例提供一种感知材质识别的光场重建的方法及装置，属于计算机视觉、计算机图形学、虚拟现实和增强现实等领域。该方法包括：根据二维空间图像构建初始三维空间，所述初始三维空间设有光源；根据所述二维空间图像和初始三维空间确定所述初始三维空间中物体的材质信息；根据所述材质信息确定所述初始三维空间中的物体与所述光源的关系；根据所述物体与光源的关系，在三维渲染管线对所述物体进行处理，得到三维光场空间。该方法精准还原了真实世界的光场变化，使虚拟制作的影片更真实。实。实。
【技术实现步骤摘要】
一种感知材质识别的光场重建的方法及装置
[0001]本专利技术涉及计算机视觉、计算机图形学、虚拟现实和增强现实等领域，具体地涉及一种感知材质识别的光场重建的方法及装置。
技术介绍
[0002]现有技术中通常采用光场相机采集光场图像，光场图像中具有丰富的图像信息，从光场图像中可以解析物体表面双向反射分布函数进而对材质类型进行分类；也可以通过各种计算求得空间法线，进行光线的渲染。
[0003]光场图像是自由空间中任意点沿着一定方向的光线的辐射度值，该空间所有的有向光线的集合就构成了光场的一个数据集。而现有技术中，物体表面材质类型识别方法主要依赖于物理光场图像，而对于光场图像，普通相机采集到的视觉图像（二维图像，属于光场图像的一个二维切片）具有的图像信息较少，它仅记录了投影到当前像素位置的物理点所发射光线的强度及方向信息。因此，现有技术对于视觉图像不能进行准确的识别，不能还原出与真实世界一样的光场变化，导致虚拟制作的影片存在着不真实感。
技术实现思路
[0004]本专利技术实施例的目的是提供一种感知材质识别的光场重建的方法及装置，该方法精准还原了真实世界的光场变化，使虚拟制作的影片更真实。
[0005]为了实现上述目的，本专利技术实施例提供一种感知材质识别的光场重建的方法，该方法包括：根据二维空间图像构建初始三维空间，所述初始三维空间设有光源；根据所述二维空间图像和初始三维空间确定所述初始三维空间中物体的材质信息；根据所述材质信息确定所述初始三维空间中的物体与所述光源的关系；根据所述物体与光源的关系，在三维渲染管线对所述物体进行处理，得到三维光场空间。
[0006]可选的，所述根据所述二维空间图像和初始三维空间确定所述初始三维空间中物体的材质信息，包括：根据所述初始三维空间确定平铺切块的法线联阵图；通过所述法线联阵图对所述初始三维空间进行点对点还原及像素级色彩处理，得出模糊范围图；融合模糊范围图与所述二维空间图像得到光差图；叠加所述光差图得到所述物体的材质信息。
[0007]可选的，所述根据所述材质信息确定所述初始三维空间中的物体与所述光源的关系，包括：根据所述材质信息确定所述物体的光特性，所述物体的光特性至少包括物体的吸光量、透光量、光通量及反射率；融合光源和所述初始三维空间，使得所述光源照射在所述初始三维空间中的物体上；根据所述物体的光特性，实时还原所述物体的反射光信息；所述反射光信息包括反射光的光亮和反射光的光强。
[0008]可选的，所述根据所述物体的光特性，实时还原所述物体的反射光信息，包括：，
，，其中，Nit为光亮，Pg为阴影增益，L为阴影亮度输出，A为阴影面积，L1为光强，为光通量，为立体角，为给定方向与单位面积法线方向的夹角，λ为波长，V(λ)为视见函数，K为光明度。
[0009]可选的，所述根据所述物体与光源的关系，在三维渲染管线对所述物体进行处理，得到三维光场空间，包括：在光源的变化下，三维渲染管线实时识别光源信息；对物体发生光场变化的地方进行光场还原、重建及三维渲染，用于建立三维光场空间的光反射效果。
[0010]可选的，所述材质信息包括物体的纹理、形状、空间位置、粗糙度中的至少一种。
[0011]另一方面，本专利技术提供一种感知材质识别的光场重建的装置，该装置包括：设置模块，由于根据二维空间图像构建初始三维空间，所述初始三维空间设有光源；获取模块，用于根据所述二维空间图像和初始三维空间确定所述初始三维空间中物体的材质信息；处理模块，用于根据所述材质信息确定所述初始三维空间中的物体与所述光源的关系，及根据所述物体与光源的关系，在三维渲染管线对所述物体进行处理，得到三维光场空间。
[0012]可选的，所述根据所述二维空间图像和初始三维空间确定所述初始三维空间中物体的材质信息，包括：根据所述初始三维空间确定平铺切块的法线联阵图；通过所述法线联阵图对所述初始三维空间进行点对点还原及像素级色彩处理，得出模糊范围图；融合模糊范围图与所述二维空间图像得到光差图；叠加所述光差图得到所述物体的材质信息。
[0013]可选的，所述根据所述材质信息确定所述初始三维空间中的物体与所述光源的关系，包括：根据所述材质信息确定所述物体的光特性，所述物体的光特性至少包括物体的吸光量、透光量、光通量及反射率；融合光源和所述初始三维空间，使得所述光源照射在所述初始三维空间中的物体上；根据所述物体的光特性，实时还原所述物体的反射光信息；所述反射光信息包括反射光的光亮和反射光的光强。
[0014]可选的，所述根据所述物体的光特性，实时还原所述物体的反射光信息，包括：，，，其中，Nit为光亮，Pg为阴影增益，L为阴影亮度输出，A为阴影面积，L1为光强，为光通量，为立体角，为给定方向与单位面积法线方向的夹角，λ为波长，V(λ)为视见函
数，K为光明度。
[0015]本专利技术提出的一种感知材质识别的光场重建的方法包括：根据二维空间图像构建初始三维空间，所述初始三维空间设有光源；根据所述二维空间图像和初始三维空间确定所述初始三维空间中物体的材质信息；根据所述材质信息确定所述初始三维空间中的物体与所述光源的关系；根据所述物体与光源的关系，在三维渲染管线对所述物体进行处理，得到三维光场空间。该方法通过识别场景空间中物体的材质，使得平面图像二维光场变为三维光场，真实还原了现实世界同比例的光场空间，建立正确的光反射效果。
[0016]本专利技术实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
[0017]附图是用来提供对本专利技术实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本专利技术实施例，但并不构成对本专利技术实施例的限制。在附图中：图1是本专利技术的一种感知材质识别的光场重建的方法的流程示意图；图2是本专利技术的一种实时三维重建流程示意图；图3是现有技术和本专利技术的增加光源的对比示意图；图4 是本专利技术的材质识别示意图；图5是本专利技术的光源参数变化示意图；图6是光源与物体的物理反应的示意图。
具体实施方式
[0018]以下结合附图对本专利技术实施例的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本专利技术实施例，并不用于限制本专利技术实施例。
[0019]图1是本专利技术的一种感知材质识别的光场重建的方法的流程示意图，如图1所示，步骤S101为根据二维空间图像构建初始三维空间，所述初始三维空间设有光源。
[0020]所述二维空间图像是光场图像的一个二维切片，它仅记录了投影到当前像素位置的物理点所发射光线的强度及方向信息，而光场图像是自由空间中任意点沿着一定方向的光线的辐射度值，该空间所有的有向光线的集合就构成了光场的一个数据集。本申请中的二维空间图像优选虚拟现实制作中的合成的图像，即虚拟现实制作中需要真实世界的前景，但是所需后景是现实生活中不存在的，需要通过创造虚拟的后景来满足影片的制作。
[0021]按照一种优选的实施方式，所述光源是三维的从后景传递到前景，整个色本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种感知材质识别的光场重建的方法，其特征在于，该方法包括：根据二维空间图像构建初始三维空间，所述初始三维空间设有光源；根据所述二维空间图像和初始三维空间确定所述初始三维空间中物体的材质信息；根据所述材质信息确定所述初始三维空间中的物体与所述光源的关系；根据所述物体与光源的关系，在三维渲染管线对所述物体进行处理，得到三维光场空间。2.根据权利要求1所述的方法，其特征在于，所述根据所述二维空间图像和初始三维空间确定所述初始三维空间中物体的材质信息，包括：根据所述初始三维空间确定平铺切块的法线联阵图；通过所述法线联阵图对所述初始三维空间进行点对点还原及像素级色彩处理，得出模糊范围图；融合模糊范围图与所述二维空间图像得到光差图；叠加所述光差图得到所述物体的材质信息。3.根据权利要求1所述的方法，其特征在于，所述根据所述材质信息确定所述初始三维空间中的物体与所述光源的关系，包括：根据所述材质信息确定所述物体的光特性，所述物体的光特性至少包括物体的吸光量、透光量、光通量及反射率；融合光源和所述初始三维空间，使得所述光源照射在所述初始三维空间中的物体上；根据所述物体的光特性，实时还原所述物体的反射光信息；所述反射光信息包括反射光的光亮和反射光的光强。4.根据权利要求3所述的方法，其特征在于，所述根据所述物体的光特性，实时还原所述物体的反射光信息，包括：，，，其中，Nit为光亮，Pg为阴影增益，L为阴影亮度输出，A为阴影面积，L1为光强，为光通量，为立体角，为给定方向与单位面积法线方向的夹角，λ为波长，V(λ)为视见函数，K为光明度。5.根据权利要求1所述的方法，其特征在于，所述根据所述物体与光源的关系，在三维渲染管线对所述物体进行处理，得到三维光场空间，包括：在光源的变化下，三维渲染管线实时识别光源信息；对物体发生光场变化的地方进行光场还原、重建及三...
【专利技术属性】
技术研发人员：任志忠，
申请(专利权)人：北京天图万境科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。