用于检索多光谱BRDF参数的计算机实施的方法和系统技术方案

总体上本发明专利技术涉及用于通过使用红绿蓝深度(RGB

【技术实现步骤摘要】
【国外来华专利技术】用于检索多光谱BRDF参数的计算机实施的方法和系统


[0001]本专利技术涉及用于检索多光谱BRDF参数的计算机实施的方法、系统、手持设备和程序。

技术介绍

[0002]在现代开发过程中，在实际开发进程和/或原型设计进程开始之前，会进行大量不同的模拟。为了模拟并且为达到真实感模拟结果，有必要在模拟中尽可能真实地模拟要使用的材料。因而，在模拟中材料对于渲染真实感3D物体发挥着重要的作用，例如计算机绘图。尤其是，所使用的材料可以限定光如何与物体相互作用。这种相互作用应以用于进一步使用的方式加以识别和描述。
[0003]一些材料组由被称为双向反射分布函数(BRDF)的函数来限定。BRDF限定了光或其他电磁辐射如何与物体表面相互作用。此外，BRDF表示针对在任何入射角下材料表面反射行为的函数。对于以给定入射角入射到材料上的每个光束，它提供了针对所发射的每个光束的辐射密度与辐照度的商。例如，入射光可能不会在表面下透射，或者其是逼近的。对于照片级真实的渲染，BRDF函数被认为与波长无关并且仅被检索R、G、B通道。对于传感器真实渲染，波长可以发挥重要作用(例如激光雷达、红外传感器等)。由于材料在不同状态下的未知行为并且因而其BRDF未知，因此有必要测量这些信息。
[0004]最先进的工艺需要复杂和广泛的设置以及昂贵的装备。此外，为了测量例如汽车的材料，要求在不同的局部照明模型中用最先进的工艺进行大量的迭代，为这种数据采集花费了大量的时间和硬件并且使得其效率更低。进一步地，在使用了这些材料的大型资产数据库(几何图形、材料、属于模拟世界的纹理)的情况下，选择去收集和测量材料的代价高，因为精细划分样本的简单存储对内存的要求高。另外，一般不存在多光谱属性。
[0005]需要用更有效的方法和系统来测量用于模拟的材料的BRDF。

技术实现思路

[0006]本专利技术的目的是改进多光谱BRDF参数的检索。尤其是，应该消除上述缺点。
[0007]该目的通过根据具有相应要求保护特征的独立权利要求的主题来实现。有利的实施例是从属权利要求的主题、描述和图。
[0008]根据第一方面，本专利技术涉及一种用于通过使用红绿蓝深度RGB
‑
D数据来检索多光谱双向反射分布函数BRDF参数的计算机实施的方法。该方法包括以下步骤：
[0009]‑
由RGB
‑
D相机拍摄场景中一个或多个物体的至少一个图像，其中，一个或多个物体的所拍摄的至少一个图像包括RGB
‑
D数据，该RGB
‑
D数据包括物体的颜色和几何形状信息。
[0010]RGB
‑
D相机的使用提供了包括物体的高度准确的信息的图像。RGB
‑
D图像是RGB图像及其对应的深度图像的组合。深度图像是图像通道，其中每个像素与图像平面和RGB图像中对应的物体之间的距离相关。
[0011]颜色和几何形状信息可以包括一个或多个物体的表面上的点的信息。该信息可以包括RGB值和深度值，尤其是从RGB
‑
D相机的特定方向取得的这些点的距离。RGB值包括针对每个单个点的红色、绿色和蓝色分量。图像中每个像素的每个点的各自的颜色由存储在像素位置的每个颜色平面中的红色、绿色和蓝色强度的组合来确定。图像可以按具有例如24位的图形文件格式存储，其中红色、绿色和蓝色分量各自为8位。这产生了1600万种颜色可能性。进一步地，可以使用例如8位或16位的图形文件格式，其中应用了与24位类似的位分布。
[0012]‑
由处理单元通过使用RGB
‑
D数据来将一个或多个物体的所拍摄的至少一个图像重建为一个或多个3D重建。重建步骤可以包括物体表面的数字创建，该数字创建在某种程度上符合由RGB
‑
D相机取得的点。
[0013]‑
由深度神经网络基于3D重建来对一个或多个物体的表面的BRDF进行分类，其中深度神经网络包括输入层、输出层以及输入层与输出层之间的至少一个隐藏层。
[0014]‑
通过使用迭代优化方法以逼近经分类的BRDF来检索多光谱BRDF参数。
[0015]利用根据本专利技术的方法和系统，可以基于未知但传感器真实感渲染所要求的材料类型来检索材料的多光谱属性。
[0016]进一步地，优化过程包括分类和多光谱参数估计，这使得多光谱BRDF参数的检索更加有效、快速和准确。
[0017]有利的是，物体的检索到的BRDF参数可以用来验证传感器的正确操作，例如在汽车中，和/或校准传感器以正确测量物体的表面，从而也正确测量物体(例如汽车、路标)本身。例如，识别物体对于自动驾驶来说很重要。汽车的传感器必须检测位于汽车周围的每个物体，与材料无关并且在每种光线情况下(即反射、强度等)。通过使用用于模拟的经检索的BRDF参数，在模拟中验证传感器更加有效，因为在变化的光线条件下，对于所有材料的验证和校准不再需要在外面的真实环境中执行。由BRDF函数描述的每个光线条件和材料行为都是可用的。
[0018]此外，材料的检索到的多光谱BRDF参数可以被存储在材料资产数据库中，并且可被用于模拟和测试目的，以及用于在计算机和电影场景中创建数字环境和物体。
[0019]在本专利技术的优选实施例中，检索多光谱BRDF参数的步骤还包括估计BRDF的光谱参数。
[0020]在本专利技术的优选实施例中，检索多光谱BRDF参数的步骤还包括估计环境贴图的光谱属性。环境贴图的光谱属性描述了从全方向到达估计BRDF参数的点的光。
[0021]通常，BRDF被写作两个单位向量的函数和波长的函数。这两个向量对相对于表面法线的反射的入射和出射方向进行编码。当在第一方向上到达时，BRDF测量有多少光在第二方向上被散射。总体上，BRDF被建模为具有独立于波长λ的参数p的函数。通过使用每λ基于球面谐波的函数，可以对环境贴图进行建模。当使用RGB
‑
D相机来重建物体时，RGB
‑
D相机将关于物体反射率的每点每RGB通道的光谱曲线(相机光谱曲线)整合，这是BRDF与环境的组合。以这种方式，可以检索光谱BRDF参数。
[0022]在本专利技术的优选实施例中，一个或多个物体的3D重建包括一个或多个物体的RGB值和表面法线。表面法线(也被描述为法线)可以是物体的诸如垂直于给定物体的线或向量。例如，在二维空间中，给定点处曲线的法线是垂直于该点处曲线的切线的线。在三维空
间中，物体某个点处表面的法线是垂直于该点表面的切面的向量。法线可以用来确定表面朝向光源的取向，例如平坦阴影，或者每个角的取向以模拟曲面。
[0023]在本专利技术的优选实施例中，经分类的BRDF包括BRDF的光谱参数和一个或多个物体的环境映射的光谱属性。BRDF的光谱参数可以通过使用相机RGB
‑
D规格来测量。通过已知相机的光谱曲线，可以测量表面的RGB
‑
D模型还有表面的出射光本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种通过使用红绿蓝深度RGB
‑
D数据来检索多光谱双向反射分布函数BRDF参数的计算机实施的方法(1)，包括以下步骤：
‑
由RGB
‑
D相机(11)拍摄(S1)场景中一个或多个物体(30)的至少一个图像，其中，所述一个或多个物体(30)的所拍摄的至少一个图像包括RGB
‑
D数据，所述RGB
‑
D数据包括所述物体(30)的颜色和几何形状信息；
‑
由处理单元通过使用所述RGB
‑
D数据来将所述一个或多个物体(30)的所拍摄的至少一个图像重建(S2)为一个或多个3D重建；
‑
由深度神经网络(20)基于所述3D重建来对所述一个或多个物体(30)的表面的BRDF进行分类(S3)，其中，所述深度神经网络(20)包括输入层、输出层以及所述输入层与所述输出层之间的至少一个隐藏层；以及
‑
通过使用迭代优化方法逼近经分类的BRDF来检索(S4)多光谱BRDF参数。2.根据权利要求1所述的方法，其中，检索所述多光谱BRDF参数的步骤还包括：
‑
估计所述BRDF的多光谱参数。3.根据前述权利要求1和2中任一项所述的方法，其中，检索所述多光谱BRDF参数的步骤还包括：
‑
估计环境贴图的光谱属性。4.根据前述权利要求1和3中任一项所述的方法，其中，所述一个或多个物体(30)的所述3D重建包括所述一个或多个物体的RGB值和表面法线。5.根据前述权利要求1至4中任一项所述的方法，其中，所述经分类的BRDF包括所述BRDF的光谱参数和所述一个或多个物体(30)的环境贴图的光谱属性。6.根据前述权利要求1至5中任一项所述的方法，其中，所述深度神经网络(20)包括至少卷积神经网络、递归神经网络或前馈神经网络。7.根据前述权利要求1至6中任一...

【专利技术属性】
技术研发人员：艾哈迈德，
申请(专利权)人：西门子工业软件荷兰有限公司，
类型：发明
国别省市：