用于合成用于在包括偏振图像的不同成像模态下训练统计模型的数据的系统和方法技术方案

一种生成虚拟场景的合成图像的方法，包括：通过由处理器和存储器实施的合成数据生成器在3

【技术实现步骤摘要】
【国外来华专利技术】用于合成用于在包括偏振图像的不同成像模态下训练统计模型的数据的系统和方法
[0001]相关申请的交叉引用
[0002]本申请要求于2020年1月30日在美国专利商标局提交的美国临时专利申请No.62/968,038的优先权与权益，该美国临时专利申请的全部公开内容通过引用并入本文。


[0003]本公开的实施例的各方面涉及机器学习技术，特别是用于训练机器学习模型的数据的合成或生成。

技术介绍

[0004]通常使用大量的数据来训练统计模型(诸如机器学习模型)。在计算机视觉领域，训练数据通常包括标注的图像，这些图像被用来训练深度学习模型(诸如卷积神经网络)，以执行计算机视觉任务(诸如图像分类和实例分割)。然而，手动收集各种场景的照片并标注照片是耗时且昂贵的。用于增强这些数据集的一些技术包括生成合成训练数据。例如，三维(3
‑
D)计算机图形渲染引擎(例如，扫描线渲染引擎和光线追踪渲染引擎)能够生成物体的3
‑
D模型的布置的虚拟环境的可以用于训练深度学习模型的逼真的二维(2
‑
D)图像。

技术实现思路

[0005]本公开的实施例的各方面涉及机器学习技术，特别是用于训练机器学习模型的数据的合成或生成。特别地，本公开的实施例的各方面涉及合成用于训练机器学习模型的图像，以对输入图像执行计算机视觉任务，所述输入图像是基于与场景中可见光强度的图像不同的成像模态捕获的。
[0006]根据本公开的一个实施例，一种生成虚拟场景的合成图像的方法包括：通过由处理器和存储器实施的合成数据生成器在三维(3
‑
D)虚拟场景中放置物体的3
‑
D模型；通过所述合成数据生成器向所述3
‑
D虚拟场景添加照明，所述照明包括一个或多个照明源；通过所述合成数据生成器根据选定的成像模态将成像模态特定的材料应用到所述3
‑
D虚拟场景中的物体的所述3
‑
D模型，所述成像模态特定的材料中的每个包括经验模型；通过合成数据生成器根据所述选定的成像模态设置场景背景；以及通过所述合成数据生成器基于所述选定的成像模态渲染所述3
‑
D虚拟场景的二维图像，以根据所述选定的成像模态生成合成图像。
[0007]所述经验模型可以基于使用的材料的表面的使用成像系统捕获捕获的采样图像来生成，所述成像系统被配置为使用所述选定的成像模态捕获图像，所述采样图像可以包括所述材料的所述表面的从相对于所述材料的所述表面的法线方向的多个不同的姿势捕获的图像。
[0008]所述选定的成像模态可以是偏振，并且所述成像系统包括偏振相机。
[0009]所述选定的成像模态可以是热的，并且所述成像系统可以包括热像仪(thermal camera)。所述热像仪可以包括偏振滤波器。
[0010]所述采样图像中的每个可以与其相对于所述材料的所述表面的法所述线方向的姿势的对应角度相关联地存储。
[0011]所述采样图像可以包括：由具有第一光谱轮廓的光照亮的所述材料的所述表面的捕获的多个第一采样图像；以及由具有与第一光谱轮廓不同的第二光谱轮廓的光照亮的所述材料的所述表面的捕获的多个第二采样图像。
[0012]所述经验模型可以包括通过在所述采样图像中的两个或多个之间插值计算的表面光场函数。
[0013]所述经验模型可以包括通过在所述采样图像上训练的深度神经网络计算的表面光场函数。
[0014]所述经验模型可以包括通过在所述采样图像上训练的生成对抗网络计算的表面光场函数。
[0015]所述经验模型可以包括通过基于所述采样图像生成的数学模型计算的表面光场函数。
[0016]本方法还可以包括对所述合成图像应用风格迁移。
[0017]根据本公开的一个实施例，一种用于为3
‑
D虚拟场景生成偏振特征空间的张量的方法，包括：通过处理器和存储器实施的合成数据生成器渲染包括多个物体的3
‑
D模型的3
‑
D虚拟场景的表面法线的图像，所述表面法线包括方位角分量和天顶角分量；通过所述合成数据生成器为所述3
‑
D虚拟场景中物体的3
‑
D模型的表面确定所述物体的材料；以及通过所述合成数据生成器根据所述表面法线的所述方位角分量和所述天顶角分量计算所述偏振特征空间的张量，所述偏振特征空间的张量包括：线性偏振度；以及物体表面的线性偏振角。
[0018]本方法还包括：确定所述物体的所述3
‑
D模型的所述表面是否是镜面主导的；响应于确定所述物体的所述3
‑
D模型的所述表面是镜面主导的，基于镜面偏振方程计算所述偏振特征空间的张量；以及响应于确定所述物体的所述3
‑
D模型的所述表面是镜面主导的，基于漫射偏振方程计算所述偏振特征空间的张量。
[0019]本方法还包括：基于漫射偏振方程计算所述偏振特征空间的张量。
[0020]本方法还包括对所述偏振特征空间的张量应用风格迁移。
[0021]根据本公开的一个实施例，一种用于合成训练数据集的方法，方法方法基于生成根据上述方法的任一项生成的多个合成图像。
[0022]根据本公开的一个实施例，一种用于训练机器学习模型的方法，所述方法包括：根据上述方法的任一项生成训练数据集；以及基于所述训练数据集计算所述机器学习模型的参数。
[0023]根据本公开的一个实施例，一种用于生成虚拟场景的合成图像的系统，所述系统包括：处理器；以及存储指令的存储器，所述指令在由所述处理器执行时使得所述处理器实施合成数据生成器以：在三维(3
‑
D)虚拟场景中放置物体的3
‑
D模型；向所述3
‑
D虚拟场景添加照明，所述照明包括一个或多个照明源；根据选定的成像模态将成像模态特定的材料应用到所述3
‑
D虚拟场景中的物体的所述3
‑
D模型，所述成像模态特定的材料中的每个包括经验模型；根据所述选定的成像模态设置场景背景；以及根据所述选定的成像模态渲染所述3
‑
D虚拟场景的二维图像，以根据所述选定的成像模态生成合成图像。
[0024]所述经验模型可以基于所述材料的所述表面的使用成像系统捕获的采样图像生成，所述成像系统被配置为使用所述选定的成像模态捕获图像，并且所述采样图像可以包括所述材料的所述表面的从相对于所述材料的所述表面的所述法线方向的多个不同姿势捕获的图像。
[0025]所述选定的成像模态可以是偏振，并且所述成像系统可以包括偏振相机。
[0026]所述选定的成像模态可以是热的，并且所述成像系统可以包括热像仪。所述热像仪可以包括偏振滤波器。
[0027]所述采样图像中的每个可以与其姿势相对于所述材料的所述表面的所述法线方向的对应角度相关联地存储。
[0028]所述采样图像可以包括：由具有第本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种生成虚拟场景的合成图像的方法，包括：通过由处理器和存储器实施的合成数据生成器在3
‑
D虚拟场景中放置物体的三维(3
‑
D)模型；通过所述合成数据生成器向所述3
‑
D虚拟场景添加照明，所述照明包括一个或多个照明源；通过所述合成数据生成器根据选定的多模态成像模态将成像模态特定的材料应用到所述3
‑
D虚拟场景中的物体的所述3
‑
D模型，所述成像模态特定的材料中的每个包括经验模型；根据所述选定的多模态成像模态设置场景背景；以及通过所述合成数据生成器基于所述选定的多模态成像模态渲染所述3
‑
D虚拟场景的二维图像，以根据所述选定的多模态成像模态生成合成图像。2.如权利要求1所述的方法，其中所述经验模型是基于材料的表面的使用成像系统捕获的采样图像生成的，所述成像系统被配置为使用所述选定的多模态成像模态捕获图像，并且其中所述采样图像包括所述材料的所述表面的从相对于所述材料的所述表面的法线方向的多个不同的姿势捕获的图像。3.如权利要求2所述的方法，其中所述选定的多模态成像模态是偏振并且所述成像系统包括偏振相机。4.如权利要求2所述的方法，其中所述选定的多模态成像模态是热的并且所述成像系统包括热像仪。5.如权利要求4所述的方法，其中所述热像仪包括偏振滤波器。6.如权利要求2所述的方法，其中所述采样图像中的每个与其相对于所述材料的所述表面的所述法线方向的姿势的对应角度相关联地存储。7.如权利要求2所述的方法，其中所述采样图像包括：由具有第一光谱轮廓的光照明的所述材料的所述表面的捕获的多个第一采样图像；由具有不同于所述第一光谱轮廓的第二光谱轮廓的光照明的所述材料的所述表面的捕获的多个第二采样图像。8.如权利要求2所述的方法，其中所述经验模型包括通过在所述采样图像中的两个或多个之间进行插值计算的表面光场函数。9.如权利要求2所述的方法，其中所述经验模型包括通过在所述采样图像上训练的深度神经网络计算的表面光场函数。10.如权利要求2所述的方法，其中所述经验模型包括通过在所述采样图像上训练的生成对抗网络计算的表面光场函数。11.如权利要求2所述的方法，其中所述经验模型包括通过基于所述采样图像生成的数学模型计算的表面光场函数。12.如权利要求1所述的方法，还包括对所述合成图像应用风格迁移。13.一种用于为3
‑
D虚拟场景生成偏振特征空间的张量的方法，包括：通过由处理器和存储器实施的合成数据生成器渲染3
‑
D虚拟场景的表面法线的图像，所述3
‑
D虚拟场景包括多个物体的3
‑
D模型，所述表面法线包括方位角分量和天顶角分量；
通过所述合成数据生成器为所述3
‑
D场景的物体的3
‑
D模型的表面确定所述物体的材料；以及通过所述合成数据生成器根据所述表面法线的所述方位角分量和所述天顶角分量计算所述偏振特征空间的张量，所述偏振特征空间的张量包括：线性偏振度；以及所述物体的所述表面处的线性偏振角。14.如权利要求13所述的方法，还包括：确定所述物体的所述3
‑
D模型的所述表面是否是镜面主导的；响应于确定所述物体的所述3
‑
D模型的所述表面是镜面主导的，基于镜面偏振方程计算所述偏振特征空间的张量；以及响应于确定所述物体的所述3
‑
D模型的所述表面是镜面主导的，基于漫射偏振方程计算所述偏振特征空间的张量。15.如权利要求13所述的方法，包括：基于漫射偏振方程计算所述偏振特征空间的张量。16.如权利要求13所述的方法，还包括对所述偏振特征空间的张量应用风格迁移。17.一种用于合成训练数据集的方法，该方法基于生成根据权利要求1
‑
16中任一项生成的多个合成图像。18.一种用于训练机器学习模型的方法，包括：根据权利要求17生成训练数据集；以及基于所述训练数据集计算所述机器学习模型的参数。19.一种用于生成虚拟场景的合成图像的系统，包括：处理器；以及存储指令的存储器，所述指令在由所述处理器执行时使得所述处理器实施所述合成数据生成器以：在3
‑
D虚拟场景中放置物体的三维(3<...

【专利技术属性】
技术研发人员：K文卡塔拉曼，A卡尔拉，A卡当比，
申请(专利权)人：因思创新有限责任公司，
类型：发明
国别省市：