渲染对象以匹配相机噪声制造技术

本公开涉及渲染对象以匹配相机噪声。本文所公开的各种具体实施渲染具有噪声的虚拟内容，所述噪声类似于或以其他方式更好地匹配在与虚拟内容相组合的图像中发现的噪声。一些具体实施涉及识别图像的噪声数据，基于所述噪声数据创建参数化噪声模型，利用所述参数化噪声模型生成近似图像或另一图像的噪声的噪声图案，以及渲染包括所述图像和具有基于所述噪声图案添加的噪声的虚拟内容的内容。

【技术实现步骤摘要】
渲染对象以匹配相机噪声相关申请的交叉引用本申请要求2019年2月25日提交的美国临时申请序列号62/809,815的权益，该申请全文以引用方式并入本文。
本公开整体涉及在电子设备上提供内容，并且具体地涉及用于提供内容的系统、方法和设备，所述内容包括图像内容和具有类似噪声的虚拟内容。
技术介绍
一些增强现实(AR)系统捕获视频流，并将该视频流的图像与虚拟内容组合。该视频流的图像可能非常嘈杂，尤其是在较低光线条件下，其中某些ISO设置用于提高图像亮度。相比之下，由于虚拟内容渲染器不受图像捕获设备的物理限制的影响，因此虚拟内容中有很少或没有噪声。在将真实内容的图像与虚拟内容组合在一起的AR内容中，可在真实对象上看到噪声，但虚拟内容中通常缺少噪声。虚拟内容上的噪声外观(例如，粒度、强度、其在颜色通道之间的属性变化等)的缺少可导致虚拟内容显现为浮动、看起来是分离的、突出的，或换句话讲无法与真实内容一致。例如，图4示出了内容400，其中真实对象402具有嘈杂外观，并且虚拟对象404具有显著较小的嘈杂外观。现有系统和技术当在AR中呈现具有图像本文档来自技高网...

【技术保护点】
1.一种方法，包括：/n在具有处理器的电子设备处：/n识别由图像捕获设备捕获的第一图像的噪声数据；/n基于所述噪声数据来创建参数化噪声模型；/n使用所述参数化噪声模型来生成近似第二图像中的噪声的噪声图案；以及/n渲染包括所述虚拟内容的计算机生成现实(CGR)内容，所述虚拟内容包括基于所述噪声图案添加到所述虚拟内容的噪声。/n

【技术特征摘要】
20190225 US 62/809,815;20200113 US 16/740,9721.一种方法，包括：
在具有处理器的电子设备处：
识别由图像捕获设备捕获的第一图像的噪声数据；
基于所述噪声数据来创建参数化噪声模型；
使用所述参数化噪声模型来生成近似第二图像中的噪声的噪声图案；以及
渲染包括所述虚拟内容的计算机生成现实(CGR)内容，所述虚拟内容包括基于所述噪声图案添加到所述虚拟内容的噪声。


2.根据权利要求1所述的方法，其中识别所述噪声数据包括使用由所述图像捕获设备在多个不同照明条件或成像条件下捕获的图像来测量针对多个不同信噪比(SNR)水平的相机噪声。


3.根据权利要求1所述的方法，其中创建所述参数化噪声模型包括识别所述参数化噪声模型的参数以使所述参数化噪声模型与所述噪声数据拟合。


4.根据权利要求1所述的方法，其中识别所述参数包括：
基于所述噪声数据来确定强度偏差和相关联的空间相关性；以及
识别用于所述参数化噪声模型的参数以产生与所述空间相关性和强度偏差分布对应的输出。


5.根据权利要求4所述的方法，其中所述强度偏差是通过创建差异图像来确定的，所述差异图像包括所测量的噪声的两个图像之间的差异，其中所述空间相关性是基于将所述差异图像与其自身进行偏移和关联来确定的。


6.根据权利要求1所述的方法，其中所述参数化噪声模型经由使用由高斯混合模型所述的内核的平滑来描述所述空间相关性。


7.根据权利要求1所述的方法，其中所述第二图像是所述第一图像，其中使用由所述图像捕获设备在所述CGR内容的渲染期间捕获的图像来识别用于所述参数化噪声模型的参数。


8.根据权利要求1所述的方法，其中所述第二图像不同于所述第一图像，其中使用所述图像捕获设备在所述CGR内容的所述渲染之前捕获的图像来识别用于针对多个不同信噪比(SNR)水平的所述参数化噪声模型的参数。


9.根据权利要求8所述的方法，其中生成所述噪声图案包括：
识别所述第二图像的信噪比(SNR)水平；
基于所述SNR水平来识别参数；以及
使用所述参数化噪声模型和所述参数来生成所述噪声图案。


10.根据权利要求9所述的方法，其中识别所述SNR水平包括从图像信号处理器(ISP)接收所述SNR水平。


11.根据权利要求9所述的方法，其中识别所述SNR水平包括使用评估所述第二图像...

【专利技术属性】
技术研发人员：T·霍尔，D·库尔茨，
申请(专利权)人：苹果公司，
类型：发明
国别省市：美国;US