基于物理光学模型和神经网络的双流散景渲染方法及系统技术方案

本发明专利技术公开了一种基于物理光学模型和神经网络的双流散景渲染方法及系统，属于计算机视觉技术领域,方法包括：将全聚焦图像转换为RAW格式，并利用视差图、模糊程度参数及聚焦视差参数，得到带符号的散焦图；物理渲染器根据光圈形状参数，对图像中的深度平滑区域进行多风格渲染；神经网络渲染器渲染图像中的深度不连续区域，并预测该区域的概率图；融合物理渲染器和神经网络渲染器的结果；将融合后的散景图像从RAW格式还原为初始格式。本发明专利技术不仅能够渲染接近单反相机的散景效果，同时能够自由调整聚焦平面、模糊程度及渲染风格，真实性高、可定制性强。可定制性强。可定制性强。

【技术实现步骤摘要】
基于物理光学模型和神经网络的双流散景渲染方法及系统


[0001]本专利技术属于计算机视觉
，更具体地，涉及一种基于物理光学模型和神经网络的双流散景渲染方法及系统。

技术介绍

[0002]在摄影学中，散景表示在场景的失焦处产生的松散、柔美的模糊效果。根据不同的镜头设计、光圈形状，散景效果也会发生变化。为了满足不同用户的使用需求，通常摄影厂家会提供多种不同样式的镜头。尽管使用单反相机搭配不同大光圈镜头能够创造真实自然且风格多变的散景效果，但其购买成本以及对于摄影技巧的需求过高，并不适用于仅使用手机拍照的普通用户，因此当前大多数手机厂家尝试采用后处理的方式，结合传感器获得的场景深度信息，将小景深的全聚焦图像转换为大景深的散景图像。
[0003]目前，在给定深度信息情况下的散景渲染方法主要分为两种：基于物理光学模型的渲染方法和基于神经网络结构的渲染方法。基于物理光学模型的渲染方法灵活性好，可定制性强，可以根据用户喜好来自由调节不同的散焦风格，但在深度不连续区域往往效果不好，存在颜色渗透的问题；基于神经网络结构的渲染方法虽然在深度不连续区域能够获得较好的效果，但受限于训练数据集，其模糊范围和散焦风格会收到限制，难以灵活调整。
[0004]由此可见，现有技术存在散景效果难以兼具真实性与可定制性的技术问题。

技术实现思路

[0005]针对现有技术的以上缺陷或改进需求，本专利技术提供了一种基于物理光学模型和神经网络的双流散景渲染方法及系统，旨在解决现有技术得到的散景效果难以兼具真实性与可定制性的技术问题。
[0006]为实现上述目的，本专利技术提供了一种基于物理光学模型和神经网络的双流散景渲染方法，包括以下步骤：
[0007]S1，将全聚焦图像I转换为RAW格式的图像I
′
；并利用所述图像I对应的视差图、模糊程度参数及聚焦视差参数，得到带符号的散焦图；
[0008]S2，遍历所述图像I
′
中所有像素点，对每个像素点，基于光圈形状参数计算渲染范围内所有像素点所分配到的权重值，以得到每个像素点的渲染结果B
′
p
；
[0009]S3，将所述图像I
′
和散焦图输入训练好的神经网络，以输出渲染结果B
′
d
及深度不连续区域的概率图P；
[0010]S4，根据所述概率图P、渲染结果B
′
p
和渲染结果B
′
d
，计算融合后的图像，并将融合后的图像还原为初始格式。
[0011]进一步地，所述S1包括：S11，使用Gamma变换函数，将全聚焦图像I转换为RAW格式的图像I
′
，其中，I
′
＝I
γ
；S12，利用所述图像I对应的视差图D、模糊程度参数K及聚焦视差参数d
f
，得到带符号的散焦图S，其中，S＝K(D
‑
d
f
)。
[0012]进一步地，所述S2包括：S21，遍历所述图像I
′
中所有像素点，计算每个像素点的渲
染范围；S22，对每个像素点，计算所述渲染范围内所有像素点所分配到的权重值；S23，将每个像素点的累加颜色值除以累加权重值，得到每个像素点的渲染结果；其中，所述累加权重值由每个像素点所分配到的权重值累加得到，所述累加颜色值由每个像素点所分配到的权重值与对应分配权重的像素点的颜色强度相乘后累加得到。
[0013]进一步地，所述光圈为多边形；所述S22中，对于像素点i渲染范围内的任意像素点j所分配到的权重值w
ij
为：
[0014][0015]其中，l
ij
表示像素点i到像素点j的距离，α和∈为两个超参数，r
i
为渲染半径，mod表示求余函数，dx
ij
和dy
ij
分别表示像素点i到像素点j在水平方向和竖直方向的距离，n表示多边形的边数。
[0016]进一步地，所述光圈为圆形；所述S22中，对于像素点i渲染范围内的任意像素点j所分配到的权重值w
ij
为：
[0017][0018]其中，l
ij
表示像素点i到像素点j的距离，α和∈为两个超参数，r
i
为渲染半径。
[0019]进一步地，所述S3包括：S31，将所述图像I
′
和散焦图输入自适应渲染网络，得到初始渲染图像B
′
dc
以及深度不连续区域的概率图P，所述自适应渲染网络包括依次连接的第一自适应尺度调节层、下采样模块、若干卷积层、残差块、上采样模块和第二自适应尺度调节层，两个自适应尺度调节层的缩放尺度值根据网络最大的模糊程度和用户所需的模糊程度计算得到。
[0020]进一步地，所述S3还包括：S32，将所述图像I
′
、经过tanh函数处理后的散焦图、所述初始渲染图像B
′
dc
以及缩放尺度值输入细节修复网络，得到残差，所述细节修复网络包括依次连接的下采样模块、若干卷积层、上采样模块；S33，将所述残差与初始渲染图像B
′
dc
叠加，得到所述渲染结果B
′
d
。
[0021]进一步地，所述S4中，融合后的图像B
′
f
＝(1
‑
P)
·
B
′
p
+P
·
B
′
d
；所述将融合后的图像还原为初始格式，包括：使用Gamma反变换函数，将融合后的图像还原为初始格式的图像B
f
，其中，
[0022]为实现上述目的，本专利技术还提供了一种基于物理光学模型和神经网络的双流散景渲染系统，包括：
[0023]预处理模块，用于将全聚焦图像I转换为RAW格式的图像I
′
；并利用所述图像I对应的视差图、模糊程度参数及聚焦视差参数，得到带符号的散焦图；
[0024]物理渲染模块，用于遍历所述图像I
′
中所有像素点，对每个像素点，基于光圈形状
参数计算渲染范围内所有像素点所分配到的权重值，以得到每个像素点的渲染结果B
′
p
；
[0025]神经网络渲染模块，用于将所述图像I
′
和散焦图输入训练好的神经网络，以输出渲染结果B
′
d
及深度不连续区域的概率图P；
[0026]后处理模块，用于根据所述概率图P、渲染结果B
′
p
和渲染结果B
′
d
，计算融合后的图像，并将融合后的图像还原为初始格式。
[0027]总体而言，通过本专利技术所构思的以上技术方案，能够取得以下有益效果：
[0028]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于物理光学模型和神经网络的双流散景渲染方法，其特征在于，包括以下步骤：S1，将全聚焦图像I转换为RAW格式的图像I
′
；并利用所述图像I对应的视差图、模糊程度参数及聚焦视差参数，得到带符号的散焦图；S2，遍历所述图像I
′
中所有像素点，对每个像素点，基于光圈形状参数计算渲染范围内所有像素点所分配到的权重值，以得到每个像素点的渲染结果B
′
p
；S3，将所述图像I
′
和散焦图输入训练好的神经网络，以输出渲染结果B
′
d
及深度不连续区域的概率图P；S4，根据所述概率图P、渲染结果B
′
p
和渲染结果B
′
d
，计算融合后的图像，并将融合后的图像还原为初始格式。2.根据权利要求1所述的基于物理光学模型和神经网络的双流散景渲染方法，其特征在于，所述S1包括：S11，使用Gamma变换函数，将全聚焦图像I转换为RAW格式的图像I
′
，其中，I
′
＝I
γ
；S12，利用所述图像I对应的视差图D、模糊程度参数K及聚焦视差参数d
f
，得到带符号的散焦图S，其中，S＝K(D
‑
d
f
)。3.根据权利要求1所述的基于物理光学模型和神经网络的双流散景渲染方法，其特征在于，所述S2包括：S21，遍历所述图像I
′
中所有像素点，计算每个像素点的渲染范围；S22，对每个像素点，计算所述渲染范围内所有像素点所分配到的权重值；S23，将每个像素点的累加颜色值除以累加权重值，得到每个像素点的渲染结果；其中，所述累加权重值由每个像素点所分配到的权重值累加得到，所述累加颜色值由每个像素点所分配到的权重值与对应分配权重的像素点的颜色强度相乘后累加得到。4.根据权利要求3所述的基于物理光学模型和神经网络的双流散景渲染方法，其特征在于，所述光圈为多边形；所述S22中，对于像素点i渲染范围内的任意像素点j所分配到的权重值w
ij
为：其中，l
ij
表示像素点i到像素点j的距离，α和∈为两个超参数，r
i
为渲染半径，mod表示求余函数，dx
ij
和dy
ij
分别表示像素点i到像素点j在水平方向和竖直方向的距离，n表示多边形的边数。5.根据权利要求3所述的基于物理光学模型和神经网络的双流散景渲染方法，其特征在于，所述光圈为圆形；所述S22中，对于像素点i渲染范围内的任意像素点j所分配到的权重值w
ij
为：
其...

【专利技术属性】
技术研发人员：彭珏文，曹治国，骆贤瑞，鲜可，陆昊，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：