【技术实现步骤摘要】
本申请实施例涉及图像处理领域，并且更具体地，涉及图像渲染方法、模型训练方法以及装置。
技术介绍
1、近年来，由于手机以其轻薄便携的特点日益成为人们拍摄照片和视频、记录生活的主要工具。受到手机摄像头和传感器物理规格所限，当前应用的各款图像传感器(例如索尼的imx766、imx800等)直接输出的图像，即使分辨率达到乃至超过了4k超高清水准，但画面效果上均较为平淡，缺乏与被拍摄场景中实际物理景深对应的光学虚化效果，不能满足偏好单反相机等专业设备、对画面艺术效果有较高追求的用户。因此，作为拍摄方面的核心功能卖点，多款主流手机机型在不同程度上使用基于软件和/或硬件的方案，尝试在手机图像传感器输出的基础上，模拟背景虚化这一用户在单反相机上感知度最强的图像效果，这类方案在不同品牌和机型上可能被称为“人像模式”、“电影模式”、“单反模式”等，但本质基本一致只是聚焦的目标可能不同。
2、在进行背景虚化时，可以考虑通过机器学习的方式构建用于背景预测任务的模型，进而利用模型来识别和分割图像中的背景区域，然后对识别到的背景区域按照相同的渲染参数对识别的背景区域进行渲染，从而起到凸显图像中的主体(例如人像或物像)的效果。但是，按照相同的渲染参数对识别的背景区域进行渲染时，其渲染效果过差而降低了用户体验。
技术实现思路
1、本申请提供了一种图像渲染方法、模型训练方法以及装置，不仅能够提升图像的渲染效果以及用户体验，还有助于解放硬件配置中的摄像头，使得解放的各个摄像头可以各司其职，进而能够保证各个
2、第一方面，本申请实施例提供了一种图像渲染方法，包括：
3、获取待处理图像；
4、以该待处理图像为输入，利用第一预测模型输出背景预测结果并利用第二预测模型输出深度参数预测结果，该背景预测结果用于确定该待处理图像中的背景区域，该深度参数预测结果用于确定该待处理图像中各个像素点的深度参数；
5、基于该待处理图像、该背景区域以及该待处理图像中各个像素点的深度参数，对该待处理图像进行渲染并得到渲染后的目标图像。
6、第二方面，本申请实施例提供了一种模型训练方法，包括：
7、获取样本图像；
8、以该样本图像为输入，对第一预测模型进行训练；该第一预测模型用于输出背景预测结果；该背景预测结果确定该样本图像中的背景区域；
9、将该第一预测模型经过训练后的参数迁移至第二预测模型；
10、以该样本图像为输入，利用第二预测模型输出深度参数预测结果；该深度参数预测结果用于确定该样本图像中各个像素点的深度参数；
11、基于该深度参数预测结果以及该样本图像的标注数据之间的差异，确定第一损失值；
12、基于该第一损失值，训练该第二预测模型。
13、第三方面，本申请实施例提供了一种图像渲染装置，包括：
14、获取单元，用于获取待处理图像；
15、预测单元，用于以该待处理图像为输入，利用第一预测模型输出背景预测结果并利用第二预测模型输出深度参数预测结果，该背景预测结果用于确定该待处理图像中的背景区域，该深度参数预测结果用于确定该待处理图像中各个像素点的深度参数；
16、渲染单元，用于基于该待处理图像、该背景区域以及该待处理图像中各个像素点的深度参数，对该待处理图像进行渲染并得到渲染后的目标图像。
17、第四方面，本申请实施例提供了一种模型训练装置，包括：
18、获取单元，用于获取样本图像；
19、第一预测单元，用于以该样本图像为输入，对第一预测模型进行训练；该第一预测模型用于输出背景预测结果；该背景预测结果确定该样本图像中的背景区域；
20、迁移单元，用于将该第一预测模型经过训练后的参数迁移至第二预测模型；
21、第二预测单元，用于以该样本图像为输入，利用第二预测模型输出深度参数预测结果；该深度参数预测结果用于确定该样本图像中各个像素点的深度参数；
22、确定单元，用于基于该深度参数预测结果以及该样本图像的标注数据之间的差异，确定第一损失值；
23、训练单元，用于基于该第一损失值，训练该第二预测模型。
24、第五方面，本申请实施例提供了一种电子设备，包括：
25、处理器，适于实现计算机指令；以及，
26、计算机可读存储介质，计算机可读存储介质存储有计算机指令，计算机指令适于由处理器加载并执行上文涉及的第一方面或第二方面提供的方法。
27、第六方面，本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机指令，该计算机指令被计算机设备的处理器读取并执行时，使得计算机设备执行上文涉及的第一方面或第二方面提供的方法。
28、第七方面，本申请实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上文涉及的第一方面或第二方面提供的方法。
29、针对第一方面提供的图像渲染方法的有益效果如下：
30、本申请实施例中，在第一预测模型的基础上引入了第二预测模型，进而可以根据第一预测模型输出的背景预测结果和第二预测模型输出的深度参数预测结果对待处理图像进行渲染处理，有助于针对不同深度的背景按照不同的渲染参数进行渲染，以使得该目标图像能够产生与光学原理相符的真实效果，进而提升了该目标图像的渲染效果。
31、此外，该图像渲染方法还有助于解放硬件配置中的摄像头，使得解放的各个摄像头可以各司其职，进而能够保证各个摄像头的性能。
32、简言之，本申请提供的图像渲染方法，不仅能够提升图像的渲染效果，还有助于解放硬件配置中其他摄像头，使得硬件配置中的各个摄像头可以各司其职，进而能够保证图像增强的性能以及提升用户体验。
33、针对第二方面提供的模型训练方法的有益效果如下：
34、本申请实施例中，将第一预测模型经过训练后的参数迁移至第二预测模型，进而实现对第二预测模型的训练，相当于，利用第一预测模型示教第二预测模型实现了对第二预测模型的训练，其技术效果可体现在以下方面：
35、1、能够缓解针对单任务模型中存在的对单项任务的过拟合问题，即能够将该第二预测模型拟合到适合背景预测任务和深度参数预测任务的状态，进而提升了该第二预测模型的可解释性、泛化能力以及鲁棒性。
36、2、即便在深度参数预测任务涉及样本图像较少的情况下，也能够保证针对深度参数预测任务的学习性能，即有助于解决用于训练的样本图像较少的新任务的“冷启动问题”。
37、3、与单独训练第一预测模型和第二预测模型的方案相比，不仅能够使得该第二预测模型更加专注于快速学到成熟的第一预测模型的知识，进而提升了第二预测模型的精度，本文档来自技高网...
【技术保护点】
1.一种图像渲染方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述基于所述待处理图像、所述背景区域以及所述待处理图像中各个像素点的深度参数，对所述待处理图像进行渲染并得到渲染后的目标图像，包括：
3.根据权利要求2所述的方法，其特征在于，所述背景区域中各个像素点的第一渲染参数和所述背景区域中各个像素点的深度参数正相关。
4.根据权利要求2所述的方法，其特征在于，所述第一渲染参数包括用于表征模糊强度的参数。
5.根据权利要求2所述的方法，其特征在于，所述基于所述背景区域中各个像素点的第一渲染参数，对所述背景区域中各个像素进行渲染，并得到所述目标图像之前，所述方法还包括：
6.根据权利要求5所述的方法，其特征在于，所述基于所述背景区域中各个像素点的第一渲染参数和所述各个像素点的第二渲染参数，对所述背景区域中各个像素进行渲染，并得到所述目标图像，包括：
7.根据权利要求5所述的方法，其特征在于，所述第二渲染参数包括以下中的至少一项：用于表征模糊强度的参数、用于表征模糊形态的参数以及用于表征亮度
8.一种模型训练方法，其特征在于，包括：
9.根据权利要求8所述的方法，其特征在于，所述第一预测模型中的第一编码器包括多个第一层，所述第二预测模型中的第二编码器均包括多个第二层；
10.根据权利要求9所述的方法，其特征在于，所述基于所述第一损失值、所述第二损失值以及所述第三损失值，确定所述第二预测模型的损失值，包括：
11.根据权利要求10所述的方法，其特征在于，若所述第二损失值大于第一阈值，则所述第二损失值的权重值为所述第二损失值的初始权重值；若所述第二损失值小于或等于所述第一阈值，则所述第二损失值的权重值为零。
12.根据权利要求10所述的方法，其特征在于，若所述第三损失值大于第二阈值，则所述第三损失值的权重值为所述第三损失值的初始权重值；若所述第三损失值小于或等于所述第二阈值，则所述第三损失值的权重值为零。
13.根据权利要求9所述的方法，其特征在于，所述基于所述多个第一层的参数和所述多个第二层的参数之间的差异，确定第二损失值，包括：
14.根据权利要求13所述的方法，其特征在于，所述各个参数差异值的权重随着层序号的增加而减小。
15.根据权利要求9所述的方法，其特征在于，所述基于所述多个第一层输出的特征图和所述多个第二层输出的特征图之间的差异，确定第三损失值，包括：
16.根据权利要求15所述的方法，其特征在于，所述各个输出差异值的权重随着层序号的增加而减小。
17.根据权利要求8至16中任一项所述的方法，其特征在于，所述基于所述第一损失值，训练所述第二预测模型之前，所述方法还包括：
18.根据权利要求8至16中任一项所述的方法，其特征在于，所述第一预测模型经过训练后的参数为所述第一预测模型训练完成后或训练过程中的参数。
19.一种图像渲染装置，其特征在于，包括：
20.一种模型训练装置，其特征在于，包括：
21.一种芯片，其特征在于，包括：
22.一种电子设备，其特征在于，包括：
23.一种计算机可读存储介质，其特征在于，用于存储计算机程序，所述计算机程序使得计算机执行权利要求1至8中任一项所述的方法、或权利要求9至18中任一项所述的方法。
...【技术特征摘要】
1.一种图像渲染方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述基于所述待处理图像、所述背景区域以及所述待处理图像中各个像素点的深度参数，对所述待处理图像进行渲染并得到渲染后的目标图像，包括：
3.根据权利要求2所述的方法，其特征在于，所述背景区域中各个像素点的第一渲染参数和所述背景区域中各个像素点的深度参数正相关。
4.根据权利要求2所述的方法，其特征在于，所述第一渲染参数包括用于表征模糊强度的参数。
5.根据权利要求2所述的方法，其特征在于，所述基于所述背景区域中各个像素点的第一渲染参数，对所述背景区域中各个像素进行渲染，并得到所述目标图像之前，所述方法还包括：
6.根据权利要求5所述的方法，其特征在于，所述基于所述背景区域中各个像素点的第一渲染参数和所述各个像素点的第二渲染参数，对所述背景区域中各个像素进行渲染，并得到所述目标图像，包括：
7.根据权利要求5所述的方法，其特征在于，所述第二渲染参数包括以下中的至少一项：用于表征模糊强度的参数、用于表征模糊形态的参数以及用于表征亮度衰减幅度的参数。
8.一种模型训练方法，其特征在于，包括：
9.根据权利要求8所述的方法，其特征在于，所述第一预测模型中的第一编码器包括多个第一层，所述第二预测模型中的第二编码器均包括多个第二层；
10.根据权利要求9所述的方法，其特征在于，所述基于所述第一损失值、所述第二损失值以及所述第三损失值，确定所述第二预测模型的损失值，包括：
11.根据权利要求10所述的方法，其特征在于，若所述第二损失值大于第一阈值，则所述第二损失值的权重值为所述第二损...
【专利技术属性】
技术研发人员：李文进，
申请(专利权)人：哲库科技上海有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。