【技术实现步骤摘要】
图像渲染方法和装置
[0001]本申请涉及图像处理
，尤其涉及一种图像渲染方法和装置。
技术介绍
[0002]随着图像处理技术的不断发展，具备虚拟背景替换功能的产品也越来越多。例如，畅连通话、zoom视频会议以及可立拍等。
[0003]虚拟背景替换是指将原图像的背景替换成另一个不同的背景。在虚拟背景替换时，一般先对原图像进行前后景分割，得到前景和原始背景；再将前景和虚拟背景进行图像渲染和图像融合，得到背景替换后的图像。
[0004]现有技术中，背景替换后的图像的合理性和真实性等欠佳，导致背景替换效果较差。
技术实现思路
[0005]本申请实施例提供一种图像渲染方法和装置，可以提高虚拟背景替换效果。
[0006]第一方面，本申请实施例提供一种图像渲染方法，该方法包括：终端设备首先获取待处理图像，该待处理图像可以是指视频流中的原始视频图像；再检测待处理图像中的目标对象是否执行预设动作和/或目标对象是否被第一物体遮挡；如果检测出待处理图像中的目标对象执行预设动作和/或目标对象被第一物体...
【技术保护点】
【技术特征摘要】
1.一种图像渲染方法，其特征在于，应用于终端设备，所述方法包括：获取待处理图像；检测出所述待处理图像中的目标对象执行预设动作和/或所述目标对象被第一物体遮挡；确定所述预设动作对应的第二待渲染虚拟物体和/或与所述第一物体对应的第一待渲染虚拟物体；将所述第一待渲染虚拟物体和/或所述第二待渲染虚拟物体渲染在目标虚拟背景图像中，得到待渲染虚拟背景图像，其中，所述第二待渲染虚拟物体对应的交互物体的深度值大于所述目标对象的深度值；根据所述待渲染虚拟背景图像和主体图像进行图像渲染，得到渲染后的图像，所述主体图像为从所述待处理图像中提取的，且包括所述目标对象的图像。2.根据权利要求1所述的方法，其特征在于，根据所述待渲染虚拟背景图像和主体图像进行图像渲染，得到渲染后的图像，包括：基于所述待渲染虚拟背景图像进行底层一致性渲染，得到底层一致性渲染后的主体图像；根据所述底层一致性渲染后的主体图像和所述待渲染虚拟背景图像进行图像渲染，得到所述渲染后的图像。3.根据权利要求2所述的方法，其特征在于，基于所述待渲染虚拟背景图像进行底层一致性渲染，得到底层一致性渲染后的主体图像，包括：将所述待渲染虚拟背景图像的低频图像以及所述待处理图像输入至预先训练完成的第一风格迁移模型，获得所述第一风格迁移模型输出的底层一致性渲染后的待处理图像；从所述底层一致性渲染后的待处理图像进行主体图像提取，得到所述底层一致性渲染后的主体图像。4.根据权利要求3所述的方法，其特征在于，风格迁移模型的训练过程包括：获得训练数据集，所述训练数据集包括第一虚拟背景图像和原始视频图像；将所述第一虚拟背景图像的低频图像和所述原始视频图像输入至预先构建的第二风格迁移模型，获得所述第二风格迁移模型输出的正向训练结果；计算所述正向训练结果和所述第一虚拟背景图像的低频图像之间的第一损失值；将所述正向训练结果和所述原始视频图像的低频图像输入至正向训练后的第二风格迁移模型，获得所述正向训练后的第二风格迁移模型输出的反向训练结果；计算所述反向训练结果和所述原始视频图像之间的第二损失值；计算所述反向训练结果和所述原始视频图像的低频图像之间的第三损失值；根据所述第一损失值调整所述第二风格迁移模型的网络参数，并根据所述第二损失值和所述第三损失值，调整所述正向训练后的第二风格迁移模型的网络参数；重复进行所述训练过程，当符合预定条件时，得到训练完成的所述第一风格迁移模型。5.根据权利要求2所述的方法，其特征在于，基于所述待渲染虚拟背景图像进行底层一致性渲染，得到底层一致性渲染后的主体图像，包括：将所述待渲染虚拟背景图像转到LAB色彩空间，得到第一图像；分别计算所述第一图像的L通道、A通道、B通道的第一标准差和第一均值；
将所述主体图像转到LAB色彩空间，得到第二图像；根据所述第一标准差和所述第一均值修正所述第二图像，得到第三图像，所述第三图像的L通道、A通道、B通道的第二标准差与所述第一标准的差值在第一预设阈值区间内，第二均值与所述第一均值的差值在第二预设阈值区间内；将所述第三图像从LAB色彩空间转到RGB色彩空间，得到第四图像，所述第四图像为所述底层一致性渲染后的主体图像。6.根据权利要求2至5任一项所述的方法，其特征在于，根据所述底层一致性渲染后的主体图像和所述待渲染虚拟背景，得到所述渲染后的图像，包括：将所述底层一致性渲染后的主体图像输入至预先训练完成的第一STN网络，得到所述第一STN网络输出的第一变化矩阵；将所述待渲染虚...
【专利技术属性】
技术研发人员：裴仁静，陈艳花，许松岑，刘宏马，梅意城，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。