基于实例分割的语义合成方法技术

本申请公开了一种基于实例分割的语义合成方法，用于对图像进行合成，通过MaskR‑CNN网络对所述图像进行分割，针对每个对象实例生成一个较大不确定区域的粗三元图，然后将所得到的粗三元图与所述图像一起输入到深度抠图网络中以获得最终前景蒙版，通过所述最终前景蒙版对图像进行合成。本申请能够实现自动前景对象提取方法，即使在复杂背景下也可以工作，对于复杂背景下的图像可对各个对象实例进行分割和图像抠图过程，允许对多个对象实例进行分类，并从背景中分割和提取，便于后续有选择地进行图像合成，有效提高处理效率，同时降低人力投入。

【技术实现步骤摘要】
基于实例分割的语义合成方法
本申请涉及图像处理
，特别是涉及一种基于实例分割的语义合成方法。
技术介绍
图像合成是电影制作和图像编辑中的关键步骤，它将来自不同来源的视觉元素组合成一个图像。当背景为纯蓝色或绿色时，使用色度键控可以在工作室中轻松完成自动图像合成。然而，在具有复杂背景的自然场景中进行图像合成仍然是一项繁琐的工作，需要有经验的人员进行手工分割。从图像源中提取视觉元素的过程通常需要专业人员手工从确定的背景中精确提取要观察的前景对象，或者通过自动色度键控从彩色背景(例如绿屏)中识别前景对象，这无疑会给图像自动处理带来了困难，不但增加了人工成本，还影响了生产效率。
技术实现思路
本申请的目的在于克服上述问题或者至少部分地解决或缓减解决上述问题。根据本申请的一个方面，提供了一种基于实例分割的语义合成方法，用于对图像进行合成，通过MaskR-CNN网络对所述图像进行分割，针对每个对象实例生成一个较大不确定区域的粗三元图，然后将所得到的粗三元图与所述图像一起输入到深度抠图网络中以获得最终前景蒙版，通过所述最终前景本文档来自技高网...

【技术保护点】
1.一种基于实例分割的语义合成方法，用于对图像进行合成，其特征在于，通过MaskR-CNN网络对所述图像进行分割，针对每个对象实例生成一个较大不确定区域的粗三元图，然后将所得到的粗三元图与所述图像一起输入到深度抠图网络中以获得最终前景蒙版，通过所述最终前景蒙版对图像进行合成。/n

【技术特征摘要】
1.一种基于实例分割的语义合成方法，用于对图像进行合成，其特征在于，通过MaskR-CNN网络对所述图像进行分割，针对每个对象实例生成一个较大不确定区域的粗三元图，然后将所得到的粗三元图与所述图像一起输入到深度抠图网络中以获得最终前景蒙版，通过所述最终前景蒙版对图像进行合成。


2.根据权利要求1所述的基于实例分割的语义合成方法，其特征在于，通过MaskR-CNN网络对所述图像进行分割时，利用MASKR-CNN的中间输出为每个检测到的对象实例生成对象边界框和实例掩码，利用所得到的对象边界框和实例掩码对每个实例估计出一个较大不确定区域的粗三元图。


3.根据权利要求1或2所述的基于实例分割的语义合成方法，其特征在于，将所得到的粗三元图与所述图像一起输入到深度抠图网络中以获得最终前景蒙版的过程，是在前次的蒙版输出和深度抠图网络输入之间插入了反馈连接，从而得到逐次质量提升的蒙版输出，并在多次反馈循环后得到所述最终前景蒙版。


4.根据权利要求3所述的基于实例分割的语义合成方法，其特征在于，所述反馈循环的次数至少为3次。


5.根据权利要求3所述的基于实例分割的语义合成方法，其特征在于，将所得到的粗三元图与所述图像一起输入到深度抠图网络中以获得最终前景蒙版的过程包括如下步骤：
步骤S1：
将粗三元图与原始的所述图像一起输入到深度抠图网络中，得到蒙版...

【专利技术属性】
技术研发人员：孙腾，
申请(专利权)人：北京影谱科技股份有限公司，
类型：发明
国别省市：北京;11