结合实例分割和循环生成对抗网络的场景转换方法及系统技术方案

本公开提出了结合实例分割和循环生成对抗网络的场景转换方法及系统，包括：对目标场景的视频进行处理后输入至实例分割网络中，得到分割后的各场景组成部分即得到目标场景的掩膜剪裁图；针对目标场景的掩膜剪裁图中的目标分别利用循环生成对抗网络按照时间属性要求进行处理，生成的数据为风格迁移后的状态，将风格迁移后的空间属性不固定的目标按特定的空间轨迹生成至风格迁移后的静态场景中，实现场景转换效果。

【技术实现步骤摘要】
结合实例分割和循环生成对抗网络的场景转换方法及系统
本公开属于图像识别
，尤其涉及结合实例分割和循环生成对抗网络的场景转换方法及系统。
技术介绍
本部分的陈述仅仅是提供了与本公开相关的
技术介绍
信息，不必然构成在先技术。深度学习是大数据时代的算法利器，也是本轮人工智能爆发的关键技术。与传统的机器学习算法相比，深度学习技术可随着数据规模的增加不断提升其性能，而传统机器学算法难以利用海量数据持续提升其性能。卷积神经网络是一种在学术界和产业界都获得广泛应用的深度神经网络模型，它广泛应用于计算机视觉领域，在图像分类、目标检测、语义分割等任务上的表现大大超越传统方法。然而，深度学习技术仍然存在限制条件。一是深度学习的成功依赖于大量的人工标定的训练数据，如果训练数据数量不够大或者数据质量不高会影响深度学习网络的效果，这在一定程度上限制了深度学习的发展；二是深度学习的训练数据和测试数据需要存在结构和内容的相似性，训练环境和测试环境的一致性越强，那么应用时的效果越好。因此，在深度学习的实际应用中，如视频监控、目标检测等领域中，受人力物力的限制，这些场景中获得大量的高质量数据并不容易，同时难以在训练过程中提供与测试过程一致的环境，很有可能存在场景数据缺失或者不一致的情况，如训练场景和测试场景不一致、同一场景缺少某季节的数据，或者同一场景只有昼或夜的数据。训练和测试场景的不完整性将会导致数据库中特定状态的场景数据缺失，将会影响后续的数据处理及分析工作。
技术实现思路
为克服上述现有技术的不足，本公开提供了结合实例分割和循环生成对抗网络的场景转换方法，在同一场景的数据缺少时，可以按照分割后的内容的时间属性与空间属性分目标完成场景的转换，进而整合为新的场景的内容，从而丰富数据集。为实现上述目的，本公开的一个或多个实施例提供了如下技术方案：一方面，公开了结合实例分割和循环生成对抗网络的场景转换方法，包括：对目标场景的视频进行处理后输入至实例分割网络中，得到分割后的各场景组成部分即得到目标场景的掩膜剪裁图；针对目标场景的掩膜剪裁图的目标分别按照起时间属性要求利用循环生成对抗网络进行处理，生成的数据为风格迁移后的状态，然后将目标按照空间属性要求进行分类，若目标空间属性为空间不固定，则将该目标按照特定的空间轨迹进行生成，实现场景转换效果。另一方面，公开了结合实例分割和循环生成对抗网络的场景迁移系统，包括：实例分割模块，被配置为：对目标场景的视频进行处理后输入至实例分割网络中，得到分割后的各场景组成部分即得到目标场景的掩膜剪裁图；场景转换模块，被配置为：针对目标场景的掩膜剪裁图中的目标分别按照其时间属性要求和空间属性要求利用循环生成对抗网络进行处理，生成的数据为风格迁移后的状态，将风格迁移后的空间不固定属性的目标按照特定的空间轨迹进行生成，实现场景转换效果。以上一个或多个技术方案存在以下有益效果：本公开技术方案结合实例分割方法和生成对抗网络模型用于特定场景的季节或时段迁移的方法，使得迁移后的图像可以填补数据库中特定状态的场景数据缺失。对于原始数据数量没有过高要求，且允许原始数据集缺少某季节或某时段的数据，通过场景转换技术填补原有场景数据集的缺失，进一步丰富数据集，可为深度学习的效果提供有力的数据支撑。与现有的场景转换相比，通过实例分割技术对目标场景中的各个目标进行分割，单独用其数据按照时间属性要求和空间属性要求进行训练，对于空间固定属性的目标，保证了场景转换中效果不理想的空间固定目标的转换效果，可以做专门的针对处理，从而可以稳定整体效果。与现有场景转换相比，通过实例分割技术对目标场景中的各个目标分类并分割，单独用其数据按照时间属性要求和空间属性要求进行训练，保证了场景转换中效果不理想的空间不固定属性目标的转换效果，从而可以提升整体效果。根据实际的生产情况，提出了一种可针对场景中区域或目标进行场景转换的方法，使用多种模型合作完成，其效果优于仅用一种网络的方法。附图说明构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。图1为本公开实施例子的方法流程图；图2为本公开实施例子循环生成对抗网络算法流程图；图3为本公开实施例子ResNet101结构示意图；图4为本公开实施例子MaskR-CNN算法流程图。具体实施方式应该指出，以下详细说明都是示例性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属
的普通技术人员通常理解的相同含义。需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。术语解释实例分割(InstanceSegmentation)：机器自动从图像中用目标检测方法框出不同实例，再用语义分割方法在不同实例区域内进行逐像素标记，最终可得到检测目标的掩膜。循环生成对抗网络(CycleGAN)：CycleGAN是在2017年发表的一篇文章《UnpairedImage-to-ImageTranslationusingCycle-ConsistentAdversarialNetworks》，同一时期还有两篇非常类似的DualGAN和DiscoGAN，简单来说，它们的功能就是：自动将某一类图片转换成另外一类图片。传统的GAN是单向生成，而CycleGAN是互相生成，网络是个环形，所以命名为Cycle。并且CycleGAN一个非常实用的地方就是输入的两张图片可以是任意的两张图片，也就是unpaired。MaskR-CNN：MaskR-CNN是一个实例分割模型，它能确定图片中各个目标的位置和类别，给出像素级的预测。实施例一本实施例公开了结合实例分割和循环生成对抗网络的场景转换方法，基于MaskR-CNN的自动的图像实例分割方法，以及基于时间、空间属性要求的按区域的循环生成对抗网络的场景转换方法。MaskR-CNN可以看作是一个通用的实例分割框架，它以FasterR-CNN为原型进行了扩展，对于FasterR-CNN的每个ProposalBox都使用全卷积网络进行语义分割；并且引入了RoIAlign代替FasterRCNN中的RoIPooling，因为RoIPooling并不是按照像素一一对齐的，这对分割掩膜的精度有很大影响。参见附图1所示，具体实施例子中，结合实例分割和循环生成对抗网络的场景转换方法，包括：基于可用于实例分割的MaskR-CNN模型，实现自动本文档来自技高网...

【技术保护点】
1.结合实例分割和循环生成对抗网络的场景转换方法，其特征是，包括：/n对目标场景的视频进行处理后输入至实例分割网络中，得到分割后的各场景组成部分即得到目标场景的掩膜剪裁图；/n针对目标场景的掩膜剪裁图的目标分别按照起时间属性要求利用循环生成对抗网络进行处理，生成的数据为风格迁移后的状态，然后将目标按照空间属性要求进行分类，若目标空间属性为空间不固定，则将该目标按照特定的空间轨迹进行生成，实现场景转换效果。/n

【技术特征摘要】
1.结合实例分割和循环生成对抗网络的场景转换方法，其特征是，包括：
对目标场景的视频进行处理后输入至实例分割网络中，得到分割后的各场景组成部分即得到目标场景的掩膜剪裁图；
针对目标场景的掩膜剪裁图的目标分别按照起时间属性要求利用循环生成对抗网络进行处理，生成的数据为风格迁移后的状态，然后将目标按照空间属性要求进行分类，若目标空间属性为空间不固定，则将该目标按照特定的空间轨迹进行生成，实现场景转换效果。


2.如权利要求1所述的结合实例分割和循环生成对抗网络的场景转换方法，其特征是，所述实例分割网络在训练时，按内容对公共数据集或自有数据集进行标注，将公共数据集输入实例分割网络进行训练，使得该网络具有按照内容的区域分割能力。


3.如权利要求1所述的结合实例分割和循环生成对抗网络的场景转换方法，其特征是，将目标场景的视频进行处理，包括提取其帧图像并整合作为数据集，将数据集输入至训练后的实例分割网络中。


4.如权利要求3所述的结合实例分割和循环生成对抗网络的场景转换方法，其特征是，实例分割网络对数据集数据进行处理，得到目标场景各目标的掩膜，保存其坐标，读取该坐标，将得到的掩膜坐标可视化，然后将其裁剪，得到目标场景动态部分图像。


5.如权利要求1所述的结合实例分割和循环生成对抗网络的场景转换方法，其特征是，循环生成对抗网络在训练时，利用公开数据集或自有数据集，按照掩膜坐标剪裁目标场景为各个部分，同时获取各个部分各自符合时间属性要求的图片，将其整合为目标训练集。

...

【专利技术属性】
技术研发人员：杨阳，李宸冠，徐鹏，刘云霞，郭曼，李玉军，
申请(专利权)人：山东大学，
类型：发明
国别省市：山东;37