本发明专利技术涉及从单个图像生成似真延时图像的领域。技术效果在于当在生成似真延时序列的一个或更多个图像期间将来自风格图像的风格交换到内容图像时的改进的保留细节。针对该效果提出了一种使用经训练的生成神经网络和经训练的合并神经网络基于内容图像生成似真日尺度延时序列的一个或更多个图像的方法，所述方法包括：接收所述内容图像，和(a)将被应用于所述内容图像的与一天中的一个或更多个时间分别相应的一个或更多个预定义风格或(b)具有将被应用于所述内容图像的一个或更多个风格的一个或更多个风格图像；将所述内容图像切割成n个图像裁剪；将具有一个或更多个风格中的每一个的经训练的生成神经网络应用于n个图像裁剪，以获得根据一个或更多个风格中的每一个重新风格化的n个图像裁剪；以及利用经训练的合并神经网络将针对一个或更多个风格中的每一个风格的重新风格化的n个图像裁剪合并，以获得针对所述内容图像的似真日尺度延时序列的一个或更多个图像。的一个或更多个图像。的一个或更多个图像。
【技术实现步骤摘要】
【国外来华专利技术】似真日尺度延时生成方法和计算装置
[0001]本专利技术涉及从单个图像生成似真延时视频的领域，并且具体地涉及用于生成似真日尺度延时的方法、计算机实现的系统、计算装置和计算机可读介质。
技术介绍
[0002]在过去几年中，基于深度神经网络的图像到图像转换的问题已经从两个预定义的配对域之间的转换发展到用于多个域之间的转换的统一模型的开发。图像到图像转换的大多数经典方法需要域标签。最近的FUNIT模型放松了该约束：为了在推理时间提取风格，利用来自目标域的多个图像作为转换的引导(这被称为小样本设置)，但是在训练期间仍然需要域标签。现有技术解决方案总是使用成对或标记了域的训练图像来解决图像到图像转换的问题。
技术实现思路
[0003]技术问题
[0004]本文公开的专利技术解决图像到图像转换问题以用于从可以由用户在用户计算装置处捕获的单个图像生成日间延时视频的实际任务。由于获得高分辨率多样日尺度延时图像或视频的数据集比获得高分辨率多样图像的数据集困难得多，因此本文公开的专利技术基于图像到图像转换方法。提出了一种在没有显式域监督的情况下发现数据的隐式域结构的方法，而不是收集难以定义和难以向用户请求的域注释。
[0005]技术方案
[0006]在本文公开的专利技术中使用的AI(人工智能)
‑
系统在没有域标签的未对齐的图像的大数据集上训练。在所提出的专利技术的实施例中使用的唯一外部(弱)监督是可以使用现成的语义分割网络估计的粗略分割图。
[0007]根据本公开的第一方面，提供了一种使用经训练的生成神经网络和经训练的合并神经网络基于内容图像生成似真日尺度延时序列的一个或更多个图像的方法，所述方法包括：接收所述内容图像，和(a)将被应用于所述内容图像的与一天中的一个或更多个时间分别相应的一个或更多个预定义风格或者(b)具有将被应用于所述内容图像的一个或更多个风格的一个或更多个风格图像；将所述内容图像切割成n个图像裁剪；将具有一个或更多个风格中的每一个风格的所述经训练的生成神经网络应用于n个图像裁剪，以根据一个或更多个风格中的每一个风格获得重新风格化的n个图像裁剪；以及利用所述经训练的合并神经网络将针对一个或更多个风格中的每一个风格的重新风格化的n个图像裁剪合并，以获得针对所述内容图像的似真日尺度延时序列的一个或更多个图像。在根据本公开的第一方面的方法中使用的生成神经网络在以下模式中的一种模式相或以下模式的组合下被训练：交换模式、随机模式和自动编码器模式。所述生成神经网络至少包括内容编码器、风格编码器和解码器。
[0008]根据本公开的第二方面，提供了一种计算装置，包括：处理器；和存储器，存储在由
所述处理器执行时使所述处理器实现根据第一方面的方法的计算机可执行指令。
[0009]根据本公开的第三方面，提供了一种使用经训练的生成神经网络基于内容图像生成似真日尺度延时序列的一个或更多个图像的方法，所述方法包括：接收所述内容图像，和(a)将被应用于所述内容图像的预定义的一个或更多个风格或者(b)具有将被应用于内容图像的一个或更多个风格的一个或更多个风格图像；在保持所述内容图像的宽高比的同时，将所述内容图像的分辨率降低到内容图像的较小边上的较低分辨率；将具有一个或更多个风格中的每一个风格的经训练的生成神经网络应用于降低了分辨率的内容图像，以获得根据一个或更多个风格中的每一个风格重新风格化的一个或更多个降低了分辨率的内容图像；以及在保持所述宽高比的同时，将具有所述较小边上的较低分辨率的所述重新风格化的内容图像中的每一个分解成高频分量和低频分量；通过考虑相应的重新风格化的内容图像的内容来对低频分量进行滤波；以及基于相应的重新风格化的内容图像中的每一个的经滤波的低频分量和所述高频分量来生成真日尺度延时序列的一个或更多个图像。
[0010]根据本公开的第四方面，提供了一种计算装置，包括：处理器；和存储器，存储在由所述处理器执行时使所述处理器实现根据第三方面的方法的计算机可执行指令。
[0011]有益效果
[0012]首先，所提出的方法使得可以在不知道数据集中表示的域的情况下执行图像到图像语义保留风格迁移。甚至在这种设置下，所收集的数据集的内部偏置、架构偏置和专门开发的训练程序也使得可以学习风格变换。
[0013]其次，为了确保精细细节保留，所公开的用于图像到图像转换的架构组合了两种技术：跳过连接和自适应实例归一化(AdaIN)。这样的组合是可行的，并且引领比没有跳过连接的当前主导的AdaIN架构更好地保留细节的架构。除了本申请的主要目的之外，所提出的专利技术可以用于学习多域图像风格化/重新着色，从而实现与现有技术水平相当的质量。
[0014]最后，由于直接以高分辨率训练高容量图像到图像转换网络在计算上是不可行的，因此新的增强方案(使用合并网络)使得可以应用以较低分辨率训练的图像到图像转换网络来产生高分辨率似真图像。
附图说明
[0015]通过以下结合附图的详细描述，本专利技术的以上和其它方面、特征和优点将更加清楚，其中：
[0016]图1示出了根据本文公开的本专利技术的实施例的使用经训练的生成神经网络和经训练的合并神经网络从图像生成似真日尺度延时的方法的流程图。
[0017]图2示出了根据本文公开的本专利技术的实施例的在交换模式下训练生成神经网络的流程图。
[0018]图3示出了根据本文公开的本专利技术的实施例的在随机模式下训练生成神经网络的流程图。
[0019]图4示出了根据本文公开的本专利技术的实施例的在自动编码器模式下训练生成神经网络的流程图。
[0020]图5示出了根据本文公开的本专利技术的实施例的训练合并神经网络的流程图。
[0021]图6示出了能够执行根据本文公开的本专利技术的实施例的方法的计算装置的框图。
[0022]图7示出了根据本文公开的本专利技术的实施例的生成神经网络的可能实施方式中的数据流。
[0023]图8示出了根据本文公开的本专利技术的实施例的自适应U
‑
Net架构的示图。
[0024]图9示出了根据本文公开的本专利技术的实施例的增强方案的示图。
[0025]图10示出了来自通过根据本文公开的本专利技术的实施例的方法生成的似真日尺度延时的示例性图像。
[0026]在下面的描述中，除非另有描述，否则当在不同的附图中描绘相同的元件时，相同的附图标记用于相同的元件，并且将省略其重叠的描述。
具体实施方式
[0027]最优模式
[0028]‑
[0029]专利技术模式
[0030]现有技术方法依赖于某种形式的域/属性注释来应对将图像分解成可以在图像之间独立交换的“内容”和“风格”。使用适当选择的架构和训练过程，以完全无监督的方式使下面描述的本专利技术中的这种分解便利。
[0031]图1示出了根据本文公开的本专利技术的第一方面的使用经训练的生成神经网络和经训练的合并神经网络从图像生成似真日尺度延时的方法的流程图。所述方法包括步骤S105：接收图像和风格本文档来自技高网...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种使用经训练的生成神经网络和经训练的合并神经网络基于内容图像生成似真日尺度延时序列的一个或更多个图像的方法，所述方法包括：接收所述内容图像，和(a)将被应用于所述内容图像的预定义的一个或更多个风格或(b)具有将被应用于所述内容图像的一个或更多个风格的一个或更多个风格图像；将所述内容图像切割成n个图像裁剪；将具有一个或更多个风格中的每一个风格的经训练的生成神经网络应用于n个图像裁剪，以获得根据一个或更多个风格中的每一个风格重新风格化的n个图像裁剪；以及利用经训练的合并神经网络将针对一个或更多个风格中的每一个风格的所述重新风格化的n个图像裁剪合并，以获得针对所述内容图像的似真日尺度延时序列的一个或更多个图像。2.如权利要求1所述的方法，其中，所述生成神经网络在以下模式中的一种模式或以下模式的组合下被训练：交换模式、随机模式和自动编码器模式。3.如权利要求1所述的方法，其中，所述生成神经网络包括内容编码器、风格编码器和解码器。4.如权利要求1所述的方法，其中，所述生成神经网络使用以多次迭代重复执行的以下步骤在交换模式下被训练：将第一图像作为训练示例输入到内容编码器中以获得内容张量，其中，所述内容张量是第一图像中的内容的空间上较小的表示；将第二图像作为训练示例输入到风格编码器中，以获得指示第二图像中的风格的风格向量；将所述内容张量、所述风格向量输入到解码器中，以使用自适应实例归一化来获得具有第一图像的内容和第二图像的风格的第三图像以及与第一图像相应的分割掩模，将第二图像和所述风格向量或所述风格向量，以及第三图像交替地输入到条件鉴别器中，其中，所述条件鉴别器被配置为确定图像在给定风格下是否足够似真，以及基于由所述条件鉴别器进行的所述确定的结果，在不同的迭代交替地更新所述生成神经网络和所述条件鉴别器的参数，以确保以对抗方式训练所述生成神经网络和所述条件鉴别器，其中，在更新所述生成神经网络的参数时，所述分割掩模被进一步考虑，其中，第一图像和第二图像具有第一分辨率。5.如权利要求1所述的方法，其中，所述生成神经网络使用以多次迭代重复执行的以下步骤在随机模式下被训练：将第一图像作为训练示例输入到内容编码器中以获得内容张量，其中，所述内容张量是第一图像中的内容的空间上较小的表示；从先验分布生成随机风格向量；将所述内容张量、所述风格向量输入到解码器中，以使用自适应实例归一化来获得具有第一图像的内容和由所述随机风格向量定义的风格的第三图像以及与第一图像相对应的分割掩模，将所述随机风格向量和第三图像输入到条件鉴别器中，其中，所述条件鉴别器被配置为确定图像在给定风格下是否足够似真，以及
基于由所述条件鉴别器进行的所述确定的结果来更新所述生成神经网络的参数，以确保以对抗方式训练所述生成神经网络和所述条件鉴别器，其中，在更新所述生成神经网络的参数时，所述分割掩模被进一步考虑。6.根据权利要求1所述的方法，其中，所述生成神经网络使用以多次迭代重复执行的以下步骤在自动编码器模式下被训练：将第一图像作为训练示例输入到内容编码器中以获得内容张量，其中，所述内容张量是第一图像中的内容的空间上较小的表示；将第一图像作为训练示例输入到风格编码器中，以获得指示第一图像中的风格的风格向量；将所述内容张量...
【专利技术属性】
技术研发人员：格列布，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。