基于水印的图像重建制造技术

一种计算机实现的方法，其提供基于水印的图像重建以补偿有损编码方案。该方法能够生成描述与使用有损编码方案对图像进行编码相关联的数据损失的差异图像。该差异图像能够被编码为消息并使用水印被嵌入编码图像中，并且稍后从编码图像中提取。差异图像能够被添加到编码的图像以重建原始图像。作为示例，使用有损JPEG压缩方案编码的输入图像能够与损失数据一起嵌入，并且稍后使用嵌入的数据将其重建到与原始相同或基本相似的保真度水平。与原始相同或基本相似的保真度水平。与原始相同或基本相似的保真度水平。

【技术实现步骤摘要】
【国外来华专利技术】基于水印的图像重建


[0001]本公开总体上涉及基于水印的图像重建技术。更具体地，本公开涉及用于对编码图像加水印的系统和方法，该编码图像具有在编码步骤中损失的数据以用于以后的图像重建。

技术介绍

[0002]图像和视频文件通常使用用于许多不同应用的各种编码方案来编码。大型数据实体需要大量资源投资和存储基础设施分配来存储这些图像和/或视频文件。因此，这些文件通常必须使用有损压缩方案进行编码，以实现更有效的存储、检索和传输。
[0003]然而，使用有损压缩方案编码图像和/或视频文件能够导致图像保真度的显着损失，并且无损压缩替代方案很少提供实现高效存储所需的空间减少。因此，在存储和传输图像和/或视频文件时，必须在保真度损失和另外的存储基础设施的大量资源投资之间做出选择。

技术实现思路

[0004]本专利技术实施例的方面和优点将在下面的描述中进行部分阐述，或者能够从描述中习得，或者能够通过实施例的实践习得。
[0005]本公开的一个示例方面涉及一种计算机实现的方法来执行基于水印的图像重建以补偿有损编码方案。该方法包括由一个或多个计算设备获得输入图像。该方法包括由一个或多个计算设备通过根据编码方案对输入图像进行编码和解码来生成第一输出图像。该方法包括由一个或多个计算设备确定描述输入图像和第一输出图像之间的差异的差异图像。该方法包括由一个或多个计算设备并使用机器学习消息嵌入模型生成第二输出图像，该第二输出图像包括至少部分地基于差异图像的嵌入消息。
[0006]本公开的其他方面针对各种系统、装置、非暂时性计算机可读介质、用户界面和电子设备。
[0007]参考以下描述和所附权利要求将更好地理解本公开的各种实施例的这些和其他特征、方面和优点。并入并构成本说明书一部分的附图图示本公开的示例实施例，并且与描述一起用于解释相关原理。
附图说明
[0008]图1描绘了根据本公开的示例实施例的示例计算系统的框图。
[0009]图2描绘了根据本公开的示例实施例的用于生成第二输出图像的示例方法的流程图。
[0010]图3描绘了根据本公开的示例实施例的用于从第二输出图像重建输入图像的示例方法的流程图。
[0011]图4是描绘根据示例实施例的生成第二输出图像的示例方法的流程图。
GIF Images(GIF图像的颜色去量化和时间插值),The IEEE Conference on Computer Vision and Pattern Recognition(CVPR)(IEEE计算机视觉和模式识别会议),pages 1419
‑
1428(2019))。然而，在该方法下，机器学习模型的重建精度必然受到限制，因为它无法利用最初在编码中损失的数据。本方法与这些先前方法的不同之处在于将描述在编码步骤期间损失的数据的消息嵌入(例如，水印)到图像中。稍后，消息能够被提取并被用于重建输入图像。以这种方式，机器学习模型能够利用在编码过程中损失的初始数据，从而产生更准确的重建图像。
[0019]作为另一示例性技术效果和益处，本公开的系统和方法使多个图像编码方案(例如，图形交换格式(GIF)编码)能够在以前不被选择的情况下被使用。作为一个示例，由于某些有损GIF编码方案固有的数据损失，在某些情况下之前可能没有选择有损GIF编码方案。使用本公开的方法，可以将GIF编码图像重建到足以在需要最小图像数据损失的情况下实现GIF编码的准确度。通过实现这些另外的编码方案，本公开允许更多的图像的压缩，必然节省用于存储图像的存储空间。换句话说，本公开的方面表示压缩增益与质量降低的曲线的改进。因此，与过去的压缩技术相比，本公开能够实现另外的压缩增益，同时仍保持相同的最终质量。这些压缩增益导致资源的节省，诸如存储器使用、网络带宽使用等。
[0020]现在参考附图，将更详细地讨论本公开的示例实施例。贯穿本公开，将参考JPEG和GIF压缩来描述实施例，但是应当理解，本文中公开的系统和方法可以另外利用其他图像压缩技术。
[0021]示例设备和系统
[0022]图1描绘了示例计算系统100的框图，其使用根据本公开的示例实施例被训练的机器学习模型来执行消息的嵌入和提取。系统100包括通过网络180通信地耦合的第一计算设备102和第二计算设备140。
[0023]第一计算设备102能够是任何类型的计算设备，诸如，例如，个人计算设备(例如，膝上型计算机或台式机)、移动计算设备(例如，智能手机或平板计算机)、游戏控制台或控制器、可穿戴计算设备、嵌入式计算设备、个人助理计算设备或任何其他类型的计算设备。
[0024]第一计算设备102包括一个或多个处理器104和存储器106。一个或多个处理器104能够是任何合适的处理设备(例如，处理器核、微处理器、ASIC、FPGA、控制器、微控制器等)，并且能够是一个处理器或可操作地连接的多个处理器。存储器106能够包括一种或多种非暂时性计算机可读存储介质，诸如RAM、ROM、EEPROM、EPROM、闪存设备、磁盘等，以及它们的组合。存储器106能够存储由处理器104执行以使第一计算设备102执行操作的数据108和指令110。
[0025]根据本公开的一个方面，第一计算设备102能够存储或包括一个或多个机器学习模型。机器学习模型能够是或者能够另外包括一个或多个神经网络(例如，深度神经网络)等。神经网络(例如，深度神经网络)能够是前馈神经网络、卷积神经网络和/或各种其他类型的神经网络。
[0026]更具体地，能够实现机器学习模型以提供输入图像内的消息的嵌入和提取。作为一个示例，机器学习模型能够包括机器学习消息嵌入模型116和机器学习消息提取模型118。具体地，机器学习消息嵌入模型116能够接收描述输入图像和编码的第一输出图像之间的差异的差异图像，并生成表示差异图像的消息向量(例如，潜在空间向量)。机器学习消
息嵌入模型116能够接收消息并生成表示消息向量的水印。水印能够被应用于输入图像或第一输出图像以生成第二输出图像。机器学习消息提取模型118能够获得第二输出图像作为输入，并且从第二输出图像中提取消息向量以获得所提取的消息向量。机器学习消息提取模型118能够接收所提取的消息作为输入并且提供差异图像的重建作为输出。能够将重建的差异图像添加到输入图像以生成重建的输入图像。
[0027]第一计算设备102还能够包括模型训练器112。模型训练器112能够使用各种训练或学习技术，诸如，例如，错误的向后传播(例如，随时间截断的反向传播)，使用训练数据114来同时训练或重新训练机器学习模型，诸如机器学习消息嵌入模型116和机器学习消息提取模型118，其存储在第一计算设备102处。特别地，模型训练器112能够使用训练数据114来同时训练或重新训练机器学习消息嵌入模型116和机器学习消息提取模型118。用于训练或重新训练机器学习模型的特定训练信号将在下图中深入讨论。
[0028]模型训练器112能够执行多种一般化技术(例如，权本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于执行基于水印的图像重建以补偿有损编码方案的计算机实现的方法，所述方法包括：由一个或多个计算设备获得输入图像；由所述一个或多个计算设备通过根据编码方案对所述输入图像进行编码和解码来生成第一输出图像；由所述一个或多个计算设备确定描述所述输入图像和所述第一输出图像之间的差异的差异图像；以及由所述一个或多个计算设备使用机器学习消息嵌入模型来生成第二输出图像，所述第二输出图像包括至少部分基于所述差异图像的嵌入消息。2.根据权利要求1所述的计算机实现的方法，进一步包括，由所述一个或多个计算设备对所述第二输出图像进行编码以获得编码的第二输出图像。3.根据权利要求2所述的计算机实现的方法，进一步包括，由所述一个或多个计算设备存储所述编码的第二输出图像。4.根据权利要求3所述的计算机实现的方法，进一步包括，由所述一个或多个计算设备将所述编码的第二输出图像传输到另一设备。5.根据任一项前述权利要求所述的计算机实现的方法，其中，由所述一个或多个计算设备使用所述机器学习消息嵌入模型来生成所述第二输出图像、所述第二输出图像包括至少部分地基于所述差异图像的所述嵌入消息包括：由所述一个或多个计算设备生成至少部分地基于所述差异图像的水印数据，作为所述机器学习消息嵌入模型的机器学习水印生成模型的输出；以及由所述一个或多个计算设备将所述水印数据添加到所述输入图像以获得所述第二输出图像。6.根据前述权利要求1
‑
5中的任一项所述的计算机实现的方法，其中，由所述一个或多个计算设备使用所述机器学习消息嵌入模型生成所述第二输出图像、所述第二输出图像包括至少部分基于所述差异图像的嵌入消息包括：由所述一个或多个计算设备将所述输入图像和所述差异图像两者输入到所述机器学习消息嵌入模型中；以及由所述一个或多个计算设备接收所述第二输出图像，作为所述机器学习消息嵌入模型的直接预测。7.根据任一前述权利要求所述的计算机实现的方法，其中，所述嵌入消息由所述机器学习消息生成模型至少部分地基于所述差异图像来生成。8.根据任一前述权利要求所述的计算机实现的方法，其中，所述第二输出图像包括所述嵌入消息的至少两个实例。9.根据任一前述权利要求所述的计算机实现的方法，其中，所述机器学习消息嵌入模型包括自动编码器。10.根据任一前述权利要求所述的计算机实现的方法，其中，所述差异图像包括所述输入图像和所述第一输出图像之间的每个像素值的差异。11.根据任一前述权利要求所述的计算机实现的方法，其中，所述嵌入消息包括潜在空间中的向量。
12.根据任一前述权利要求所述的计算机实现的方法，其中，所述嵌入消息通过修改与所述第二输出图像的像素相关联的多个像素值来嵌入。13.根据任一前述权利要求所述的计算机实现的方法，还包括：由所述一个或多个计算设备对所述第二输出图像的编码版本进行解码，以获得所述第二输出图像的解码版本；由所述一个或多个计算设备使用机器学习消息提取模型从所述第二输出图像的解码版本中提取所述嵌入消息，以获得所述差异图像的重建；以及由所述一个或多个计算设备至少部分地基于所述第二输出图像的解码版本和所述差异图像的重建来生成所述输入图像的重建。14.根据权利要求13所述的计算机实现的方法，其中，由所述一个或多个计算设备使用所述机器学习...

【专利技术属性】
技术研发人员：柳寅桓，杨峰，罗曦杨，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：