深度调色板预测制造技术

示例实施例允许训练编码器(例如，人工神经网络(ANN))以基于输入图像生成颜色调色板。然后，可以使用颜色调色板而利用输入图像来生成对应于输入图像的量化的、色深减少的图像。将多个这样的输入图像和对应的量化图像之间的差异用于训练编码器。以这样的方式训练的编码器尤其适合于生成用于将图像转换成不同的色深减少的图像文件格式的颜色调色板。相对于中值切割算法或用于为图像产生色深减少的颜色调色板的其他方法，这样的编码器在存储器使用和计算时间或成本方面也具有优势。用和计算时间或成本方面也具有优势。用和计算时间或成本方面也具有优势。

【技术实现步骤摘要】
【国外来华专利技术】深度调色板预测

技术介绍

[0001]不同的图像格式可以具有它们能够支持的不同数量的有区别的颜色，这可以通过它们用多少比特来表示每个像素来表示。例如，可移植网络图形(PNG)格式能够存储由每像素8、24或48比特表示的颜色，而图形交换格式(GIF)支持每像素8比特或更少比特(调色板中最多256种颜色)。因此，当图像文件被转换成具有较小颜色范围的格式时，可以为该图像生成新的颜色调色板。对于大的图像，这可能是一个缓慢的过程，并且可能降低图像的感知质量。

技术实现思路

[0002]为了将图像文件从一种格式转换成另一种格式，可以生成新的颜色调色板。这是因为一些图像格式限制了图像中表示的颜色的数量，以便减少用于存储该图像的颜色数据的每个像素的比特数量。例如，可移植网络图形(PNG)格式可以用每像素8、24或48比特来表示像素颜色数据，而图形交换格式(GIF)使用每像素8比特或更少的比特来表示颜色信息。
[0003]格式之间的这样的转换可能是一个缓慢的过程，尤其是对于编码了许多像素、具有很深的色深或者在尺寸的其他方面很大的图像文件。此外，转换为具有较少颜色数量或色深的格式会导致图像的主观质量的损失。
[0004]为了有效地减少图像中表示的颜色的数量，为缩减的颜色调色板识别一组颜色可能是有益的。可以选择这样的缩减的调色板中每种颜色的特性(例如，红色、蓝色和绿色的相对等级)，以保持图像质量和/或最小化由于减少图像中颜色的数量而导致的图像质量的降低。在一些示例中，可以预先选择这样的缩减的颜色调色板中的颜色，例如，根据图像压缩标准来定义。可替换地，可以基于输入图像来确定用于生成颜色数量减少的图像的缩减的颜色调色板，以便提高输出图像的质量。例如，主要包括红色色调的输入图像可以由主要包含红色或接近红色的颜色、蓝色、绿色或其他非红色色调的相对较少的颜色的颜色调色板表示，以便有效地生成美学上令人满意的输出图像(例如，对于普通观看者来说主观上令人愉快)。
[0005]可以应用各种方法来为输入图像确定颜色调色板，该颜色调色板将产生主观上令人愉快的或以其他方式是“良好的”输出图像，其中将像素限制为由所确定的颜色调色板中的颜色来表示。这样的方法的一个示例是作为压缩图像的GIF标准的一部分的中值切割算法。
[0006]这里描述的实施例提供了应用人工神经网络(ANN)、k
‑
均值或其他机器学习算法和/或编码器来生成颜色调色板的方法以压缩图像和/或将图像从一种格式转换成另一种格式。用于从输入图像生成颜色调色板的ANN或其他算法可以根据各种过程来训练或以其他方式开发。本公开提供了用于训练编码器的方法，该编码器可以包括人工神经网络以基于输入图像生成预测的颜色调色板。所生成的颜色调色板包含然后可用于将应用的图像转换成比所应用的输入图像包含更少颜色的图像的颜色值。然后，缩减的彩色图像和输入图像之间的差异可以用于训练ANN(例如，通过使用该差异作为误差信号来经由反向传播更新
ANN)。生成的图像的主观质量可以附加地或替换地用于训练ANN。
[0007]这样的更新过程可以执行多次，和/或基于多个不同的训练图像，来生成ANN。然后可以使用这样的经训练的ANN(例如，通过计算机的处理器)来确定附加图像的颜色调色板，然后可以使用颜色调色板来将附加图像转换成与其原始图像格式不同的图像格式。
[0008]这里公开的方法可以有利地使得图像的训练集能够用于训练颜色调色板
‑
预测人工神经网络或其他算法，而不需要关于训练集的任何图像的“真值(ground truth)”颜色调色板的信息。因此，这样的训练集的图像可以从任何合适的图像源获得，而不需要确定或以其他方式获得“真值”颜色数量减少的颜色调色板。
[0009]在第一方面，一种用于训练编码器从输入图像生成颜色调色板的方法包括：(i)获得训练数据，其中，训练数据包括一个或多个图像，其中，一个或多个图像中的每一个具有多个颜色通道；(ii)将来自训练数据的第一图像应用于编码器以生成第一图像的第一调色板，其中，第一调色板包括第一数量的颜色，第一调色板的每种颜色包括对应于第一图像的相应颜色通道的一组值；(iii)使用第一调色板量化第一图像以生成第一量化图像；(iv)将第一图像与第一量化图像进行比较；以及(v)基于该比较更新编码器。基于该比较更新编码器可以包括例如更新编码器以减少第一图像和第一量化图像之间的差异。
[0010]上述方法可以包括一个或多个以下可选特征。来自训练数据的第一图像可以是具有红色通道、蓝色通道和绿色通道的RGB图像。可以在应用于编码器之前通过数据增强来修改第一图像。编码器可以包括一个或多个卷积层和一个或多个输出层，其中，至少一个输出层接收至少一个卷积层的输出作为输入，其中，将第一图像应用于编码器以生成第一调色板包括将第一图像应用于至少一个卷积层，其中，一个或多个输出层的最终层包括第一数量的输出单元，并且其中，最终层的每个输出单元对应于第一调色板的相应颜色。一个或多个这样的输出层可以被称为“隐藏层”。
[0011]上述方法还可以包括：(i)通过修改更新的编码器来生成缩减的调色板编码器，其中，修改更新的编码器包括：(a)从更新的编码器中至少丢弃最终层；以及(b)用缩减的调色板最终层替换丢弃的最终层，其中，缩减的调色板最终层包括第二数量的输出单元，其中，第二数量的输出单元小于第一数量的输出单元；(ii)将来自训练数据的第二图像应用到缩减的调色板编码器以生成第二图像的第二调色板，其中，第二调色板包括第二数量的颜色，第二调色板的每种颜色包括对应于第二图像的相应颜色通道的一组值，其中，第二数量的颜色小于第一数量的颜色，并且其中，缩减的调色板最终层的每个输出单元对应于第二调色板的相应颜色；(iii)使用第二调色板量化第二图像以生成第二量化图像；(iv)将第二图像与第二量化图像进行比较；以及(v)基于第二图像与第二量化图像的比较来更新缩减的调色板编码器。第一数量的颜色可以大于255，第二数量的颜色可以小于65。基于该比较来更新缩减的调色板编码器可以包括例如更新缩减的调色板编码器以减少第二图像和第二量化图像之间的差异。
[0012]更新缩减的调色板编码器可以包括更新缩减的调色板最终层的至少一个参数。更新缩减的调色板编码器还可以包括不修改一个或多个卷积层的任何参数。不修改一个或多个卷积层的任何参数可以包括固定一个或多个卷积层和/或其参数，例如，通过将卷积层的学习速率参数设置为零，通过设置标志来指示卷积层可能被固定或者以其他方式不被更新，或者通过采取一些其他动作。
[0013]将第一图像与第一量化图像进行比较可以包括确定第一输入图像的特定像素和第一量化图像的对应像素之间的差异。将第一图像与第一量化图像进行比较可以包括将卷积神经网络应用于第一量化图像以生成主观质量分数；这样的示例是使用神经图像评估(NIMA)分数。编码器可以是可差分的(differentiable)端到端，因此更新编码器可以包括通过编码器执行反向传播。将第一图像与第一量化图像进行比较可以包括执行本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于训练编码器从输入图像生成颜色调色板的方法，该方法包括:获得训练数据，其中，训练数据包括一个或多个图像，其中，一个或多个图像中的每一个具有多个颜色通道；将来自训练数据的第一图像应用于编码器，以生成第一图像的第一调色板，其中，第一调色板包括第一数量的颜色，第一调色板的每种颜色包括对应于第一图像的相应颜色通道的一组值；使用第一调色板来量化第一图像以生成第一量化图像；将第一图像与第一量化图像进行比较；和基于比较来更新编码器。2.根据任一前述权利要求所述的方法，其中，第一图像是具有红色通道、蓝色通道和绿色通道的RGB图像。3.根据任一前述权利要求所述的方法，其中，在将第一图像应用于编码器之前，通过数据增强来修改第一图像。4.根据任一前述权利要求所述的方法，其中，编码器包括一个或多个卷积层和一个或多个输出层，其中，至少一个输出层接收至少一个卷积层的输出作为输入，其中，将第一图像应用于编码器以生成第一调色板包括将第一图像应用于至少一个卷积层，其中，一个或多个输出层的最终层包括第一数量的输出单元，并且其中，最终层的每个输出单元对应于第一调色板的相应颜色。5.根据权利要求3所述的方法，还包括:通过对更新的编码器进行修改来生成缩减的调色板编码器，其中，对更新的编码器进行修改包括：从更新的编码器中至少丢弃最终层；以及用缩减的调色板最终层替换丢弃的最终层，其中，缩减的调色板最终层包括第二数量的输出单元，其中，第二数量的输出单元小于第一数量的输出单元；将来自训练数据的第二图像应用到缩减的调色板编码器以生成第二图像的第二调色板，其中，第二调色板包括第二数量的颜色，第二调色板的每种颜色包括对应于第二图像的相应颜色通道的一组值，其中，第二数量的颜色小于第一数量的颜色，并且其中，缩减的调色板最终层的每个输出单元对应于第二调色板的相应颜色；使用第二调色板量化第二图像，以生成第二量化图像；将第二图像与第二量化图像进行比较；和基于第二图像与第二量化图像的比较来更新缩减的调色板编码器。6.根据权利要求5所述的方法，其中，第一数量的颜色大于255，...

【专利技术属性】
技术研发人员：罗曦杨，I俞，杨峰，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：