图像处理模型生成方法、图像处理方法及装置、电子设备制造方法及图纸

本公开提供一种基于对抗生成网络的图像处理模型生成方法、图像处理模型生成方法及装置、电子设备、存储介质；涉及人工智能技术领域。所述图像处理模型生成方法包括：获取原始生物染色图像的染色特征；通过第一生成器将原始生物染色图像转换为第一生物染色图像，并通过第一判别器对第一生物染色图像和参考生物染色图像进行判别；结合原始生物染色图像的染色特征，通过第二生成器将第一生物染色图像转换为第二生物染色图像；根据各生成器以及各判别器的输出计算对抗生成网络的损失函数，并根据损失函数对对抗生成网络进行训练；基于训练后的对抗生成网络获取图像处理模型。本公开可以在保证色彩转换准确性的同时具有更强的泛化能力。

Image processing model generation method, image processing method and device, electronic equipment

The invention provides an image processing model generation method, an image processing model generation method and a device, an electronic device and a storage medium based on an anti generation network, and relates to the field of artificial intelligence technology. The image processing model generation method includes: obtaining the dyeing characteristics of the original biological dyeing image; converting the original biological dyeing image to the first biological dyeing image through the first generator, and discriminating the first biological dyeing image and the reference biological dyeing image through the first discriminator; combining the dyeing characteristics of the original biological dyeing image, the first biological dyeing image is discriminated through the second generator According to the output of each generator and each discriminator, the loss function of the network is calculated, and the network is trained according to the loss function. Based on the trained network, the image processing model is obtained. The present disclosure can guarantee the accuracy of color conversion and have stronger generalization ability at the same time.

【技术实现步骤摘要】
图像处理模型生成方法、图像处理方法及装置、电子设备
本公开涉及人工智能
，具体而言，涉及基于人工智能的一种图像处理模型生成方法、图像处理模型生成方法装置、图像处理方法、图像处理装置、电子设备以及计算机可读存储介质。
技术介绍
在很多领域，会使用化学方法或其他方法影响物质本身而使其着色，并通过图像采集设备得到染色图像。在获取染色图像后，还经常需要对染色图像进行色彩转换。举例而言，在生物显微玻片标本制作中，染色是很常用的。为了便于计算机后续更好的处理生物染色图像，通常需要首先将多个生物染色图像的色彩风格归一化到相同的范围。然而，相关技术中的图像处理模型的色彩转换准确性或泛化能力仍存在一定的提升空间。因此，提供一种在保证色彩转换准确性的同时具有更强的泛化能力的图像处理模型是非常必要的。需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
技术实现思路
本公开的目的在于提供一种图像处理模型生成方法、图像处理模型生成装置、图像处理方法、图像处理装置、电子设备以及计算机可读存储介质，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的图像处理模型色彩转换准确性不足以及泛化能力弱的问题。根据本公开的第一方面，提供一种图像处理模型生成方法，包括：获取原始染色图像的染色特征；将所述原始染色图像及其染色特征输入对抗生成网络，对所述对抗生成网络进行训练；在所述训练中包括：将所述原始染色图像转换为第一染色图像以及结合所述原始染色图像的染色特征将所述第一染色图像转换为第二染色图像；基于训练后的对抗生成网络获取图像处理模型。在本公开的一种示例性实施例中，所述对抗生成网络包括第一生成器以及第二生成器；对所述对抗生成网络进行训练过程中包括：通过所述第一生成器将所述原始染色图像转换为第一染色图像；以及结合所述原始染色图像的染色特征，通过所述第二生成器将所述第一染色图像转换为第二染色图像。在本公开的一种示例性实施例中，所述对抗生成网络包括第一生成器、第二生成器以及判别器；对所述对抗生成网络进行训练包括：通过所述第一生成器将所述原始染色图像转换为第一染色图像，并通过所述判别器对所述第一染色图像和参考染色图像进行判别；结合所述原始染色图像的染色特征，通过所述第二生成器将所述第一染色图像转换为第二染色图像；根据所述原始染色图像、所述第二染色图像以及所述判别器的判别结果计算损失函数；根据所述损失函数修正所述对抗生成网络，直至所述损失函数达到目标值。在本公开的一种示例性实施例中，所述计算损失函数包括：根据所述判别器对于所述第一染色图像和所述参考染色图像的判别结果计算第一损失函数；根据所述第二染色图像与原始染色图像的一致性计算第二损失函数；根据所述第一损失函数以及第二损失函数确定所述对抗生成网络的损失函数。在本公开的一种示例性实施例中，所述对抗生成网络包括第一生成器、第二生成器、第一判别器以及第二判别器；对所述对抗生成网络进行训练包括：通过所述第一生成器将所述原始染色图像转换为第一染色图像，并通过所述第一判别器对所述第一染色图像和参考染色图像进行判别；结合所述原始染色图像的染色特征，通过所述第二生成器将所述第一染色图像转换为第二染色图像；结合所述原始染色图像的染色特征，通过所述第二生成器将所述参考染色图像转换为第三染色图像，并通过所述第二判别器对所述第三染色图像和所述原始染色图像进行判别；通过所述第一生成器将所述第三染色图像转换为第四染色图像；根据所述原始染色图像、第二染色图像、第四染色图像以及所述第一判别器、第二判别器的判别结果计算损失函数；根据所述损失函数修正所述对抗生成网络，直至所述损失函数达到目标值。在本公开的一种示例性实施例中，所述计算损失函数包括：根据所述第一判别器对于所述第一染色图像和所述参考染色图像的判别结果计算第一损失函数；根据所述第二染色图像与原始染色图像的一致性计算第二损失函数；根据所述第二判别器对于所述第三染色图像和所述原始染色图像的判别结果计算第三损失函数；根据所述第四染色图像与参考染色图像的一致性计算第四损失函数；根据所述第一损失函数至第四损失函数确定所述对抗生成网络的损失函数。在本公开的一种示例性实施例中，所述将所述第一染色图像转换为第二染色图像包括：将所述原始染色图像的染色特征添加至所述第一染色图像的颜色通道，得到混合图像；通过所述第二生成器将所述混合图像转换为所述第二染色图像。在本公开的一种示例性实施例中，所述获取原始染色图像的染色特征包括：计算所述原始染色图像的染料吸收系数，根据所述原始染色图像的染料吸收系数计算原始染色图像的染色特征。在本公开的一种示例性实施例中，所述计算原始染色图像的染色特征包括：对所述原始染色图像的染料吸收系数进行非负矩阵因子分解，并以分解得到的染色矩阵作为所述原始染色图像的染色特征。在本公开的一种示例性实施例中，所述方法还包括：从所述原始染色图像中获取所述参考染色图像。在本公开的一种示例性实施例中，从所述原始染色图像中获取所述参考染色图像，包括：基于各所述原始染色图像的染色特征，对所有所述原始染色图像进行聚类；将位于一聚类簇中的所述原始染色图像，作为所述参考染色图像。在本公开的一种示例性实施例中，基于训练后的对抗生成网络获取图像处理模型包括：将修正后的所述对抗生成网络中的第一生成器作为所述图像处理模型。根据本公开的第二方面，提供一种图像处理方法，包括：获取原始染色图像的染色特征；将所述原始染色图像及其染色特征输入对抗生成网络，对所述对抗生成网络进行训练；在所述训练中包括：将所述原始染色图像转换为第一染色图像以及结合所述原始染色图像的染色特征将所述第一染色图像转换为第二染色图像；基于训练后的对抗生成网络获取图像处理模型；通过获取的所述图像处理模型对待处理染色图像进行处理。根据本公开的第三方面，提供一种图像处理模型生成装置，包括：特征提取模块，用于获取原始染色图像的染色特征；训练模块，用于将所述原始染色图像及其染色特征输入对抗生成网络，对所述对抗生成网络进行训练；在所述训练中包括：将所述原始染色图像转换为第一染色图像以及结合所述原始染色图像的染色特征将所述第一染色图像转换为第二染色图像；模型获取模块，用于基于训练后的对抗生成网络获取图像处理模型。在本公开的一种示例性实施例中，所述训练模块包括：通过所述第一生成器将所述原始染色图像转换为第一染色图像；以及结合所述原始染色图像的染色特征，通过所述第二生成器将所述第一染色图像转换为第二染色图像。在本公开的一种示例性实施例中，所述对抗生成网络本文档来自技高网...

【技术保护点】
1.一种基于对抗生成网络的图像处理模型生成方法，所述对抗生成网络包括第一生成器、第二生成器及第一判别器；其特征在于，所述方法包括：/n获取原始生物染色图像的染色特征；/n通过所述第一生成器将所述原始生物染色图像转换为第一生物染色图像，并通过所述第一判别器对所述第一生物染色图像和参考生物染色图像进行判别；/n结合所述原始生物染色图像的染色特征，通过所述第二生成器将所述第一生物染色图像转换为第二生物染色图像；/n根据各所述生成器以及各所述判别器的输出计算所述对抗生成网络的损失函数，并根据所述损失函数对所述对抗生成网络进行训练；/n基于训练后的对抗生成网络获取图像处理模型。/n

【技术特征摘要】
1.一种基于对抗生成网络的图像处理模型生成方法，所述对抗生成网络包括第一生成器、第二生成器及第一判别器；其特征在于，所述方法包括：
获取原始生物染色图像的染色特征；
通过所述第一生成器将所述原始生物染色图像转换为第一生物染色图像，并通过所述第一判别器对所述第一生物染色图像和参考生物染色图像进行判别；
结合所述原始生物染色图像的染色特征，通过所述第二生成器将所述第一生物染色图像转换为第二生物染色图像；
根据各所述生成器以及各所述判别器的输出计算所述对抗生成网络的损失函数，并根据所述损失函数对所述对抗生成网络进行训练；
基于训练后的对抗生成网络获取图像处理模型。


2.根据权利要求1所述的图像处理模型生成方法，其特征在于，计算所述对抗生成网络的损失函数，包括：
根据所述第一判别器对于所述第一生物染色图像和所述参考生物染色图像的判别结果计算第一损失函数；
根据所述第二生物染色图像与原始生物染色图像的一致性计算第二损失函数；
根据所述第一损失函数以及第二损失函数确定所述对抗生成网络的损失函数。


3.根据权利要求1所述的图像处理模型生成方法，其特征在于，所述对抗生成网络还包括第二判别器；在计算所述对抗生成网络的损失函数之前，所述方法还包括：
结合所述原始生物染色图像的染色特征，通过所述第二生成器将所述参考生物染色图像转换为第三生物染色图像，并通过所述第二判别器对所述第三生物染色图像和所述原始生物染色图像进行判别；
通过所述第一生成器将所述第三生物染色图像转换为第四生物染色图像。


4.根据权利要求3所述的图像处理模型生成方法，其特征在于，计算所述对抗生成网络的损失函数，包括：
根据所述第一判别器对于所述第一生物染色图像和所述参考生物染色图像的判别结果计算第一损失函数；
根据所述第二生物染色图像与原始生物染色图像的一致性计算第二损失函数；
根据所述第二判别器对于所述第三生物染色图像和所述原始生物染色图像的判别结果计算第三损失函数；
根据所述第四生物染色图像与参考生物染色图像的一致性计算第四损失函数；
根据所述第一损失函数至第四损失函数确定所述对抗生成网络的损失函数。


5.根据权利要求1～4任意一项所述的图像处理模型生成方法，其特征在于，所述将所述第一生物染色图像转换为第二生物染色图像包括：
将所述原始生物染色图像的染色特征添加至所述第一生物染色图像的颜色通道，得到混合图像；
通过所述第二生成器将所述混合图像转换为所述第二生物染色图像。


6.根据权利要求1所述的图像处理模型生成方法，其特征在于，所述获取原始生物染色图像的染色特征包括：
计算所述原始生物染色图像的染料吸收系数，根据所述原始生物染色图像的染料吸收系数计算原始生物染色图像的染色特征。


7.根据权利要求6所述的图像处理模型生成方法，其特征在于，所述计算原始生物染色图像的染色特征包括：
对所述原始生物染色图像的染料吸收系数进行非负矩阵因子分解，并以分解得到的染色矩阵作为所述原始生物染色图像的染色特征。


8.根据权利要求1～4任意一项所述的图像处理模型生成方法，其特征在于，所述方法还包括：
从多个所述原始生物染色图像中获取所述参考生物染色图像。


9.根据权利要求8所述的图像处理模型生成方法，其特征在于，从多个所述原始...

【专利技术属性】
技术研发人员：周昵昀，韩骁，姚建华，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44