图像相似性度量方法及其装置制造方法及图纸

本申请提供一种图像相似性度量方法和图像相似性度量装置，涉及人工智能领域，包括：获取第一图像的深度特征和第二图像的深度特征，所述深度特征包括像素特征，以及根据第一图像的深度特征和第二图像的深度特征，确定第一图像和第二图像的相似度。该方案主要利用两个图像的深度特征来得到相似度，不是单纯依赖像素进行图像质量评价，所以不会出现度量值与人眼感知相悖的情况。而且与传统的深度神经网络模型来求取感知距离相比，不需要很多层神经网络，结构更加简单，运算量少，计算复杂度显著降低。低。低。

【技术实现步骤摘要】
图像相似性度量方法及其装置


[0001]本申请实施例涉及机器视觉领域，并且更具体地，涉及一种图像相似性度量方法及其 装置。

技术介绍

[0002]图像质量评价(image quality assessment，IQA)，也可以称之为相似性度量，广泛存 在于对图像处理结果的评价、图像或视频编解码质量的评价等场景中。常见方法有均方误 差(mean squared error，MSE)、结构相似性度量(structure similarity measurement，SSIM) 或多尺度结构相似性度量等，但常会出现利用上述评价方法得到的评价结果并不符合人眼 感知，也就是说，一张原图和不同方法或配置的图像处理导致的失真图像a和失真图像b， 从评价结果来看失真图像a比b质量是好的，但肉眼观察图像是b比a有较好的质量。
[0003]针对上述缺点，出现了使用深度神经网络模型来在深度特征空间上求感知距离的方 法，利用基于人眼感知的标注数据对模型进行训练。这种方法虽然一定程度上克服了传统 方法的缺点，但是计算复杂度高，适用场景非常局限。
[0004]因此如何在保证度量效果的前提下，降低计算复杂度是亟待解决的技术问题。

技术实现思路

[0005]本申请实施例提供一种图像相似性度量方法及其装置，能够在保证度量效果的前提 下，降低计算复杂度。
[0006]第一方面，提供了一种图像相似性度量方法，该方法包括：获取第一图像的深度特征 和第二图像的深度特征，所述深度特征包括像素特征，以及根据第一图像的深度特征和第 二图像的深度特征，确定第一图像和第二图像的相似度。
[0007]在本申请方案中，主要利用两个图像的深度特征来得到相似度，不是单纯依赖像素进 行图像质量评价，所以相较于MSE、SSIM等方法来说，不会出现度量值与人眼感知相悖 的情况。而且与传统的深度神经网络模型来求取感知距离相比，不需要很多层神经网络， 结构更加简单，运算量少，计算复杂度较低。
[0008]结合第一方面，在第一方面的某些实现方式中，上述深度特征还包括以下至少一种图 像特征：边缘特征、纹理特征、结构特征、亮度特征或颜色特征。通过提取更多种类的图 像特征，并用于进行相似性度量，能够有效提高相似性度量准确性。
[0009]结合第一方面，在第一方面的某些实现方式中，在获取第一图像的深度特征和第二图 像的深度特征时，可以利用第一神经网络对第一图像进行特征提取，得到第一图像的深度 特征；以及利用第二神经网络对第二图像进行特征提取，得到第二图像的深度特征。传统 的深度神经网络模型来求取感知距离需要例如5
‑
10层卷积网络，但经过分析发现，越浅 层的神经网络所得到的深度特征越包括更多的图像信息(图像特征)，而越深层的神经网 络所得到的深度特征越与具体的语义感知任务相关，所以对于求取感知距离的深度神
执行所述存储器存储的程序，当所述存储器存储的程序被执行时，所述处理器用于执行第 一方面中的任意一种实现方式中的方法。该装置可以为车载终端、主机、电脑、服务器、 云端设备等各类需要进行视线检测的设备或系统，也可以是设置在上述设备或系统中的装 置。该装置还可以为芯片。
[0020]第四方面，提供一种计算机可读介质，该计算机可读介质存储用于设备执行的程序代 码，该程序代码包括用于执行第一方面中的任意一种实现方式中的方法。
[0021]第五方面，提供一种包含指令的计算机程序产品，当该计算机程序产品在计算机上运 行时，使得计算机执行上述第一方面中的任意一种实现方式中的方法。
[0022]第六方面，提供一种芯片，所述芯片包括处理器与数据接口，所述处理器通过所述数 据接口读取存储器上存储的指令，执行上述第一方面中的任意一种实现方式中的方法。
[0023]可选地，作为一种实现方式，所述芯片还可以包括存储器，所述存储器中存储有指令， 所述处理器用于执行所述存储器上存储的指令，当所述指令被执行时，所述处理器用于执 行第一方面中的任意一种实现方式中的方法。
附图说明
[0024]图1是本申请实施例提供的图像相似性度量方法的示意性流程图。
[0025]图2是本申请实施例提供的图像相似性度量方法的一种示例的示意性流程图。
[0026]图3是本申请实施例提供的图像相似性度量方法的另一种示例的示意性流程图。
[0027]图4是本申请实施例提供的图像相似性度量方法的又一种示例的示意性流程图。
[0028]图5是本申请实施例提供的图像相似性度量装置的示意性框图。
[0029]图6是本申请实施例提供的图像相似性度量装置的硬件结构示意图。
具体实施方式
[0030]下面将结合附图，对本申请实施例中的技术方案进行描述。
[0031]图1是本申请实施例提供的图像相似性度量方法的示意性流程图。本申请实施例提供 的图像相似性度量方法可以用于摄像头、显示器等的图像质量检测，例如可以是车载摄像 头、显示器等。本申请实施例的方案可以以软件或硬件的形式，设置于上述设备中，也可 以是独立于上述设备的图像相似性度量设备。
[0032]101、获取第一图像的深度特征和第二图像的深度特征，所述深度特征包括像素特征。
[0033]可选地，第一图像可以是参考图像，第二图像可以是待评价图像质量的图像，例如可 以是利用某些应用算法得到的图像。举例说明，第一图像可以是原图，第二图像可以是将 第一图像进行超分辨率处理或者彩色花处理等得到的图像。
[0034]需要说明的是，第一图像和第二图像也可以互换，也就是说，第一图像可以是待评价 图像质量的图像，第二图像可以是参考图像。为了便于理解，在下文中，主要以第一图像 为参考图像，第二图像为待评价图像为例进行介绍。
[0035]可选地，可以利用摄像头、相机等感知设备获取第一图像和/或第二图像，也可以从 存储设备中读取第一图像和/或第二图像。
[0036]可选地，可以对获取的第一图像和第二图像进行特征提取，得到第一图像的深度
特征 和第二图像的深度特征。例如，可以利用第一神经网络对第一图像进行特征提取，得到第 一图像的深度特征；利用第二神经网络对第二图像进行特征提取，得到第二图像的深度特 征。第一神经网络和第二神经网络可以相同也可以不相同，例如，第一神经网络和第二神 经网络均可以是一层卷积网络或深度神经网络，又例如，第一神经网络和第二神经网络可 以采用相同或者不同的卷积核。
[0037]深度特征可以理解为利用深度神经网络等提取的包括有图像的像素特征的特征。在一 些实现方式中，深度特征除了包括像素特征这一图像特征以外，还可以包括以下至少一种 图像特征：边缘特征、纹理特征、结构特征、亮度特征或颜色特征。通过提取更多种类的 图像特征，并用于进行相似性度量，能够有效提高相似性度量准确性。
[0038]还应理解，像素和像素特征是不同的，我们常说的像素是像素值本身，而像素特征则 是特征提取得到的一些像素域的特本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像相似性度量方法，其特征在于，包括：获取第一图像的深度特征和第二图像的所述深度特征，所述深度特征包括像素特征；根据所述第一图像的深度特征和所述第二图像的深度特征，确定所述第一图像和所述第二图像的相似度。2.根据权利要求1所述的方法，其特征在于，所述深度特征还包括以下至少一种图像特征：边缘特征、纹理特征、结构特征、亮度特征或颜色特征。3.根据权利要求1或2所述的方法，其特征在于，所述获取第一图像的深度特征和第二图像的所述深度特征，包括：利用第一神经网络对所述第一图像进行特征提取，得到所述第一图像的深度特征；利用第二神经网络对所述第二图像进行特征提取，得到所述第二图像的深度特征。4.根据权利要求1至3中任一项所述的方法，其特征在于，根据所述第一图像的深度特征和所述第二图像的深度特征，确定所述第一图像和所述第二图像的相似度，包括：利用第三神经网络对所述第一图像的深度特征和所述第二图像的深度特征的残差进行卷积，得到所述第一图像和所述第二图像的第一感知距离，所述第一感知距离用于表示所述相似度。5.根据权利要求4所述的方法，其特征在于，所述方法还包括：利用第四神经网络对所述第一图像的深度特征和所述第二图像的深度特征进行卷积，得到所述第一图像和所述第二图像的第二感知距离，所述第四神经网络为变形卷积网络；根据所述第一感知距离和所述第二感知距离，得到所述相似度。6.根据权利要求4或5所述的方法，其特征在于，所述第三神经网络和/或所述第四神经网络的参数是利用数据训练的方法得到的，所述训练数据包括待训练图像和所述待训练图像的质量标签。7.一种图像相似性度量装置，其特征在于，包括：获取单元，用于获取所述第一图像的深度特征和所述第二图像的深度特征，所述深度特征包括像素特征；处理单元，用于根据所述第一图像的深度特征和所述第二图像的深...

【专利技术属性】
技术研发人员：张培科，林永兵，马莎，万蕾，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：