图像聚类方法、装置、电子设备及存储介质制造方法及图纸

本申请公开了一种图像聚类方法、装置、电子设备及存储介质，属于图像处理领域。该方法包括：对至少两张人物图像分别进行人脸特征分析和人体特征分析，确定各所述人物图像的人脸特征信息、与所述人脸特征信息对应的人脸质量信息和人体特征信息；基于所述人脸特征信息、所述人脸质量信息和所述人体特征信息，或者所述人脸特征信息和所述人脸质量信息，确定所述人物图像中每两张人物图像之间的人像相似度；基于所述人像相似度对所述人物图像进行图像聚类，得到至少一个人物图像集合。得到至少一个人物图像集合。得到至少一个人物图像集合。

【技术实现步骤摘要】
图像聚类方法、装置、电子设备及存储介质


[0001]本申请属于图像处理领域，具体涉及一种图像聚类方法、装置、电子设备及存储介质。

技术介绍

[0002]用户使用手机拍摄的图像中有很多是人物图像。用户为了查找人物图像方便，可能希望查阅同一人物对象的所有图像。
[0003]现有技术一般是根据人物图像中人物对象的人脸特征，确定不同人物图像中是否包含同一人物对象，将包含同一人物对象的人物图像聚合在一起。图1为相关技术提供的图像聚类方法流程示意图，如图1所示，相关技术中人物图像聚类的步骤包括：对人物图像进行人脸检测，如图1中的黑色方框，对检测到的人脸进行对齐；从检测的人脸中提取人脸特征；根据人脸特征进行聚类，确定不同人物图像中的人脸是否属于同一人，将人脸属于同一人的人物图像聚合。因此，人脸特征的提取对聚类有着重要影响。
[0004]由于人物图像中人脸特征提取的内容和精度有限，从而导致基于人脸特征的人物图像聚类不准确。

技术实现思路

[0005]本申请实施例的目的是提供一种图像聚类方法、装置、电子设备及存储介质，以解决上述问题。
[0006]第一方面，本申请实施例提供了一种图像聚类方法，该方法包括：
[0007]对至少两张人物图像分别进行人脸特征分析和人体特征分析，确定各所述人物图像的人脸特征信息、与所述人脸特征信息对应的人脸质量信息和人体特征信息；
[0008]基于所述人脸特征信息、所述人脸质量信息和所述人体特征信息，或者所述人脸特征信息和所述人脸质量信息，确定所述人物图像中每两张人物图像之间的人像相似度；
[0009]基于所述人像相似度对所述人物图像进行图像聚类，得到至少一个人物图像集合。
[0010]第二方面，本申请实施例提供了一种图像聚类装置，包括：
[0011]分析模块，用于对至少两张人物图像分别进行人脸特征分析和人体特征分析，确定各所述人物图像的人脸特征信息、与所述人脸特征信息对应的人脸质量信息和人体特征信息；
[0012]确定模块，用于基于所述人脸特征信息、所述人脸质量信息和所述人体特征信息，或者所述人脸特征信息和所述人脸质量信息，确定所述人物图像中每两张人物图像之间的人像相似度；
[0013]聚类模块，用于基于所述人像相似度对所述人物图像进行图像聚类，得到至少一个人物图像集合。
[0014]第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器和存储器，
所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
[0015]第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
[0016]第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法。
[0017]第六方面，本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如第一方面所述的方法。
[0018]在本申请实施例中，基于人脸特征信息、人脸质量信息和人体特征信息，或者基于人脸特征信息和人脸质量信息进行每两张人像图像之间的人像相似度分析来进行聚类，由于人脸特征信息提取的内容和精度有限，此时人像相似度准确性较低，因此可以结合能够反映人脸质量的人脸质量信息和反映人体特征的人体特征信息得到更准确的人像相似度，更准确的人像相似度能够有效提高聚类的准确性。
附图说明
[0019]图1是相关技术提供的图像聚类方法流程示意图；
[0020]图2是本申请实施例提供的图像聚类方法流程示意图之一；
[0021]图3是本申请实施例提供的图像聚类方法流程示意图之二；
[0022]图4是本申请实施例提供的图像聚类方法中人脸质量定义示意图；
[0023]图5是本申请实施例提供的图像聚类方法中FSRNet网络结构示意图；
[0024]图6是本申请实施例提供的图像聚类装置结构示意图；
[0025]图7是本申请实施例提供的电子设备结构示意图；
[0026]图8是本申请实施例提供的电子设备的硬件结构示意图。
具体实施方式
[0027]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。
[0028]本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
[0029]下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的图像聚类方法进行详细地说明。
[0030]图2为本申请实施例提供的图像聚类方法流程示意图之一，如图2所示，本申请实施例提供一种图像聚类方法，该方法包括：
[0031]步骤201，对至少两张人物图像分别进行人脸特征分析和人体特征分析，确定各所述人物图像的人脸特征信息、与所述人脸特征信息对应的人脸质量信息和人体特征信息；
[0032]本申请实施例所提供的图像聚类方法可以由服务器执行，也可以由终端执行。终端包括但不限于智能手机、平板电脑和计算机等。
[0033]人物图像为通过照相机、摄像机、智能手机、平板电脑和计算机等设备拍摄获取的图像或从这些设备拍摄的视频中抽取的图像帧数据。
[0034]至少两张人物图像可以存储在本地终端，也可以存储在云端服务器。当人物图像存储在本地终端时，图像聚类方法在本地处理；当人物图像存储在云端服务器时，图像聚类方法在云端处理。
[0035]图3是本申请实施例提供的图像聚类方法流程示意图之二，如图3所示，人脸特征分析包括人脸检测、人脸特征提取和人脸质量评估，人体特征分析包括人体检测和人体特征提取。
[0036]人脸特征分析的过程包括：使用人脸检测模型检测出每张人物图像中的人脸区域；使用人脸对齐模型将人物图像的人脸区域中的人脸关键点进行对齐；使用人脸特征提取模型对对齐后的每个人脸区域进行特征提取得到人脸特征信息，并使用人脸质量评估模型对对齐后的每个人脸区域进行人脸质量评估得到人脸质量信息。
[0037]人脸检测模型可以为支持向量机模型和贝叶斯分类器等，人脸对齐模型可以为主观形状模型、主动外观模型和有约束的局部模型等，人脸特征提取模型和人脸质量本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像聚类方法，其特征在于，包括：对至少两张人物图像分别进行人脸特征分析和人体特征分析，确定各所述人物图像的人脸特征信息、与所述人脸特征信息对应的人脸质量信息和人体特征信息；基于所述人脸特征信息、所述人脸质量信息和所述人体特征信息，或者所述人脸特征信息和所述人脸质量信息，确定所述人物图像中每两张人物图像之间的人像相似度；基于所述人像相似度对所述人物图像进行图像聚类，得到至少一个人物图像集合。2.根据权利要求1所述的图像聚类方法，其特征在于，所述基于所述人脸特征信息、所述人脸质量信息和所述人体特征信息，或者所述人脸特征信息和所述人脸质量信息，确定所述人物图像中每两张人物图像之间的人像相似度，包括：在所述两张人物图像满足预设条件的情况下，基于所述两张人物图像的人脸特征信息、所述两张人物图像的人脸质量信息和所述两张人物图像的人体特征信息确定所述人像相似度；在所述两张人物图像不满足所述预设条件的情况下，基于所述两张人物图像的人脸特征信息和所述两张人物图像的人脸质量信息确定所述人像相似度；其中，所述预设条件包括：所述两张人物图像的人体特征信息均不为空，且所述两张人物图像的拍摄时间在同一预设时间段内。3.根据权利要求2所述的图像聚类方法，其特征在于，所述在所述两张人物图像不满足所述预设条件的情况下，基于所述两张人物图像的人脸特征信息和所述两张人物图像的人脸质量信息确定所述人像相似度，包括：在所述两张人物图像不满足所述预设条件的情况下，基于所述两张人物图像的人脸特征信息，确定所述人脸特征信息的相似度以作为待调整相似度；基于所述两张人物图像的人脸质量信息调整所述待调整相似度，得到所述人像相似度。4.根据权利要求2所述的图像聚类方法，其特征在于，所述在所述两张人物图像满足预设条件的情况下，基于所述两张人物图像的人脸特征信息、所述两张人物图像的人脸质量信息和所述两张人物图像的人体特征信息确定所述人像相似度，包括：在所述两张人物图像满足所述预设条件的情况下，基于所述两张人物图像的人脸特征信息和所述两张人物图像的人体特征信息，确定所述人脸特征信息和所述人体特征信息的综合相似度以作为待调整相似度；基于所述两张人物图像的人脸质量信息调整所述待调整相似度，得到所述人像相似度。5.根据权利要求4所述的图像聚类方法，其特征在于，所述基于所述两张人物图像的人脸特征信息和所述两张人物图像的人体特征信息，确定所述人脸特征信息和所述人体特征信息的综合相似度，包括：基于所述两张人物图像的人脸特征信息，确定所述人脸特征信息的相似度；基于所述两张人物图像的人体特征信息，确定所述人体特征信息的相似度；将所述人脸特征信息的相似度和所述人体特征信息的相似度求和取平均值；将所述人脸特征信息的相似度和所述平均值进行比较得到的最大的值确定为所述综合相似度。
6.根据权利要求3或4所述的图像聚类方法，所述人脸质量信息包括人脸角度、人脸清晰度和人脸遮挡程度，所述基于所述两张人物图像的人脸质量信息调整所述待调整相似度，得到所述人像相似度，包括：基于所述两张人物图像中每张人物图像的人脸角度、人脸清晰度和人脸遮挡程度，确定每张所述人物图像的人脸特征综合质量信息；将所述两张人物图像的人脸特征综合质量信息归一化处理，将归一化处理后的所述人脸特征综合质量信息映射到预设最低衰减基数和1之间的区间，得到映射后的所述人脸特征综合质量信息；基于映射后的所述人脸特征综合质量信息调整所述待调整相似度，得到所述人像相似度。7.根据权利要求1
‑
5任一项所述的图像聚类方法，其特征在于，所述每两张人物图像包括第一人物图像和第二人物图像，所述基于所述人像相似度对所述人物图像进行图像聚类，得到至少一个人物图像集合，包括：在所述第一人物图像和所述第二人物图像之间的人像相似度大于第一预设阈值的情况下，从所述人物图像中获取所述第一人物图像的M个近似人物图像，M为正整数，所述近似人物图像是所述人物图像中与所述第一人物图像之间的人像相似度大于第二预设阈值的人物图像；在所述第二人物图像与所述第一人物图像的近似人物图像之间人像相似度的平均值大于第三预设阈值的情况下，控制所述两张人物图像聚类到同一个所述人物图像集合，遍历所述人物图像中的每两张人物图像，得到至少一个人物图像集合。8.根据权利要求1
‑
5任一项所述的图像聚类方法，其特征在于，所述人物图像的人脸特征信息和人脸质量信息是通过将所述人物图像输入人脸超分辨率网络模型中，由所述人脸超分辨率网络模型输出得到的，所述人脸超分辨率网络模型在所述对至少两张人物图像分别进行人脸特征分析和人体特征分析，确定各所述人物图像的人脸特征信息、与所述人脸特征信息对应的人脸质量信息和人体特征信息之前获取，获取方式包括：将每个人物图像样本输入预设人脸超分辨率网络模型中，输出每个所述人物图像样本的人脸特征信息和人脸质量信息；确定每个所述人物图像样本的人脸特征信息的损失值和人脸质量信息的损失值；基于每个所述人物图像样本的人脸质量信息对所述人脸特征信息的损失值进行调整，得到所述人脸特征信息调整后的损失值；基于所述人脸质量信息的损失值和所述人脸特征信息调整后的损失值，联合优化训练...

【专利技术属性】
技术研发人员：程林，
申请(专利权)人：维沃移动通信有限公司，
类型：发明
国别省市：