一种基于美术图像标签的检索推送方法及其用途技术

本发明专利技术公开了一种基于美术图像标签的检索推送方法，包括以下步骤：构建标签模型数据库：利用不同科目、各个类别的训练样本，进行不同标签内容的训练，对训练样本进行分类和归类，获得标签模型数据库

【技术实现步骤摘要】
一种基于美术图像标签的检索推送方法及其用途


[0001]本专利技术涉及一种图像识别及信息推送技术，尤其涉及一种基于美术图像标签的检索推送方法及其用途。

技术介绍

[0002]随着人们的生活水平的不断提高，人们对自身的素质要去不断提高；越来越多的人关注自身才艺的培养。随着素质教育的普及，越来越多的学生投身美术学习的道路上。其中美术作为一项实用艺术广受欢迎，为进行针对性的学习，在美术学习过程中，经常需要检索相关美术作品。除此之外，美术专业本身乃至与美术专业相关的设计专业，都存在着检索高度精准的美术图像的工作需要，如学生进行视觉研究，人工智能美术图像的训练等，都需要基于美术图像语义中的某一特定领域进行大量的图像收集工作，但现有针对图像的检索方式较为粗放，市面上尚未出现专门根据美术图像进行检索的方式。因此，现有的检索方式和图像检索工具满足不了此类专业性较强的工作需要，给现有的美术工作者、美术专业及其设计专业、人工智能视觉领域的研究者乃至机构带来了较大困扰。
[0003]现有检索方法：
[0004]普遍为相关字、文字描述和关键词的搜索，该本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于美术图像标签的检索推送方法，其特征在于：包括以下步骤：S1、构建标签模型数据库利用不同科目、各个类别的训练样本，进行不同标签内容的训练，并按照知识点标签对数据库内的训练样本进行分类和归类，获得标签模型数据库；S2、检索推送检索：将美术作品图像样本上传至训练完毕的标签模型数据库，而后提取美术作品图像样本的知识点标签，再检索与之相关联的美术作品，而后根据提取的美术作品图像样本的知识点标签，分别对美术作品图像样本进行判定；推送：根据用户上传的美术作品图像样本和检索图像的标签数据推送相关联的美术作品；S3、实时更新标签模型数据库实时记录输入的美术作品图像样本的知识点标签，并根据多次上传的美术作品图像样本进行共性标签和模型构建，后续加大此类内容的推送，且推送的内容根据用户实时上传的美术作品图像样本实时更新，在此过程中若使用者后续更改上传其他类与原先图像科目无关的新图像，则将进行基于该科目图像的新模型构建；S4、生成用户画像当用户使用一段时间后，对用户上传的美术作品图像样本、检索图像的标签数据进行综合分析，生成用户画像。2.根据权利要求1所述的一种基于美术图像标签的检索推送方法，其特征在于：步骤S1中具体包括以下步骤：首先，通过收集一定量的美术作品图像，并且对于美术作品图像的知识点标签进行标注，构成训练数据集，再通过自监督的方式进行训练，得到有学习能力的图像标注系统；同时考虑到图像数量极大，无法对于大量图像进行人力标注，因此需要再通过半监督学习的方式，对数据库中不断输入的未标注的美术作品图像与已标注的图像一起训练，半监督学习通过不断对于输入的无标注美术作品图像进行预测并标注，形成伪标签，并入训练数据集，继续进行学习，以增强本系统的鲁棒性，新的训练数据库为：D＝{(x1,y1),
…
,(x
l
,y
l
),x
l+1
,
…
,x
m
}其中有l个样本是有标注的，还有m
‑
l个样本是无标注的。3.根据权利要求1所述的一种基于美术图像标签的检索推送方法，其特征在于：步骤S2中的知识点标签包括直观知识和间接知识；所述直观知识包括经美术作品图像样本直接读取的科目信息知识、物品信息知识、主色调知识、色彩冷暖关系知识、黑白灰关系知识、空间知识、技法知识、刻画程度知识、物动态知识、人物特征知识、五官比例知识、人物特征知识、形体块面知识、结构透视知识、色阶关系知识、画纸磨损情况；所述间接知识包括用文本知识和视频知识。4.根据权利要求3所述的一种基于美术图像标签的检索推送方法，其特征在于：步骤S2中的物品信息知识提取具体包括以下步骤：首先训练卷积神经网络，然后输入美术作品图像样本，利用深度可分离卷积神经网络对美术作品图像内容进行识别，并将不同形态的物品进行提取，而后利用SoftMax分类器对美术作品图像上的物品贴上标签，再利用多头注意
力机制对该美术作品图像样本中涉及物品赋予该学科属性标签；当美术作品图像样本为素描静物时，包括以下步骤：首先需要对于输入的训练样本进行素描静物的目标检测，通过素描图像的静物检测及标签数据对于yolov5网络模型进行训练，然后在yolov5网络的Neck网络通过PANET结构进行掩模预测，再利用GOU_Loss作为素描静物检测的目标函数进行优化，得到最优的yolov5素描图像的静物检测模型，最后通过非极大值抑制处理，输出预测静物类别以及静物预测区域信息，并按照静物区域坐标进行裁剪并输出，训练完成后，对于输入的样本通过加载上述最优的yolov5素描图像的静物检测模型参数进行预测，得到预测静物类别，并按照静物区域坐标裁剪输入素描图像，输出样本素描图像中的各静物图像以及学科属性标签；其中，GIOU_Loss的目标函数如下：其中，GIOU_Loss的目标函数如下：其中，GIOU_Loss的目标函数如下：式中，A、B为预测的两个IOU框的面积，C代表包围A、B的最小面积。5.根据权利要求3所述的一种基于美术图像标签的检索推送方法，其特征在于：步骤S2中的黑白灰关系知识提取具体包括以下步骤：输入美术作品图像样本，将黑白图片或者由彩色图片转换的黑白图片进行明度关系提取，根据不同明度色块的在画面中的面积占比，判断该画面整体为何种明度画面，即判断黑白灰关系，并基于此给予明度标签和优秀等级标签；当美术作品图像样本为水粉静物时，包括以下步骤：首先，需要将输入的水粉静物样本利用灰度图生成算法生成灰度图，利用亮度RGB分量近似RGB再除以3，并加上色度值UV求取平均值，得到图像灰度值I1，以获得感知和结构上良好的灰度图像质量，计算公式如下：Y＝(0.299
×
R)+(0.587
×
G)+(0.114
×
B)U＝(B
‑
Y)
×
0.565V＝(R
‑
Y)
×
0.713UV＝U+VR1＝R
×
0.299R2＝R
×
0.587R3＝R
×
0.114G1＝G
×
0.299G2＝G
×
0.587G3＝G
×
0.114B1＝B
×
0.299B2＝B
×
0.587B3＝B
×
0.114
R4＝(R1+R2+R3)/3G4＝(G1+G2+G3)/3B4＝(B1+B2+B3)/3I1＝(R4+G4+B4+UV)/4END再将图像等分成10个矩形色块，并通过K
‑
means聚类算法计算每个色块的主灰度，而后提取主灰度的K
‑
means聚类算法，对于每个色块的像素点灰度值进行聚类，需要对矩形色块内的每个像素点灰度值与其对应聚类中心灰度值的距离平方之和求最小，即式中，n代表色块中像素点的坐标，C(n)代表该像素的灰度值，N代表每个色块内的像素点数量，K代表预设聚类数；然后，根据该聚类算法...

【专利技术属性】
技术研发人员：蔡奕辉，纪毅，肖嘉胤，李珍妮，肖映河，郑少龙，郭晓颖，谢嘉琪，林俊贤，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：