一种基于AR眼镜的书画关联比对分析方法与系统技术方案

本发明专利技术公开了一种基于AR眼镜的书画关联比对分析方法与系统，包括印章检测模块、印章检索模块和用户交互模块，所述印章检测模块包括书画作品图像模块，所述书画作品图像模块连接有书画作品数据集模块，所述书画作品数据集模块连接有印章检测模块模块，所述印章检索模块包括印章图像模块，所述印章图像模块连接有印章图像预处理与校正模块，所述印章图像预处理与校正模块连接有检索模型模块，所述用户交互模块包括输入图像模块，所述输入图像模块和印章检测模型模块连接有检测结果模块。本发明专利技术提出了一个较为完整的交互式书画检索系统，实现了书画作品中的印章检测，并结合印章的特征对相关书画作品进行高效率的检索。对相关书画作品进行高效率的检索。对相关书画作品进行高效率的检索。

【技术实现步骤摘要】
一种基于AR眼镜的书画关联比对分析方法与系统


[0001]本专利技术涉及书画作品
，具体为一种基于AR眼镜的书画关联比对分析方法与系统。

技术介绍

[0002]古代书画作品是研究古代艺术史发展和不同朝代人文历史的重要途径。当前国内外对于中国古代书画作品的研究主要通过对书画作品结构信息和主体内容信息进行分析，而忽略了作者和收藏者所盖的印章包含的重要特征信息。现存的书画作品真假混杂，且数量庞大，存储极为分散，缺乏完整的数据库与包含作品之间关联关系的知识网络，对于人文工作者的研究造成了一些困难。考虑到印章中的信息极为重要，本技术结合书画作品中印章图像的特征，实现了相关书画作品的检索，并将系统移植到安卓移动端，使用了AR眼镜技术，以更好地辅助人文工作者进行书画作品的比对以及不同书画作品间关联关系的挖掘。
[0003]在书画作品比对与关联关系挖掘领域缺乏相关技术研究基础，工作繁琐，易出差错；书画作品相关现有技术主要应用于单一场景，如印章鉴别、书画作品生成、风格迁移等领域，缺乏统一方法与数据；且现有技术在准确率不够高、计算较慢，尚未得到广泛落地应用。

技术实现思路

[0004]本专利技术的目的在于提供一种基于AR眼镜的书画关联比对分析方法与系统，
[0005]本专利技术是这样实现的：
[0006]一种基于AR眼镜的书画关联比对分析方法与系统，包括印章检测模块、印章检索模块和用户交互模块，所述印章检测模块包括书画作品图像模块，所述书画作品图像模块连接有书画作品数据集模块，所述书画作品数据集模块连接有印章检测模块模块，所述印章检索模块包括印章图像模块，所述印章图像模块连接有印章图像预处理与校正模块，所述印章图像预处理与校正模块连接有检索模型模块，所述用户交互模块包括输入图像模块，所述输入图像模块和印章检测模型模块连接有检测结果模块，所述检测结果模块连接有输入印章图像模块，所述输入印章图像模块与所述印章图像预处理与校正模块的输入端连接，所述用户交互模块还设有检索结果模块，所述检索模型模块与所述检索结果模块的输入端连接。所述用户交互模块通过手机APP进行信息交互。所述印章检测模块和印章检索模块集成在服务器中，所述服务器通过互联网与用户交互模块无线连接，并且所述用户交互模块为智能手机或平板电脑，通过用户交互模块连接有AR眼镜。
[0007]进一步，基于AR眼镜的书画关联比对分析方法，具体按以下步骤执行：
[0008]S1：首先使用网络上搜集831张书画作品清晰正面图像，存储到印章检测模块中的书画作品数据集模块中，使用Labelme工具，对书画作品图像中的印章进矩形标注，用印章左上角和右下角两个点的坐标描述该印章在原书画作品中的位置，保存结果用于训练，并收敛得到印章检测模型；
[0009]S2：通过印章检测模块，通过目标检测算法Yolov4从书画作品图像中自动化地检测印章并框出；
[0010]该算法主要采用一个单独的CNN模型来实现端到端的目标检测。首先将一张输入的图像重设大小为448
×
448，并将其输入CNN网络，最后处理CNN网络预测的结果，得到检测的目标。
[0011]具体来说，Yolo算法将输入图像重设大小并输入CNN网络后，该网络将输入的图像分割成S
×
S的网格，每一个网格单元负责检测那些中心点落在该网格单元中的目标，并预测B个边界框和边界框的置信度，即该边界框包含目标的可能性和边界框的准确度。边界框包含目标的可能性记为P(object)，若该边界框不包含目标，则P(object)＝0，若该边界框包含目标，则P(object)＝1。边界框的准确度通过预测框与真实框的IOU来表示，记为
[0012]边界框的置信度可以定义为用(x,y,w,h)四个值来表示边界框的大小和位置，其中(x,y)是边界框的中心坐标，而w和h分别是边界框的宽和高。边界框的预测值用(x,y,w,h,c)五个值来表示，其中(x,y)是相对于该网格单元左上角坐标的偏移值，w和h分别是相对于整个图像的宽和高的比例，c是边界框的置信度。
[0013]除此之外，Yolo算法最终还会输出预测得到的C个类别概率值
[48]。每个网格单元会负责预测出目标属于各个类别的概率值，这些概率值是在各个边界框置信度下的条件概率，可以表示为P(class
i
|object)，由此可以计算出各个边界框的类别置信度，如式(0)
[0014][0015]类别置信度用来衡量边界框与其中目标匹配的好坏程度和目标属于各个类别的可能性大小，因此，会根据类别置信度过滤网络的预测框，得到最终的预测结果。
[0016]假设输入的图像被分割成了S
×
S个网格单元，一共有C个类别，每个网格单元负责预测B个边界框，那么每个网格单元会负责预测(B
×
5+C)个值，最终网络输出的预测值P是一个大小为[batch,S
×
S
×
(B
×
5+C)]的二维张量，切片即可得到边界框的预测结果。
[0017]S3：通过提取该输入印章的特征并将其与印章数据库中的印章特征进行比对，检索得到印章数据库中与原输入印章图像最相似的印章，具体是利用VGG16的卷积层和第一个全连接层结构，提取印章的16维特征f
i
,f
j
∈R
16
来代表一个印章的特征，并通过对不同印章的16维特征向量的夹角余弦的大小来表征不同印章的相似度。印章检索模块中的检索模型模块采用VGGNet作为检索部分的网络主干，并采用Siamese网络实现印章相似度的度量。
[0018]Siamese网络的主要思想是将输入图像通过一个函数G
W
(X)映射到目标空间，其中参数为W，然后在目标空间使用欧氏距离等方法来对比相似度。
[0019]在训练阶段，Siamese网络使用Contrasive Loss作为损失函数，将来自同一类别的样本的损失函数值最小化，将来自不同类别的样本的损失函数值最大化。即给定一组映射函数G
W
(X)，在训练过程中寻找一组参数W，使得当X1和X2属于同一个类别时，相似性度量E
W
(X1,X2)＝||G
W
(X1)
‑
G
W
(X2)||的值最小化，而当X1和X2分属于不同类别时，相似性度量E
W
(X1,X2)＝||G
W
(X1)
‑
G
W
(X2)||的值最大化。
[0020]对于Siamese网络来说，它的结构是对称的，图中的两个Convolutional Network在本技术中选择了VGG16。Siamese网络的每一次的输入是成对的两个样本，这两个样本使用同一个映射函数G
W
(X)，共享相同的参数W。对这两个样本来说，不再有原有类别标签的概念，而是通过它本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于AR眼镜的书画关联比对分析系统，其特征在于：包括印章检测模块、印章检索模块和用户交互模块，所述印章检测模块包括书画作品图像模块，所述书画作品图像模块连接有书画作品数据集模块，所述书画作品数据集模块连接有印章检测模块模块，所述印章检索模块包括印章图像模块，所述印章图像模块连接有印章图像预处理与校正模块，所述印章图像预处理与校正模块连接有检索模型模块，所述用户交互模块包括输入图像模块，所述输入图像模块和印章检测模型模块连接有检测结果模块，所述检测结果模块连接有输入印章图像模块，所述输入印章图像模块与所述印章图像预处理与校正模块的输入端连接，所述用户交互模块还设有检索结果模块，所述检索模型模块与所述检索结果模块的输入端连接。2.根据权利要求1所述的一种基于AR眼镜的书画关联比对分析系统，其特征在于，所述用户交互模块通过手机APP进行信息交互。3.根据权利要求1所述的一种基于AR眼镜的书画关联比对分析系统，其特征在于，所述印章检测模块和印章检索模块集成在服务器中，所述服务器通过互联网与用户交互模块无线连接，并且所述用户交互模块为智能手机或平板电脑，通过用户交互模块连接有AR眼镜。4.一种基于AR眼镜的书画关联比对分析方法，其特征在于，具体按以下步骤执行：S1：首先使用网络上搜集多张书画作品清晰正面图像，存储到印章检测模块中的书画作品数据集模块中，使用Labelme工具，对书画作品图像中的印章进矩形标注，用印章左上角和右下角两个点的坐标描述该印章在原书画作品中的位置，保存结果用于训练，并收敛得到印章检测模型；S2：通过印章检测模块，通过目标检测算法Yolov4从书画作品图像中自动化地检测印章并框出；S3：通过提取该输入印章的特征并将其与印章数据库中的印章特征进行比对，检索得到印章数据库中与原输入印章图像最相似的印章。5.根据权利要求4所述的一种基于AR...

【专利技术属性】
技术研发人员：林馨怡，张宏鑫，
申请(专利权)人：浙江大学，
类型：发明
国别省市：