基于生成式对抗网络模型书法字帖评价系统及方法技术方案

基于生成式对抗网络模型书法字帖评价系统及方法，涉及图像处理技术领域，为解决现有技术中因人工主观性的影响，导致对书写质量评价准确性低的问题，包括展示层、业务层和数据库，展示层用于用户交互；业务层包括定位模块、识别模块和相似对比模块，定位模块根据用户所上传的字帖图像进行文本框定位，然后传给识别模块，识别模块利用定位模块所定位的文本框的位置并通过Inception‑V3网络框架进行文字识别，选择概率最大的文字输出文字的索引，相似对比模块依据识别模块输出的索引在数据库中找到相对应的文字进行相似对比；数据库用于存放文字信息数据。本发明专利技术减少了人为的参与，提高了书写质量评价的准确性。

The evaluation system and method of calligraphy posts based on generative adversary network model

【技术实现步骤摘要】
基于生成式对抗网络模型书法字帖评价系统及方法
本专利技术涉及图像处理
，具体为一种基于生成式对抗网络模型书法字帖评价系统及方法。
技术介绍
汉字亦称中文字、中国字、国字，属于表意文字的词素音节文字，由汉人专利技术并改进，是世界上最古老的四大自源文字(两河流域的楔形文字、古埃及的圣书字、中国商朝甲骨文、玛雅文字)中唯一沿用至今的文字。汉字是中国迄今为止连续使用时间最长的主要文字，中国历代皆以汉字为主要官方文字。隶变是汉字发展史上的一个里程碑，汉字发展至汉朝隶书时被取名为“汉字”。书法，是中国及深受中国文化影响过的周边国家和地区特有的一种文字美的艺术表现形式。包括汉字书法、蒙古文书法、阿拉伯书法和英文书法等。其"中国书法"，是中国汉字特有的一种传统艺术。从广义讲，书法是指文字符号的书写法则。换言之，书法是指按照文字特点及其含义，以其书体笔法、结构和章法书写，使之成为富有美感的艺术作品。汉字书法为汉族独创的表现艺术，被誉为:无言的诗，无行的舞；无图的画，无声的乐等。
技术实现思路
本专利技术的目的是：针对现有技术中因人工主观性的影响，导致对书写质量评价准确性低的问题，提出一种基于生成式对抗网络模型书法字帖评价系统及方法。本专利技术为了解决上述技术问题采取的技术方案是：基于生成式对抗网络模型书法字帖评价系统，包括展示层、业务层和数据库，所述展示层用于用户交互；所述业务层包括定位模块、识别模块和相似对比模块，所述定位模块根据用户所上传的字帖图像进行文本框定位，然后传给识别模块，所述识别模块利用定位模块所定位的文本框的位置并通过Inception-V3网络框架进行文字识别，选择概率最大的文字输出文字的索引，所述相似对比模块依据识别模块输出的索引在数据库中找到相对应的文字进行相似对比；所述数据库用于存放文字信息数据。基于生成式对抗网络模型书法字帖评价方法，包括以下步骤：步骤一：将图像进行预处理，得到固定大小的图片；步骤二：利用darknet-53网络模型得到三种不同大小的特征图；步骤三：选择和真实目标的具有最大交并比的anchorbox进行预测，得到预测坐标；步骤四：利用Inception-v3对字帖中目标定位后的文字进行识别；步骤五：利用Inception-v3的瓶颈层进行特征向量提取，并计算两个特征向量的距离损失，根据距离损失，并引入排名机制得到最终评价。进一步的，所述步骤一中预处理包括去噪和裁剪。进一步的，所述步骤三的详细步骤为：首先将每种特征图都划分为小网格，每种特征图对应三种不同大小的anchorbox,由物体中心对应的网格进行预测，选择和真实目标具有最大交并比的anchorbox进行预测，然后通过NMS筛选重叠预测框，最后以张量形式得到整张图的文本框的预测坐标。进一步的，所述步骤三中还包括使用YOLO-V3网络的步骤。进一步的，所述步骤四的具体步骤为：首先利用网络中的瓶颈层进行训练，并将最后的激活函数softmax的节点个数修改为文字的个数。进一步的，所述步骤四的具体步骤为：首先利用网络中的瓶颈层进行训练，并将最后的激活函数softmax的节点个数修改为文字的个数。进一步的，所述距离损失通过欧式距离计算。本专利技术的有益效果是：本专利技术采用神经网络对书法字帖进行处理，从而对书写质量进行评价，本专利技术减少了人为的参与，提高了书写质量评价的准确性。附图说明图1为系统构架图。图2为darknet-53网络框架图。图3为Darknet-53网络结构说明图。图4为预测输出图。图5为误差损失示意图。图6为检测结果示意图。图7为Inception-v3网络架构图。图8为Inception-v3分支结构图。图9为Inception-v3模型示意图。图10为具体实施例数据图。具体实施方式具体实施方式一：参照图具体说明本实施方式，本实施方式所述的基于生成式对抗网络模型书法字帖评价系统，包括展示层、业务层和数据库，所述展示层用于用户交互；所述业务层包括定位模块、识别模块和相似对比模块，所述定位模块根据用户所上传的字帖图像进行文本框定位，然后传给识别模块，所述识别模块利用定位模块所定位的文本框的位置并通过Inception-V3网络框架进行文字识别，选择概率最大的文字输出文字的索引，所述相似对比模块依据识别模块输出的索引在数据库中找到相对应的文字进行相似对比；所述数据库用于存放文字信息数据。展示层：系统前台，项目中的所用载体为微信小程序。其中包括的主要功能有评分功能、得分记录等。业务层：业务层分为三个模块。定位模块根据用户所拍照上传的字帖照片进行文本框的定位，并传给识别模块进行调用；识别模块利用定位模块所定位的文本框的位置，通过Inception-v3网络框架进行文字识别，选择概率最大的文字输出文字的索引；相似度对比模块主要依据识别模块所输出的索引号在数据库中找到相对应的文字进行相似性对比，从而进行评分。数据库：最底层为数据库，存储着小学生所要掌握的标准文字以及各种结构表，结构表用于存放用户的各种信息。如图2所示。目标定位是计算机视觉领域对于目标检测方向的实际应用。项目采用YOLOv3目标检测方法，YOLOv3目标检测方法是YOLOv1和YOLOv2方法的改进版，是目前计算机视觉目标检测领域时效性和准确性综合效率最高的目标检测方法。文字定位采用YOLOv3方法，它采用了darknet-53网络框架，利用深度学习的卷积技术通过对大量的数据集的标注和训练实现对于字帖中每个文本框的坐标定位。如图2所示。首先将图像进行预处理得到固定大小的图片，然后利用darknet-53网络模型得到三种不同大小的特征图。在darknet-53网络结构中，利用残差网络技术来加速损失熵的收敛，防止出现梯度消失问题；利用BatchNormalization(批次归一化)使得数据处于同一分布，避免出现过拟合问题；利用上采样技术使得顶层网络与上一层的网络进行连接，从而得到三种不同大小的特征图，使得能够更加精准的识别每一个文本框。如图3所示。然后对三种不同的特征图进行预测处理。将每种特征图都划分为小网格，物体中心落在哪个网格就由哪个网格进行预测。最后通过NMS(非极大值抑制，Non-MaximumSuppresion)筛选重叠预测框，最终以张量形式得到整张图的文本框的预测坐标。为了避免出现模型的不稳定，模型预测的是边界框中心点相对于对应网格左上角位置的相对偏移值(tx，ty)，以及tw，th。为了将边界框中心点约束在当前网格，使用sigmoid函数处理偏移值。若物体中心点所对应的网格左上角的顶点坐标为(Cx，Cy),anchorbox所对应的width为Pw,high为Ph，则所对应的最终预测结果bx,by,bw,bh如图4所示。YOLO本文档来自技高网...

【技术保护点】
1.基于生成式对抗网络模型书法字帖评价系统，其特征在于：包括展示层、业务层和数据库，所述展示层用于用户交互；/n所述业务层包括定位模块、识别模块和相似对比模块，所述定位模块根据用户所上传的字帖图像进行文本框定位，然后传给识别模块，所述识别模块利用定位模块所定位的文本框的位置并通过Inception-V3网络框架进行文字识别，选择概率最大的文字输出文字的索引，所述相似对比模块依据识别模块输出的索引在数据库中找到相对应的文字进行相似对比；/n所述数据库用于存放文字信息数据。/n

【技术特征摘要】
1.基于生成式对抗网络模型书法字帖评价系统，其特征在于：包括展示层、业务层和数据库，所述展示层用于用户交互；
所述业务层包括定位模块、识别模块和相似对比模块，所述定位模块根据用户所上传的字帖图像进行文本框定位，然后传给识别模块，所述识别模块利用定位模块所定位的文本框的位置并通过Inception-V3网络框架进行文字识别，选择概率最大的文字输出文字的索引，所述相似对比模块依据识别模块输出的索引在数据库中找到相对应的文字进行相似对比；
所述数据库用于存放文字信息数据。


2.基于生成式对抗网络模型书法字帖评价方法，其特征在于包括以下步骤：
步骤一：将图像进行预处理，得到固定大小的图片；
步骤二：利用darknet-53网络模型得到三种不同大小的特征图；
步骤三：选择和真实目标的具有最大交并比的anchorbox进行预测，得到预测坐标；
步骤四：利用Inception-v3对字帖中目标定位后的文字进行识别；
步骤五：利用Inception-v3的瓶颈层进行特征向量提取，并计算两个特征向量的距离损失，根据距离损失，并引入排名机制得到最终评价。


3.根据权利要求2所述的基于...

【专利技术属性】
技术研发人员：秦毅，米红丹，
申请(专利权)人：黑龙江德亚文化传媒有限公司，
类型：发明
国别省市：黑龙;23