图像相似度确定及模型训练方法、装置、设备和介质制造方法及图纸

本公开涉及图像处理技术领域，公开了一种图像相似度确定及模型训练方法、装置、设备和介质。该方法包括：收集多个手写字符图像，并基于各所述手写字符图像和预设数据增广模型进行数据增广操作，生成训练样本集；其中，所述手写字符图像包含易辨识手写字符图像和难辨识手写字符图像，所述预设数据增广模型基于书写运动学而构建；基于所述训练样本集，对预设神经网络模型进行训练，生成图像相似度确定模型。通过上述技术方案，实现了基于书写运动学原理对收集的少量手写字符图像进行数据增广，以获取大量训练样本，提高了模型训练效率以及模型对手写字符图像的识别准确率。

【技术实现步骤摘要】
图像相似度确定及模型训练方法、装置、设备和介质
本公开涉及图像处理
，尤其涉及一种图像相似度确定及模型训练方法、装置、设备和介质。
技术介绍
字符图像相似度评估是图像相似度评估的特定问题，所谓字符图像就是指图像的内容是字符、字母或者数字。字符图像相似度评估在很多问题中都有非常重要的价值，如笔迹对比、拍照搜题、电子化批改作业等。通过字符图像相似度评估可以识别图像中的手写字符，然后将识别的手写字符与其可能的标准字符图像进行比较，得到两者之间的相似度，为后续的字迹对比、判题和搜索等操作提供有力的先验知识。目前的图像相似度评估多是利用深度学习方法，其利用神经网络模型对图像进行特征提取，能够将图像的数值信息和语义信息全部利用起来，并通过反向传播算法来优化损失函数，当损失函数的值被优化达到一个比较好的结果时，网络对图像进行相似度评估能够取得非常好的结果。但是，考虑到书写者的笔迹与标准体之间的差距，以及书写者涂改、勾画、涂抹等随意操作导致的手写字符极难辨认或无法辨识等情况，使得基于深度学习的神经网络模型的字符识别的置信度很低。为了提高难本文档来自技高网...

【技术保护点】
1.一种图像相似度确定模型训练方法，其特征在于，包括：/n收集多个手写字符图像，并基于各所述手写字符图像和预设数据增广模型进行数据增广操作，生成训练样本集；其中，所述手写字符图像包含易辨识手写字符图像和难辨识手写字符图像，所述预设数据增广模型基于书写运动学而构建；/n基于所述训练样本集，对预设神经网络模型进行训练，生成图像相似度确定模型。/n

【技术特征摘要】
1.一种图像相似度确定模型训练方法，其特征在于，包括：
收集多个手写字符图像，并基于各所述手写字符图像和预设数据增广模型进行数据增广操作，生成训练样本集；其中，所述手写字符图像包含易辨识手写字符图像和难辨识手写字符图像，所述预设数据增广模型基于书写运动学而构建；
基于所述训练样本集，对预设神经网络模型进行训练，生成图像相似度确定模型。


2.根据权利要求1所述的方法，其特征在于，所述基于各所述手写字符图像和预设数据增广模型进行数据增广操作，生成训练样本集包括：
将每个所述手写字符图像和各字符形变调整参数的设定参数值输入所述预设数据增广模型，生成相应手写字符图像的增广字符图像；其中，所述预设数据增广模型由第一预设数量的对数高斯函数响应信号构成，且每个所述对数高斯函数响应信号由第二预设数量的所述字符形变调整参数控制形变程度；
由各所述手写字符图像和各所述增广字符图像构建所述训练样本集。


3.根据权利要求1所述的方法，其特征在于，所述基于所述训练样本集，对预设神经网络模型进行训练，生成图像相似度确定模型包括：
基于所述训练样本集和正负样本比例，构建包含各正样本的正样本集和包含各负样本的负样本集；其中，所述正样本包含任一个所述易辨识手写字符图像和第三预设数量的所述难辨识手写字符图像，且相应难辨识手写字符图像中的字符和相应易辨识手写字符图像中的字符相同；所述负样本包含任一个所述易辨识手写字符图像和所述第三预设数量的其他手写字符图像，所述其他手写字符图像包含所述易辨识手写字符图像和/或所述难辨识手写字符图像，且所述其他手写字符图像中的字符和相应易辨识手写字符图像中的字符不同；
基于各所述正样本和各所述负样本，对所述预设神经网络模型进行训练，生成所述图像相似度确定模型。


4.根据权利要求3所述的方法，其特征在于，所述预设神经网络模型包含特征提取子网络和相似度估计子网络；其中，所述特征提取子网络为包含第四预设数量个分支的卷积神经网络，每个所述分支包含5个卷积层和3个池化层；所述第四预设数量为所述第三预设数量加1；所述相似度估计子网络包含3个全连接层和损失函数，且最后一个所述全连接层的节点数为所述第三预设数量。


5.根据权利要求4所述的方法，其特征在于，所述基于各所述正样本和各所述负样本，对所述预设神经网络模型进行训练，生成所述图像相似度确定模型包括：
将所述训练样本集中的任一样本中的所述易辨识手写字符图像输入所述预设神经网络模型的第一分支，将所述样本中的剩余手写字符图像分别输入所述预设神经网络模型的各剩余分支，并运行所述预设神经网络模型，输出模型训练结果；其中，所述样本为所述正样本或所述负样本，所述模型训练结果为所述第三预设数量的图像相似度值；
基于所述模型训练结果、所述样本的样本类型和所述样本类型的训练参照值，利用所述损失函数，确定损失值；其中，所述样本类型为正样本类型或负样本类型；
若所述损失值或训练次数未满足模型收敛条件，则基于所述损失值，调整所述预设神经网络模型的模型参数，并继续模型训练过程，直至所述损失值或所述训练次数满足所述模型收敛条件，生成所述图像相似度确定模型。


6.根据权利要求5所述的方法，其特征在于，所述基于所述模型训练结果、所述样本的样本类型和所述...

【专利技术属性】
技术研发人员：张蓓蓓，秦勇，
申请(专利权)人：北京易真学思教育科技有限公司，
类型：发明
国别省市：北京;11