一种字帖网格文字智能匹配方法及系统技术方案

本发明专利技术提供了一种字帖网格文字智能匹配方法及系统，方法包括：通过训练好的热力图预测模型来预测字帖图片内网格交叉点的热力图；对热力图进行特征归一化处理及二值化处理，获取所得二值化图内所有连通区域的轮廓，并计算轮廓的质心，质心表征网格交叉点的位置；采用训练好的文字检测模型获取字帖图片中所有文字的检测框及检测框中心点；根据距离最近匹配原则将网格交叉点与中心点进行匹配，获取每个文字对应的网格点。本发明专利技术通过将字帖的网格交叉点与文字进行位置匹配，能够获取文字在网格中的大小、位置及偏移等占位信息，提高网格与文字的位置匹配精度，完善字帖评分系统，更全面的掌握学生书写情况，便于对学生的书写练字进行辅导。进行辅导。进行辅导。

【技术实现步骤摘要】
一种字帖网格文字智能匹配方法及系统


[0001]本专利技术涉及图像处理
，具体涉及一种字帖网格文字智能匹配方法及系统。

技术介绍

[0002]文字书写是一件极为普通的事情，人人会写字，但并非人人都能写好字。字帖作为一种供学习书法的人临摹的范本，能够引导学生正确地书写出美观好看的汉字。对学生书写字帖进行全方位的监督与指导，能够让学生更快地掌握正确的书写方式，但是由于现实原因教师不可能对所有学生进行一对一指导，现有的字帖评分系统也多是多学生所书写的汉字进行评价，忽略了所写汉字在网格中的占位也是影响书写是否美观的关键要素，而且在对汉字进行评分时，如果对汉字在网格中的占位没有精确定位，也会影响对所写汉字的评价。

技术实现思路

[0003]因此，本专利技术要解决的技术问题是解决现有技术中字帖网格与文字位置匹配不精确的缺陷，从而提供一种字帖网格文字智能匹配方法及系统，通过对字帖网格交叉点进行检测，将文字与网格进行一一匹配，从而能够获取文字在网格中的大小、位置及偏移等占位信息，提高网格与文字的位置匹配精度，完善字帖评分系统，对辅导学习书写练字具有重要意义。
[0004]本专利技术解决上述技术问题的技术方案如下：
[0005]第一方面，本专利技术提供了一种字帖网格文字智能匹配方法，包括以下步骤：
[0006]采集包含网格的字帖图片，并通过将所述字帖图片输入训练好的热力图预测模型，来获取所述字帖图片内网格交叉点的热力图；
[0007]对所述热力图进行特征归一化处理及二值化处理，获取所得二值化图内所有连通区域的轮廓，并计算所述轮廓的质心，所述质心表征网格交叉点的位置；
[0008]采用训练好的文字检测模型对所述字帖图片进行目标检测，获取所述字帖图片中所有文字的检测框，并计算所述检测框的中心点；
[0009]根据距离最近匹配原则，并按照预设顺序将所述网格交叉点与所述中心点进行匹配，获取每个文字对应的网格点。
[0010]本专利技术实施例提供的字帖网格文字智能匹配方法，首先通过预先训练好的热力图预测模型获取字帖图片的热力图，对热力图进行归一化及二值化处理后获得代表网格交叉点的轮廓，并获得每个轮廓的质心位置，其次通过预先训练好的文字检测模型获取字帖图片内文字的检测框，并获得每个检测框的中心点位置，最后将网格交叉点轮廓质心与文字检测框中心点进行匹配，获取每个文字对应的网格点。本专利技术通过将字帖的网格交叉点与文字进行位置匹配，能够获取文字在网格中的大小、位置及偏移等占位信息，提高网格与文字的位置匹配精度，完善字帖评分系统，更全面的掌握学生书写情况，便于对学生的书写练
字进行辅导。
[0011]可选地，所述热力图预测模型的训练过程，包括：收集预设数量的字帖图片，并对所述字帖图片的网格点进行位置坐标标注，生成训练数据；将所述训练数据输入初始化UNet模型，对所述初始化UNet模型进行训练，直至损失函数收敛，获得训练好的热力图预测模型。
[0012]本专利技术通过大量字帖图片进行模型训练，可采用人工标注方式对字帖网格点的位置坐标进行标注，基于标注数据训练初始化UNet模型预测网格交叉点的热力图，训练过程对网格进行优化，直至损失函数收敛得到训练好的热力图预测模型。热力图，是一种通过对色块着色来显示数据的统计图表，不仅有助于发现数据间的关系、找出极值，也常用于刻画数据的整体样貌，方便在数据集之间进行比较。通过神经网络模型预测字帖的热力图，能够清楚展示初字帖的网格交叉点，从而能够实现网格与文字的位置匹配。
[0013]可选地，所述特征归一化处理的过程，包括：获取所述热力图的所有像素点的像素值；将所述像素值按照归一化公式进行计算，公式如下所示：
[0014][0015]其中，x表示热力图中像素点的像素值，x
max
表示热力图中像素值中的最小值，x
max
表示热力图中像素值中的最大值，y表示的热力图进行特征归一化后的像素值；基于特征归一化后的像素值重建归一化后热力图。
[0016]本专利技术通过将获得的热力图的像素值进行归一化处理，将像素值的绝对值变成某种相对值关系，使像素值数据限定在0～1的范围内，能够缩小量值，简化计算过程。
[0017]可选地，所述二值化处理的过程，包括：将归一化后热力图中所有像素点的像素值进行划分，其中将大于预设像素阈值的像素值设置为255，将小于或等于预设像素阈值的像素值设置为0；基于二值化处理后的像素值重建二值化图。
[0018]本专利技术将热力图进行归一化后，像素值被限定在0～1之间，二值化处理则将0～1之间的像素值设置为0或255，将整个图像呈现出明显的只有黑和白的视觉效果，而最终得到的二值化热力图中每个白点代表字帖的网格交叉点。通过二值化处理能够更精确的检测出字帖的网格交叉点，提高网格与文字的匹配精度。
[0019]可选地，所述轮廓质心的计算公式，包括：
[0020][0021]其中，所述二值化图的图像分辨率为n
×
m，x
i
表示二值化图的X轴坐标位置，p
i
表示轮廓区域内不同像素点的像素值，y
j
表示二值化图的Y轴坐标位置，p
j
表示轮廓区域内不同像素点的像素值。
[0022]本专利技术获得的热力图中白点代表字帖的网格交叉点，每个白点都具有连通的轮廓，在此基础上计算白点轮廓的质心能够更精确地获取网格交叉点的位置，提高网格与文字的匹配精度。
[0023]可选地，所述距离最近匹配原则包括：所述网格交叉点距离文字检测框的中心点最近原则。
[0024]可选地，所述文字对应的网格点，包括：左上角点、右上角点、右下角点及左下角点。
[0025]本专利技术获取字帖所有网格交叉点与所有文字检测框的中心点，每个文字处于一个网格中，周围包括4个网格交叉点，因此按照一定顺序将所有网格交叉点及每个中心点按照距离文字检测框中心点最近的原则进行匹配，以此获取文字所在网格的4个网格点，即完成网格与文字的匹配。通过距离最近原则能够确定每个文字所在的网格，根据网格点与中心点坐标关系能够测评书写文字的大小、位置和偏移情况，更全面的对文字书写情况进行辅导。
[0026]第二方面，本专利技术实施例提供了字帖网格文字智能匹配系统，所述系统包括：
[0027]热力图生成模块，用于采集包含网格的字帖图片，并通过将所述字帖图片输入训练好的热力图预测模型，来获取所述字帖图片内网格交叉点的热力图；
[0028]网格交叉点获取模块，用于对所述热力图进行特征归一化处理及二值化处理，获取所得二值化图内所有连通区域的轮廓，并计算所述轮廓的质心，所述质心表征网格交叉点的位置；
[0029]文字检测模块，用于采用训练好的文字检测模型对所述字帖图片进行目标检测，获取所述字帖图片中所有文字的检测框，并计算所述检测框的中心点；
[0030]网格文字匹配模块，用于根据距离最近匹配原则，并按照预设顺序将所述网格交叉点与所述中心本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种字帖网格文字智能匹配方法，其特征在于，包括如下步骤：采集包含网格的字帖图片，并通过将所述字帖图片输入训练好的热力图预测模型，来获取所述字帖图片内网格交叉点的热力图；对所述热力图进行特征归一化处理及二值化处理，获取所得二值化图内所有连通区域的轮廓，并计算所述轮廓的质心，所述质心表征网格交叉点的位置；采用训练好的文字检测模型对所述字帖图片进行目标检测，获取所述字帖图片中所有文字的检测框，并计算所述检测框的中心点；根据距离最近匹配原则，并按照预设顺序将所述网格交叉点与所述中心点进行匹配，获取每个文字对应的网格点。2.根据权利要求1所述的字帖网格文字智能匹配方法，其特征在于，所述热力图预测模型的训练过程，包括：收集预设数量的字帖图片，并对所述字帖图片的网格点进行位置坐标标注，生成训练数据；将所述训练数据输入初始化UNet模型，对所述初始化UNet模型进行训练，直至损失函数收敛，获得训练好的热力图预测模型。3.根据权利要求1所述的字帖网格文字智能匹配方法，其特征在于，所述特征归一化处理的过程，包括：获取所述热力图的所有像素点的像素值；将所述像素值按照归一化公式进行计算，公式如下所示：其中，x表示热力图中像素点的像素值，x
max
表示热力图中像素值中的最小值，x
max
表示热力图中像素值中的最大值，y表示的热力图进行特征归一化后的像素值；基于特征归一化后的像素值重建归一化后热力图。4.根据权利要求3所述的字帖网格文字智能匹配方法，其特征在于，所述二值化处理的过程，包括：将归一化后热力图中所有像素点的像素值进行划分，其中将大于预设像素阈值的像素值设置为255，将小于或等于预设像素阈值的像素值设置为0；基于二值化处理后的像素值重建二值化图。5.根据权利要求4所述的字帖网格文字智能匹配方法，其特征在于，所述轮廓质心的计算公式，包括：其中，所述二值化图的图像分...

【专利技术属性】
技术研发人员：潘金全，杨晓燕，
申请(专利权)人：暗物智能科技广州有限公司，
类型：发明
国别省市：