基于AI视觉下的书写字体临摹辅助方法、系统、装置制造方法及图纸

本发明专利技术提供了一种基于AI视觉下的书写字体临摹辅助方法、系统、装置，S1：实时获取视场范围内包括手指动作信息和书写介质在内的图像；S2：构建并训练多种卷积神经网络；识别所述图像中的手指动作信息以及所述手指指向的目标图像；识别所述目标图像中的文字内容及其字形信息，输出文字图像、文字内容及其字形信息；S3：根据所述文字内容及其字形信息，从预设文字库中搜索参考字形图像，后将所述参考字形图像与所述文字图像进行相似度对比分析；S4：输出所述文字内容和所述对比结果。本发明专利技术的临摹辅助方法不局限于书写介质，有效提高书写练习效果。

【技术实现步骤摘要】
基于AI视觉下的书写字体临摹辅助方法、系统、装置
本专利技术涉及AI视觉感知
，具体涉及基于AI视觉下的书写字体临摹辅助方法、系统、装置。
技术介绍
人工智能学科自诞生之初便奠定了其模拟、延伸、扩展人类智能的宏伟目标。随着人工智能技术的发展，人工智能在感知，自然语言处理，知识表示，自动推理和规划以及机器学习等多个方向都取得了长足的发展。感知能力包括视觉感知(图像识别和视频理解和重建场景的能力)和听觉感知(即语音识别voicerecognition，指的是从多个人的声音中找到特定的人的声音)。自然语言处理指的是语义识别speechrecognition，即在语音识别之后还能理解人的话语的含义。由于计算机的普及，书写越来越少，文字作为古代最伟大的专利技术，传承文字书写艺术要从小抓起，赋予审美意识，提高审美认知，培育书写兴趣，从心底里喜欢书法，并把书法学习当成一种乐趣。现有书法学习主要为将原稿印刷成纸制品，由学习者进行“描红”临摹。越来越多的学习者使用安装于智能终端上的临摹软件进行临摹学习。临摹，是一条让初学者较快步入艺术殿堂的重要途径，也是绘画和书法的研习过程中相当重要的手段。我们先要向前人学习，再在掌握传统和方法的基础上表达自身的思想，步入创作的自由王国。临摹包括临写和摹写，临写是在参考原作的笔法、字法、章法、墨法以致韵味的基础上，根据临写者的理解复制原作；摹写则是将薄纸覆盖在原作上用笔描摹原作形态。摹写是临写的重要基础。现有部分临摹软件上的学习内容能够通过服务器获得不停的内容更新，解决了传统字帖资源的局限性；但是由于触摸屏的制约，不能以标准的写字或者绘画姿势使用笔来进行临摹，只能采用手指滑动进行，这样只能是使用者认识字，其实是达不到临摹练习效果。请参阅图1，厦门分类信息技术有限公司曾提供了过种书画临摹投影系统，其包括：智能终端40，用于安装集字软件，通过该集字软件采集所述书画模板和/或书画视频，并通过该集字软件对所述书画模板和/或书画视频进行编辑；临摹台10，用于铺设临摹载体；投影仪20，设置于所述临摹台10的上方，用于将所述书画模板和/或书画视频投影至所述临摹载体上的指定区域。投影仪20的投影方向与所述临摹台10之间的角度在75度至90度之间；其中，投影角度优选的设置在75度至85度之间，可避免书画学习者在临摹过程中头部和手部等身体部位遮挡投影区域，可以得到清晰完整的书画视频或书画模板，使用效果更佳。其通过预先采集书画模板和/或书画视频，得到书画模板库和/或书画视频库；使用时直接调用所述书画模板库中的书画模板和/或书画视频库中的书画视频，或者，调用重新拼接后的书画模板和/或重新剪辑后的书画视频；并将所述书画模板和/或书画视频投影至临摹台上，以在所述临摹台上展示所述书画模板和/或在所述临摹台上播放所述书画视频；从而将传统字帖临摹与数字化技术相结合，实现动态跟随临摹和集字创作临摹，既能够克服传统字帖的局限性，又能够提高临摹练习效果。上述方案虽然能够实现临摹练习效果，但是需要增加新的书画临摹投影系统，而且投影仪20的投影方向与所述临摹台10之间的角度在75度至90度之间，这种要求的设置，用户的使用存在千差万别，容易出现使用不规范而影响临摹效果。湘潭大学在201910018351.8公开了基于力觉学习的机器人多风格书法临摹方法，其包括有多风格标准字库模块、书法风格识别模块、笔画信息提取模块、机器人关节轨迹规划模块；本专利技术通过采集力信号提取不同书法风格的特征，利用卷积神经网络学习书法风格，使用图像处理算法获取笔画信息，并将对应风格的用力特征和笔画信息转换成为机器人末端轨迹；采用本专利技术的技术方案，通过对几个标准字的模仿学习，可以在保留原作品的风格特征的前提下，实现机器人对输入的书法图像进行临摹的目的。上述方案虽然实现了机器人对输入的书法图像进行临摹的目的，但是该方案是基于工业机器人运动学模型实施的，需要通过力学传感器固定毛笔进行临摹设置，目的是为了通过机器人保留不同风格的书法特征。不便于普通用户进行临摹学习。为激发学习者学习书法兴趣，对于书法学习可借助于高科技产品，因此专利技术一种适应学生善于模仿特性的、科学的、简易的轻便的书法学习工具显得尤为重要。为此，提出一种基于AI视觉下的书写字体临摹辅助的技术方案。
技术实现思路
本申请提供一种基于AI视觉下的书写字体临摹辅助方法、系统、装置，将传统练字与AI视觉技术相结合，既能够克服传统书写介质的局限性，又能够利用临摹辅助方法提高练习效果。为了实现上述目的，本专利技术提供如下第一种技术方案：一种基于AI视觉下的书写字体临摹辅助方法，所述方法包括：S1：实时获取视场范围内包括动作信息和书写介质在内的图像；S2：构建并训练多种卷积神经网络，识别所述图像中的动作信息以及所述动作信息指向的目标图像；并根据识别出的动作信息，识别所述目标图像中的文字内容及其字形信息，输出文字图像、文字内容及其字形信息；S3：根据所述文字内容及其字形信息，从预设文字库中搜索参考字形图像；后将所述参考字形图像与所述文字图像进行相似度对比分析；S4：输出所述文字内容和所述对比结果。进一步地，所述步骤S2进一步包括：构建并训练手指定位神经网络；接收视场范围内包括动作信息和书写介质在内的图像；将接收的图像输入到所述手指定位神经网络中，输出特征图像信息；所述特征图像信息包括动作信息和所述动作信息指向的目标位置信息；根据所述目标位置信息，获取预定尺寸的包括文字图像在内的目标图像。进一步地，所述步骤S2进一步还包括：构建并训练文本角度神经网络、文本检测神经网络、文字识别神经网络、字体识别神经网络；在所述目标图像中，以动作信息为中心，截取预设尺寸的图片，输入所述文本角度神经网络，输出图片中的文本旋转角度；旋转文本角度，直至所述文本旋转角度为0，截取预设尺寸的图片，输入所述文本检测神经网络，输出检测到的文字区域的位置信息和尺寸信息；根据所述文字区域的位置信息和尺寸信息截取图片，输入所述文字识别神经网络，输出文字内容；对所述文字区域截取的图片进行切割，得到单个文字图片，将单个文字图片进行大小归一化到参考字形图片一致的尺寸，输出文字图像；将所述文字图像输入所述字体识别神经网络，输出所述文字内容对应的字形信息。进一步地，所述步骤S3，进一步包括：根据所述文字内容及其字形信息，从预设文字库中搜索参考字形图像；获取所述参考字形图像中笔画的位置绝对信息和笔画之间的相对信息；将所述文字图像矢量化处理；获取所述文字图像中笔画的位置绝对信息和笔画的之间的相对信息；利用笔画的位置绝对信息和相对信息，对文字图像和参考字形图像进行图片像素级别的相似度计算；利用欧几里得空间内定义的余弦距离，输出相似度对比结果。进一步地，所述步骤S4进一步包括：将所述文字图像临摹覆盖于所述参考字形图像上，并输出临本文档来自技高网...

【技术保护点】
1.基于AI视觉下的书写字体临摹辅助方法，其特征在于，所述方法包括：/nS1：实时获取视场范围内包括手指动作信息和书写介质在内的图像；/nS2：构建并训练多种卷积神经网络；识别所述图像中的手指动作信息以及所述手指指向的目标图像；识别所述目标图像中的文字内容及其字形信息，输出文字图像、文字内容及其字形信息；/nS3：根据所述文字内容及其字形信息，从预设文字库中搜索参考字形图像，后将所述参考字形图像与所述文字图像进行相似度对比分析；/nS4：输出所述文字内容和所述对比结果。/n

【技术特征摘要】
1.基于AI视觉下的书写字体临摹辅助方法，其特征在于，所述方法包括：
S1：实时获取视场范围内包括手指动作信息和书写介质在内的图像；
S2：构建并训练多种卷积神经网络；识别所述图像中的手指动作信息以及所述手指指向的目标图像；识别所述目标图像中的文字内容及其字形信息，输出文字图像、文字内容及其字形信息；
S3：根据所述文字内容及其字形信息，从预设文字库中搜索参考字形图像，后将所述参考字形图像与所述文字图像进行相似度对比分析；
S4：输出所述文字内容和所述对比结果。


2.如权利要求1所述的基于AI视觉下的书写字体临摹辅助方法，其特征在于，所述步骤S2中，识别所述图像中的动作信息以及所述动作信息指向的目标图像；进一步包括：
构建并训练手指定位神经网络；
接收视场范围内包括手指动作信息和书写介质在内的图像；
将接收的图像输入到所述手指定位神经网络中，输出特征图像信息；所述特征图像信息包括手指动作信息和所述手指指向的目标位置信息；
根据所述目标位置信息，获取预设尺寸的包括文字图像在内的目标图像。


3.如权利要求2所述的基于AI视觉下的书写字体临摹辅助方法，其特征在于，所述步骤S2中，识别所述目标图像中的文字内容及其字形信息，进一步包括：
构建并训练文本角度神经网络、文本检测神经网络、文字识别神经网络、字体识别神经网络；
在所述目标图像中，以手指指尖为中心，截取预设尺寸的图片，输入所述文本角度神经网络，输出图片中的文本旋转角度；
旋转文本角度，直至所述文本旋转角度为0，截取预设尺寸的图片，输入所述文本检测神经网络，输出检测到的文字区域的位置信息和尺寸信息；
根据所述文字区域的位置信息和尺寸信息截取图片，输入所述文字识别神经网络，输出文字内容；
对所述文字区域截取的图片进行切割，得到单个文字图片，将单个文字图片进行大小归一化到参考字形图片一致的尺寸，输出文字图像；
将所述文字图像输入所述字体识别神经网络，输出所述文字内容对应的字形信息。


4.如权利要求3所述的基于AI视觉下的书写字体临摹辅助方法，其特征在于，所述步骤S3，进一步包括：
根据所述文字内容及其字形信息，从预设文字库中搜索参考字形图像；
获取所述参考字形图像中笔画的绝对位置信息和笔画之间的相对位置信息；
将所述文字图像矢量化处理，获取所述文字图像中笔画的绝对位置信息和笔画的之间的相对位置信息；
利用笔画的绝对位置信息和相对位置信息，对文字图像和参考字形图像进行图片像素级别的相似度计算；
利用欧几里得空间内定义的余弦距...

【专利技术属性】
技术研发人员：高旻昱，范骁骏，侯瑞，
申请(专利权)人：上海翎腾智能科技有限公司，
类型：发明
国别省市：上海;31