【技术实现步骤摘要】
本专利技术一般地涉及文本识别领域。更具体地，本专利技术涉及一种基于人工智能的课堂纸笔互动方法及装置。
技术介绍
1、作为传统的阅读和学习手段，纸张在书写、阅读和记忆过程中依然有着不可替代的优势。纸笔互动课堂通过智能手写板的快速接入，协助教师开展信息化课堂即时互动授课、纸笔板书、智能采集课堂数据，及时了解学生知识点掌握情况，实现针对性教学，让教师能关注到每一个学生。
2、联机手写文字识别所处理的手写文字是书写者通过物理设备 (如数字笔、 数字手写板或者触摸屏) 在线书写获取的文字信号, 书写的轨迹通过定时采样即时输入到计算机中。在纸笔互动课堂场景中，联机手写文字的准确识别对于提升课堂效果具有重要意义。将手写文字实时转化为标准印刷体文字并显示在共享屏幕中可以帮助老师及学生更好地辨识文字，从而提高课堂教学效率。
3、然而，现有的联机手写文字识别技术中没有考虑到如何准确划分识别出单个字符，很容易造成文字的合并拆分等现象。另外，对于联机手写文字识别的数据处理方法及模型效果均有待优化提升。
技术实现思路
1、为解决上述一个或多个技术问题，本专利技术提出采集用户书写轨迹数据，构建点阵图及笔划轨迹时序数据；计算并构建字符笔划轨迹间水平距离值和笔划轨迹间书写的停顿时间特征向量，输入高斯混合模型中判断相邻两段笔划轨迹是否属于同一字符；将所有笔划轨迹按单个字符划分并存储，对存储的数据进行预处理；将预处理后的数据输入预测模型获得第一预测结果；使用语言模型获得第二预测结果，并实时输出
2、在一个实施例中，包括：采集用户书写轨迹数据，构建点阵图及笔划轨迹时序数据，所述点阵图为书写时产生的压力数据；根据点阵图的点阵坐标，计算字符笔划轨迹间水平距离值；计算笔划轨迹间书写的停顿时间；构建关于字符笔划轨迹间水平距离值和笔划轨迹间书写的停顿时间的特征向量，根据所述特征向量训练预设的高斯混合模型，得到高斯混合模型，通过高斯混合模型生成判断结果，所述判断结果为相邻两段字迹轨迹是否属于同一字符；响应于相邻两段字迹轨迹属于同一字符，将所有笔划轨迹数据按单个字符划分整合，并按照单个字符的点阵图数据集合与笔划轨迹时序数据集合进行存储并进行预处理；将预处理后的数据输入预测模型中分别进行特征提取，得出第一预测结果。
3、在一个实施例中，还包括步骤：基于语言模型预测模型生成第二预测结果，并结合所述第一预测结果进行综合判断，获得实时输出设定格式的文字。
4、在一个实施例中，结合所述第一预测结果进行综合判断包括：响应于第一预测结果小于预设阈值，判定所述预测模型中存在多个相似文字，干扰了预测模型的预测结果；响应于第一预测结果与第二预测结果相同，判定第一预测结果与第二预测结果中预设排名内的某一个文字相符合，输出语言模型预测的文字最终结果选择该语言模型预测的文字并进行输出；响应于第一预测结果与第二预测结果不同，判定第一预测结果与第二预测结果中预设排名内的某一个文字相不符合，输出预测模型获得的第一预测结果概率最大的文字。
5、在一个实施例中，所述笔划轨迹时序数据包括：
6、笔划轨迹时序数据=（书写状态、压力值）；
7、所述书写状态包括正在书写和未书写，正在书写记为，未书写记为；响应于及书写的压力值大于预设阈值，判断用户正在进行书写操作；响应于及书写的压力值小于或等于预设阈值，判断用户停止书写。
8、在一个实施例中，所述特征向量包括：
9、响应于笔划轨迹数据开始生成，实时生成对应特征向量数据为：
10、
11、其中，e表示特征向量，表示第个笔划轨迹与第个笔划轨迹之间的距离，表示第个笔划轨迹与第个笔划轨迹间书写的停顿时间。
12、此实施例的有益效果为：将数据使用两种数据形式进行存储，能够从图像和时序两种特征方向得到待识别字符的特征信息，有利于提高后续文本识别模型的效果。
13、基于高斯混合模型判断所述第个笔划轨迹与第个笔划轨迹是否构成同一字符，若是，发出第一信号，若否，发出第二信号；响应于第一信号，继续沿笔划轨迹生成方向判断第个笔划轨迹；响应于第二信号，将前个笔划轨迹划分为同一字符。
14、在一个实施例中，高斯混合模型中，包括：构建多元高斯分布概率密度函数，公式如下：
15、
16、其中，为数据均值，为协方差，为数据维度表示多元高斯分布概率密度函数，代表矩阵转置。
17、由多元高斯分布概率密度函数公式得出混合高斯分布的表达式，得到高斯混合模型，表达式如下：
18、
19、其中，表示两段笔划轨迹是否属于同一字符的概率，表示近似拟合的第个高斯分布模型，为每个高斯分布模型所占权重系数，代表矩阵转置。
20、使用期望最大化算法求出取不同值下的预设的高斯混合模型权重系数参数，均值参数，标准差参数；使用赤池信息量准则或贝叶斯信息准则评价指标得出高斯混合模型拟合所需最佳值；将特征向量输入到高斯混合模型判断两段笔划轨迹是否属于同一字符：响应于，生成判断的两段笔划轨迹视为属于同一字符的判定结果；响应于，生成进行判断的两段笔划轨迹可划分为两个字符的判定结果。
21、此实施例的有益效果为：相比较于传统的仅考虑数据点在x轴水平投影的距离值划分字符的方法，该步骤所用划分方法充分考虑了可能出现的问题情况，综合考虑了笔划轨迹间书写的停顿时间共同作为判断依据，并使用高斯混合模型对分类概率情况进行预测，最终得到更加准确可信的分类结果，即确定字符间的准确划分方式。
22、在一个实施例中，所述进行预处理包括：对点阵图的点阵坐标数据进行噪声处理；去除重复笔划轨迹；对点阵图进行倾斜校正及归一化。
23、在一个实施例中，所述预测模型包括：第一分支和第二分支，第一分支采用循环神经网络，用于处理笔划轨迹时序数据，第二分支采用卷积神经网络，用于处理点阵图数据集合；第一分支与第二分支并行；第一分支设置有第一全连接层，第二分支设置有第二全连接层，第一分支的输出与第二分支的输出相连接，共同作为所述预测模型的输出；对输出采用softmax函数进行归一化，生成n个可能识别出的文字的概率。
24、本专利技术的预测模型使用的是cnn+rnn预测模型；语言模型使用的是gpt语言模型。
25、通过采用上述技术方案，能够有效提高在纸笔书写课堂互动过程中对联机实时文字的识别准确率，并将之转换为印刷体文字以便于教师与学生辨识，提高课堂教学效率。
26、可选的，采用cnn+rnn预测模型充分利用了cnn和rnn的优势，能够同时捕捉待识别文字的时间和空间特征，有助于提升识别准确率，同时并行计算方式能够有效加快计算速度。
27、可选的，利用gpt语言模型作为对cnn+rnn预测模型结果的修正，通过综合考虑上文书写句子中的语义信息，能够在更大程度上排除相似文字的干扰，得到更准确的识别结果。<本文档来自技高网...
【技术保护点】
1.一种基于人工智能的课堂纸笔互动方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于人工智能的课堂纸笔互动方法，其特征在于，还包括步骤：
3.根据权利要求2所述的一种基于人工智能的课堂纸笔互动方法，其特征在于，结合所述第一预测结果进行综合判断包括：
4.根据权利要求1所述的一种基于人工智能的课堂纸笔互动方法，其特征在于，所述笔划轨迹时序数据包括：
5.根据权利要求1所述的一种基于人工智能的课堂纸笔互动方法，其特征在于，所述特征向量包括：
6.根据权利要求5所述的一种基于人工智能的课堂纸笔互动方法，其特征在于，高斯混合模型中，包括：构建多元高斯分布概率密度函数，公式如下：
7.根据权利要求1所述的一种基于人工智能的课堂纸笔互动方法，其特征在于，所述进行预处理包括：
8.根据权利要求1所述的一种基于人工智能的课堂纸笔互动方法，其特征在于，所述预测模型包括：
9.一种基于人工智能的课堂纸笔互动装置，其特征在于，其上存储有计算机可读指令，该计算机可读指令被一个或多个处理器执行时
...【技术特征摘要】
1.一种基于人工智能的课堂纸笔互动方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于人工智能的课堂纸笔互动方法，其特征在于，还包括步骤：
3.根据权利要求2所述的一种基于人工智能的课堂纸笔互动方法，其特征在于，结合所述第一预测结果进行综合判断包括：
4.根据权利要求1所述的一种基于人工智能的课堂纸笔互动方法，其特征在于，所述笔划轨迹时序数据包括：
5.根据权利要求1所述的一种基于人工智能的课堂纸笔互动方法，其特征在于，所述特征向量包括：
6.根据权利要求...
【专利技术属性】
技术研发人员：徐宋传，唐雪莲，陈晓宇，许卓慧，朱达华，
申请(专利权)人：广东光大信息科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。