基于Transformer的手写化学方程式识别方法和系统技术方案

本发明专利技术公开了基于Transformer的手写化学方程式识别方法和系统，首先对手写化学方程式图像进行预处理，构建可包含有100个符号类别的7395个样本的手写化学方程式数据集；然后将数据集划分为训练集、验证集和测试集三部分，用于训练和测试本发明专利技术提出的模型；然后得到模型预测结果，并对预测结果进行评估，验证模型的准确率；最后将最好的模型即参数运用到系统识别中去，对输入系统的图像进行实时识别。本发明专利技术分别设计了全局计数加权模块和注意力细化模块两个模块，内含样本的多样性与标注的细致性不仅确保了数据的高质量，而且使得基于此数据集进行的实验更加严谨，为提高识别算法的鲁棒性和准确性提供了坚实的基础。

【技术实现步骤摘要】

本专利技术涉及计算机视觉领域和自然语言处理领域，具体基于覆盖注意力与符号计数结合的改进transformer手写化学方程式识别系统。

技术介绍

1、在当前教育数字化转型的背景下，计算机网上阅卷系统通过自动化处理客观题显著提升了教学效率，但其对主观题(尤其是理科手写公式)的识别能力仍存在明显短板。这一技术瓶颈不仅导致教师仍需投入大量时间人工判卷，还限制了教学反馈的实时性与个性化发展。在更广泛的应用场景中，由于纸质档案存在不易修改、容易损坏、不便保存、传播成本高等问题，人们通过扫描、拍照等方式将纸质档案转换为图像并上传至计算机中，然后利用光学字符识别技术将文档图像识别为电子文档，进而方便对纸质文档的编辑和存储。然而，档案数字化场景中的历史文献常存在褪色、污损等问题，工程图纸中的专业符号体系更与通用数学符号存在显著差异。这种领域鸿沟导致现有模型的泛化能力严重受限。在此背景下，如何构建兼具鲁棒性、可解释性和跨领域适应能力的化学手写公式识别系统，已成为推动教育智能化与文化遗产数字化进程的核心课题，这正是着力解决的关键科学问题。

2、在手写化学公式识别任务本文档来自技高网...

【技术保护点】

1.基于Transformer的手写化学方程式识别方法，其特征在于，首先对手写化学方程式图像进行预处理，构建包含有100个符号类别的7395个样本的手写化学方程式数据集；然后将数据集划分为训练集、验证集和测试集三部分，用于训练和测试手写化学方程式识别模型；然后得到手写化学方程式识别模型预测结果，并对预测结果进行评估，验证模型的准确率；最后将最好的手写化学方程式识别模型即参数运用到系统识别中去，对输入系统的图像进行实时识别。

2.根据权利要求1所述的基于Transformer的手写化学方程式识别方法，其特征在于，该方法的具体步骤如下：

3.根据权利要求2所述的基于T...

【技术特征摘要】

1.基于transformer的手写化学方程式识别方法，其特征在于，首先对手写化学方程式图像进行预处理，构建包含有100个符号类别的7395个样本的手写化学方程式数据集；然后将数据集划分为训练集、验证集和测试集三部分，用于训练和测试手写化学方程式识别模型；然后得到手写化学方程式识别模型预测结果，并对预测结果进行评估，验证模型的准确率；最后将最好的手写化学方程式识别模型即参数运用到系统识别中去，对输入系统的图像进行实时识别。

2.根据权利要求1所述的基于transformer的手写化学方程式识别方法，其特征在于，该方法的具体步骤如下：

3.根据权利要求2所述的基于transformer的手写化学方程式识别方法，其特征在于，步骤s1中，hcer-ioc:数据集样本通过两种方式进行收集，第一种方式是在线下载初高中学生上传的含有多个化学方程式的作业或试卷图片共计2200张，然后从图片中分割出单行化学方程式的样本4743个；第二种方式是选取213个无机化学方程式和离子方程式，以及50个有机化学方程式作为化学方程式词典，然后借助手写笔在平板电脑上的画布中使用不同粗细笔刷随机撰写不同的化学方程式，共收集2652个样本；两种方式收集的样本数据共计7395个，将这些图像按照8：1：1的形式分为训练集、验证集和测试集。

4.根据权利要求2所述的基于transformer的手写化学方程式识别方法，其特征在于，步骤s2中，将收集到的7395个图像样本进行预处理操作，包括等比例缩放和二值化；等比例缩放操作将输入图像设置为高度不超过150px，使每个特征对最终预测结果的影响更加均衡。

5.根据权利要求2所述的基于transformer的手写化学方程式识别方法，其特征在于，步骤s3中，构建基于transformer的shouxie化学方程式识别模型，包括：基于densenet的编码器、全局计数加权...

【专利技术属性】
技术研发人员：付鹏斌，董夏菲，杨惠荣，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：