【技术实现步骤摘要】
本专利技术涉及人工智能和计算机视觉领域，具体是一种基于深度学习的甲骨文部首拆分匹配方法。
技术介绍
1、文字是文明的象征，也是一个民族的重要标识。甲骨文，作为中国最早的系统化文字，是无比珍贵的考古资源。深化对甲骨文的研究，深入挖掘其历史底蕴和文化内涵，意义重大，而其中有关甲骨文破译的研究，又是挑战巨大但十分关键的核心课题。甲骨文破译，是指寻找甲骨文所对应的现代汉字，由于时代久远，相关考古资料稀缺，涉及学科广度大，研究工作推进缓慢。但两者同为文字，在部首结构方面有一定的相似与对应之处，因此将甲骨文分解为甲骨文部首进行匹配，可能对甲骨文破译任务有所帮助。
2、对于图像的分割、识别问题，近年来随着深度学习技术的蓬勃发展，涌现出大量优秀的模型，展现出了惊人的效果，也在文字识别、自动驾驶等多个应用领域落地发展，为甲骨文破译工作带来新的机遇。但目前，尚未有人工智能辅助甲骨文破译的相关技术面世。因此，本专利技术提出了一种基于深度学习的甲骨文部首拆分匹配方法，使用人工智能相关技术拆分甲骨文进行部首匹配，辅助进行甲骨文破译考释。
技术实现思路
1、针对上述问题，本专利技术结合传统opencv与开源大模型完成分割，使用无监督对比学习网络作为特征提取模块，利用ids序列，能够在没有甲骨文部首对应汉字部首标签的情况下，学习获得两者对应关系，完成甲骨文的分解破译。
2、本专利技术提出一种基于深度学习的甲骨文部首拆分匹配方法，包括以下步骤：
3、步骤一：数据采集，多渠道收集
4、步骤二：甲骨文拆分，首先将所有甲骨文数据图像进行调整，提取甲骨文并裁剪多余背景，然后经过部首拆分模块，生成甲骨文部首数据；
5、步骤三：特征学习，将所有甲骨文部首图像作为训练数据，训练moco(momentumcontrast)无监督对比学习模型。训练完成后，使用模型中由resnet残差网络层组成的编码器作为特征提取模块，提取甲骨文部首对应的特征向量；
6、步骤四：部首匹配，训练时，对于某一甲骨文部首训练数据，首先根据甲骨文部首特征向量间的相似度，得到若干与目标甲骨文部首相似的部首；然后结合它们对应的已破译汉字的ids序列，并统计序列中汉字部首频率；最后通过合并、取反、检查等多次循环操作，得到甲骨文部首对应汉字部首。在推理过程中，对于未知甲骨文部首，根据与其特征相似的已知甲骨文部首，统计频率得到匹配的汉字部首。
7、步骤五，组合破译：未知甲骨文图像经过部首拆分、特征提取与部首匹配后得到若干汉字部首，结合部首间的结构信息，寻找与之匹配的汉字ids序列，破译得到对应现代汉字。
8、进一步改进在于：所述步骤一中的数据来源于权威书籍、权威网站以及论文公开数据集，经过收集处理后构成最终的数据集，其中包括已破译和未破译甲骨文图像，均为白底黑字。数据集中的所有数据都用于训练特征提取模块，并选取一部分已破译的甲骨文作为测试集，用于测试部首匹配模型。
9、进一步改进在于：所述步骤二中的部首拆分模块中，首先将图像转换为灰度图并做二值化处理。接着将灰度图中黑色部分的最小外接矩形作为新图像保存。然后将对新图像应用两种不同的分割方法：基于连通性与opencv的传统分割方法以及基于sam开源大模型的分割方法。最终得到两组分割结果，即两组甲骨文部首图像，这些结果图像的尺寸与原图相同，并且保留了甲骨文部首在原图像中的相对位置。
10、进一步改进在于：所述步骤二中基于连通性与opencv的传统分割方法具体包括：首先对甲骨文图案进行轮廓检测，根据轮廓包围的面积大小将图像分为点区域和部首区域。对于部首区域，根据轮廓像素间的距离，检测轮廓中是否存在较细的部首粘连处，若存在粘连，则将其分离并重新检测轮廓。对于点区域，根据点区域的数量以及分布对点区域进行判断，如果点区域的数量较多且较集中，就认为这些点区域属于同一个部首，将这些区域聚集为一个部首区域；否则就把该区域视作其他部首的组成部分，添加至最近的部首区域。最后根据区域轮廓将部首区域分别保存为图像。
11、进一步改进在于：所述步骤二中基于sam开源大模型的分割途径分为三步：一是将图像输入模型后得到多个高质量掩码，二是对生成的掩码进行后处理，三是根据掩码保存甲骨文部首分割结果，每个掩码对应一个甲骨文部首，将其保存为新的图像。后处理的具体过程为：首先筛选掩码像素面积，保留大于10％且小于90％图像尺寸的有效掩码；其次对掩码进行去重并删除掩码区域内为空白的无效掩码；然后检测掩码间是否存在包含关系，如果有则删除被包含的面积较小的掩码；最后检查是否存在未被掩码覆盖的甲骨文区域，做法是通过对每个掩码取补集，并将补集中与其它掩码相交的部分删除，查看剩余部分是否仍有黑色甲骨文部分。
12、进一步改进在于：所述步骤三中特征学习所用的是无监督对比学习模型moco，训练数据是数据集中所有甲骨文经过分割后得到的甲骨文部首图像。该模型使用残差神经网络resnet作为编码器，每次迭代将数据集中一张图片作为正样本，其他所有图片作为负样本，通过优化对比学习损失来不断更新编码器，最终学习到与甲骨文部首图像相似度有关的特征。图像相似度越高，特征向量间的距离越接近。对比学习损失的具体表达式为：
13、
14、其中为损失函数值，q为正样本进行随机图像增强得到的图像对应的特征向量，k+为正样本对应的特征向量，ki为第i个负样本对应的特征向量，τ为温度超参数，k为负样本数量。训练学习完毕后，将其中的编码器作为甲骨文特征提取器，输入为图像，输出为高维特征向量
15、进一步改进在于：所述步骤四中部首匹配的具体过程为：对于目标甲骨文部首与对应的特征向量，首先根据特征相似度，选择与其相似的甲骨文部首，并找到它们所属的甲骨文以及对应现代汉字。然后将汉字进行ids分解，即分解为表意文字描述序列，从而得到汉字的所有部首，也就是该甲骨文部首可能对应的所有汉字部首。最后统计这些汉字部首频率，选择频率最高的汉字部首作为目标甲骨文部首的匹配结果。
16、在选择甲骨文部首对应的汉字匹配结果时，若该甲骨文已破译，则首先检查匹配结果是否包含在该破译汉字的ids序列中，即确保匹配结果为原汉字的一部分，若不包含则根据频率重新选择；然后对于该甲骨文的所有部首，若存在多个部首图像的匹配结果相同，则认为它们属于一个共同的甲骨文部首，并这些图像合并为新的甲骨文部首图像；最后检查所有部首的匹配结果是否与ids序列完全对应，能否组合回原汉字。
17、进一步改进在于：所述步骤四中得到汉字部首频率的方式为，在特征空间中，对于某一目标甲骨文部首对应的特征向量，计算它与其他部首特征向量之间的相似度；选择若干与目标甲骨文部首特征相似的甲骨文部首，统计这些相似部首所对应汉字中所有汉字部首所出现的频率，具体的计算公式为：
18、
19、其中fc表示特定汉字部首的频率；ri本文档来自技高网...
【技术保护点】
1.一种基于深度学习的甲骨文部首拆分匹配方法，其特征在于，该方法包括以下步骤：
2.根据权利要求1所述的基于深度学习的甲骨文部首拆分匹配方法，其特征在于：所述步骤一中的数据来源于权威书籍、权威网站以及论文公开数据集，经过收集处理后构成最终的数据集，其中包括已破译和未破译甲骨文图像，均为白底黑字；数据集中的所有数据都用于训练特征提取模块，并选取一部分已破译的甲骨文作为测试集，用于测试部首匹配模型。
3.根据权利要求1所述的基于深度学习的甲骨文部首拆分匹配方法，其特征在于：所述步骤二中的部首拆分模块中，首先将图像转换为灰度图并做二值化处理；接着将灰度图中黑色部分的最小外接矩形作为新图像保存；然后对新图像应用两种不同的分割方法：基于连通性与OpenCV的传统分割方法以及基于SAM开源大模型的分割方法，最终得到两组分割结果，即两组甲骨文部首图像；这些结果图像的尺寸与原图相同，并且保留了甲骨文部首在原图像中的相对位置。
4.根据权利要求3所述的基于深度学习的甲骨文部首拆分匹配方法，其特征在于：所述基于连通性与OpenCV的传统分割方法具体包括：首先对甲骨
5.根据权利要求3所述的基于深度学习的甲骨文部首拆分匹配方法，其特征在于：所述基于SAM开源大模型的分割方法分为三步：一是将图像输入模型后得到多个高质量掩码，二是对生成的掩码进行后处理，三是根据掩码保存甲骨文部首分割结果，每个掩码对应一个甲骨文部首，将其保存为新的图像；后处理的具体过程为：首先筛选掩码像素面积，保留大于预设区间图像尺寸的有效掩码；其次对掩码进行去重并删除掩码区域内为空白的无效掩码；然后检测掩码间是否存在包含关系，如果有则删除被包含的面积较小的掩码；最后检查是否存在未被掩码覆盖的甲骨文区域，做法是通过对每个掩码取补集，并将补集中与其它掩码相交的部分删除，查看剩余部分是否仍有黑色甲骨文部分。
6.根据权利要求1所述的基于深度学习的甲骨文部首拆分匹配方法，其特征在于：所述步骤三中特征学习所用的是无监督对比学习模型MoCo，训练数据是数据集中所有甲骨文经过分割后得到的甲骨文部首图像；该模型使用残差神经网络ResNet作为编码器，每次迭代将数据集中一张图片作为正样本，其他所有图片作为负样本，通过优化对比学习损失来不断更新编码器，最终学习到与甲骨文部首图像相似度有关的特征；图像相似度越高，特征向量间的距离越接近；对比学习损失的具体表达式为：
7.根据权利要求1所述的基于深度学习的甲骨文部首拆分匹配方法，其特征在于，所述步骤四中部首匹配的具体过程为：对于目标甲骨文部首与对应的特征向量，首先根据特征相似度，选择与其相似的甲骨文部首，并找到它们所属的甲骨文以及对应现代汉字；然后将汉字进行IDS分解，即分解为表意文字描述序列，从而得到汉字的所有部首，也就是该甲骨文部首可能对应的所有汉字部首；最后统计这些汉字部首频率，选择频率最高的汉字部首作为目标甲骨文部首的匹配结果；
8.根据权利要求7所述的基于深度学习的甲骨文部首拆分匹配方法，其特征在于：所述统计汉字部首频率的方式为，在特征空间中，对于某一目标甲骨文部首对应的特征向量，计算它与其他部首特征向量之间的相似度；选择若干与目标甲骨文部首特征相似的甲骨文部首，统计这些相似部首所对应汉字中所有汉字部首所出现的频率，具体的计算公式为：
9.根据权利要求8所述的基于深度学习的甲骨文部首拆分匹配方法，其特征在于：所述fc由IDS的层次决定；部分汉字部首可以进行拆分为其他的汉字部首，据此将IDS序列转换为树形；汉字部首所处的层级越深，对应值越小，具体IDS分解值计算公式为：
10.根据权利要求1所述的基于深度学习的甲骨文部首拆分匹配方法，其特征在于：所述步骤五中的破译过程中，某一未知甲骨文图像，首先经过部首拆分模块得到甲骨文部首，再经过特征提取与部首匹配模块后得到若干汉字部首；接着根据甲骨文部首在整个甲骨文中的位置以及不同甲骨文部首之间的相对位置信息，判断该甲骨文的结构信息；最后结合汉字部首与结构信息，在所有IDS序列中进行检索，匹配其对应的现代汉字，可以得到最终的破译结果。
...【技术特征摘要】
1.一种基于深度学习的甲骨文部首拆分匹配方法，其特征在于，该方法包括以下步骤：
2.根据权利要求1所述的基于深度学习的甲骨文部首拆分匹配方法，其特征在于：所述步骤一中的数据来源于权威书籍、权威网站以及论文公开数据集，经过收集处理后构成最终的数据集，其中包括已破译和未破译甲骨文图像，均为白底黑字；数据集中的所有数据都用于训练特征提取模块，并选取一部分已破译的甲骨文作为测试集，用于测试部首匹配模型。
3.根据权利要求1所述的基于深度学习的甲骨文部首拆分匹配方法，其特征在于：所述步骤二中的部首拆分模块中，首先将图像转换为灰度图并做二值化处理；接着将灰度图中黑色部分的最小外接矩形作为新图像保存；然后对新图像应用两种不同的分割方法：基于连通性与opencv的传统分割方法以及基于sam开源大模型的分割方法，最终得到两组分割结果，即两组甲骨文部首图像；这些结果图像的尺寸与原图相同，并且保留了甲骨文部首在原图像中的相对位置。
4.根据权利要求3所述的基于深度学习的甲骨文部首拆分匹配方法，其特征在于：所述基于连通性与opencv的传统分割方法具体包括：首先对甲骨文图案进行轮廓检测，根据轮廓包围的面积大小将图像分为点区域和部首区域；对于部首区域，根据轮廓像素间的距离，检测轮廓中是否存在较细的部首粘连处，若存在粘连，则将其分离并重新检测轮廓；对于点区域，根据点区域的数量以及分布对点区域进行判断；如果点区域的数量较多且较集中，就认为这些点区域属于同一个部首，将这些区域聚集为一个部首区域；否则就把该区域视作其他部首的组成部分，添加至最近的部首区域；最后根据区域轮廓将部首区域分别保存为图像。
5.根据权利要求3所述的基于深度学习的甲骨文部首拆分匹配方法，其特征在于：所述基于sam开源大模型的分割方法分为三步：一是将图像输入模型后得到多个高质量掩码，二是对生成的掩码进行后处理，三是根据掩码保存甲骨文部首分割结果，每个掩码对应一个甲骨文部首，将其保存为新的图像；后处理的具体过程为：首先筛选掩码像素面积，保留大于预设区间图像尺寸的有效掩码；其次对掩码进行去重并删除掩码区域内为空白的无效掩码；然后检测掩码间是否存在包含关系，如果有则删除被包含的面积较小的掩码；最后检查是否存在未被掩码覆盖的甲骨文区域，做法是通过对每个掩码取补集，...
【专利技术属性】
技术研发人员：张凯乐，王鹏杰，匡嚞玢，万金鹏，管海粟，陈文炳，刘禹良，金连文，白翔，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。