结合局部先验特征和深度卷积特征的甲骨刻辞文字检测方法技术

本发明专利技术公开一种结合局部先验特征和深度卷积特征的甲骨刻辞文字检测方法，属于数字图像处理和古文字信息处理的交叉领域。首先，输入待处理的甲骨刻辞图像I，将其颜色空间从RGB转换到HSV，采用最大类间方差法对其V分量进行二值化，并利用多条件连通区域填充算法得到图像I的粗去噪结果；其次，通过含有6组卷积层的特征提取子网络分析图像I的深度卷积特征；然后，利用含有3组卷积层的区域建议子网络选取感兴趣区域，并计算各个感兴趣区域的评分；最后，利用特征降维子网络和区域分类子网络确定甲骨文字的区域，并经过非极大值抑制算法去除重叠的候选框，生成带有框选结果的结果图像。

Combined with local prior feature and depth convolution feature, oracle inscriptions detection method

【技术实现步骤摘要】
结合局部先验特征和深度卷积特征的甲骨刻辞文字检测方法
本专利技术涉及数字图像处理和古文字信息处理的交叉领域，尤其是一种可有效抵抗龟甲和兽骨上的点状噪声、片状斑纹和固有纹理的干扰，准确性高、鲁棒性好、处理速度快、具备自适应能力的结合局部先验特征和深度卷积特征的甲骨刻辞文字检测方法。
技术介绍
甲骨文是商朝后期用龟甲、兽骨进行记事和占卜的文字。它作为我国迄今为止发现的年代最早的成熟文字系统，具有极其重要的保护价值、研究价值以及崇高的象征意义。甲骨文不仅是我国语言、文化、历史可追溯的最早源头，是汉字的源头和中华优秀传统文化的根脉，是千年中华文明的标志，也印证了历史上一系列古文献的真实性，把有记载的中华文明史向前推进了近五个世纪。因此，自甲骨被发现之日起，我国学者就开始对其进行搜集、鉴定和研究，这促使甲骨文字考释成为古文字研究领域中最重要的内容之一。因为甲骨文字数量众多，年代久远，其结构不仅明显有别于现代文字，而且形体复杂、字形繁复、异体字众多，所以释读甲骨文要求研究者具有广博的知识基础和长期的专业训练，是一项极具挑战的任务，目前仍存大量甲骨文本文档来自技高网...

【技术保护点】
1.一种结合局部先验特征和深度卷积特征的甲骨刻辞文字检测方法，其特征在于按照如下步骤进行：/n步骤1.建立并初始化用于甲骨刻辞文字检测的深度卷积神经网络N

【技术特征摘要】
1.一种结合局部先验特征和深度卷积特征的甲骨刻辞文字检测方法，其特征在于按照如下步骤进行：
步骤1.建立并初始化用于甲骨刻辞文字检测的深度卷积神经网络Nobc，所述Nobc包含1个用于特征提取的子网络Nfeature、1个用于甲骨文字区域建议的子网络Nrpn、1个用于甲骨文字区域特征降维的子网络Ndim和1个用于区域分类的子网络Ncls；
步骤1.1建立并初始化子网络Nfeature，含有6组卷积层，分别为Conv0、Conv1、Conv2、Conv3、Conv4和Conv5；
所述Conv0包含1层卷积操作和5个由公式(1)定义的预设卷积核，每个卷积核以1个像素为步长进行卷积运算；



所述Conv1包含2层卷积操作和1层池化操作，其中，每个卷积层含有64个大小为3×3的、以Xavier方法进行初始化的卷积核，每个卷积核以1个像素为步长进行卷积运算，池化层以大小为2×2的池化核、以SAME填充模式进行最大池化运算；
所述Conv2包含2层卷积操作和1层池化操作，其中，每个卷积层含有128个大小为3×3的、以Xavier方法进行初始化的卷积核，每个卷积核以1个像素为步长进行卷积运算，池化层以大小为2×2的池化核、以SAME填充模式进行最大池化运算；
所述Conv3包含3层卷积操作和1层池化操作，其中，每个卷积层含有256个大小为3×3的、以Xavier方法进行初始化的卷积核，每个卷积核以1个像素为步长进行卷积运算，池化层以大小为2×2的池化核、以SAME填充模式进行最大池化运算；
所述Conv4包含3层卷积操作和1层池化操作，其中，每个卷积层含有512个大小为3×3的、以Xavier方法进行初始化的卷积核，每个卷积核以1个像素为步长进行卷积运算，池化层以大小为2×2的池化核、以SAME填充模式进行最大池化运算；
所述Conv5包含3层卷积操作，其中，每个卷积层含有512个大小为3×3的、以Xavier方法进行初始化的卷积核，每个卷积核以1个像素为步长进行卷积运算；
步骤1.2建立并初始化子网络Nrpn，含有3组卷积层，分别为RpnConv、RpnPred和RpnScore；
所述RpnConv包含1层卷积操作，含有512个大小为3×3的卷积核，每个卷积核以1个像素为步长、以SAME填充模式进行卷积运算，并采用均值为0、标准差为0.01的高斯分布进行初始化；
所述RpnPred包含1层卷积操作，含有36个大小为1×1的卷积核，每个卷积核以1个像素为步长、以VALID填充模式进行卷积运算，并采用均值为0、标准差为0.01的高斯分布进行初始化；
所述RpnScore包含1层卷积操作，含有18个大小为1×1的卷积核，每个卷积核以1个像素为步长、以VALID填充模式进行卷积运算，并采用均值为0、标准差为0.01的高斯分布进行初始化；
步骤1.3建立并初始化子网络Ndim，含有1组剪裁池化层和2组卷积层，分别为CropPool、Conv6和Conv7；
所述CropPool包含1层缩放操作和1层池化操作，其中，缩放操作用于将候选区域的尺寸变换为14×14像素，池化层以大小为2×2的池化核、以SAME填充模式进行最大池化运算；
所述Conv6包含3层卷积操作，其中，每个卷积层含有512个大小为3×3的、以Xavier方法进行初始化的卷积核，每个卷积核以1个像素为步长、以VALID填充模式进行卷积运算；
所述Conv7包含1层卷积操作，含有4096个大小为1×1的、以Xavier方法进行初始化的卷积核，每个卷积核以1个像素为步长、以VALID填充模式进行卷积运算；
步骤1.4建立并初始化子网络Ncls，含有2组全连接层，分别为Fc1和Fc2；
所述Fc1有4096个输入单元和8个输出单元，并采用均值为0、标准差为0.001的高斯分布进行初始化；
所述Fc2有4096个输入单元和2个输出单元，并采用均值为0、标准差为0.01的高斯分布进行初始化；
步骤2.输入甲骨刻辞图像训练集和人工已标注的每幅训练图像的甲骨文字区域坐标集、甲骨文字区域标签集，对深度卷积神经网络Nobc进行训练；
步骤2.1对于训练集中的每幅图像T及其人工已标注的甲骨文字区域坐标集Cref和甲骨文字区域标签集Clabel，令迭代次数iter←1，执行步骤2.2～2.11；
步骤2.2将每幅图像T的颜色空间从RGB转换到HSV，并将其V分量记为TV；
步骤2.3采用最大类间方差法计算TV的最优全局阈值，并将TV进行二值化，而保持每幅图像T的饱和度分量TS和色调分量TH不变；
步骤2.4将二值化后的TV分量与饱和度分量TS、色调分量TH从HSV颜色空间转换到RGB空间，令所得图像为T′；
步骤2.5采用子网络Nfeature提取图像T′的特征图；
步骤2.5.1利用卷积层Conv0的5个卷积核对图像T′进行卷积运算，令各个卷积核的计算结果分别为C1、C2、C3、C4、C5，再根据公式(2)将5个卷积结果进行融合，提取出图像T′的局部先验纹理特征图TF1；
C＝C1×w1+C2×w2+C3×w3+C4×w4+C5×w5(2)
所述w1和w2表示预设权重；
步骤2.5.2利用卷积层Conv1对局部先验纹理特征图TF1进行卷积运算，得到卷积特征图TF2；
步骤2.5.3利用卷积层Conv2对卷积特征图TF2进行卷积运算，得到更大尺度下的卷积特征图TF3；
步骤2.5.4利用卷积层Conv3对卷积特征图TF3进行卷积运算，得到更大尺度下的卷积特征图TF4；
步骤2.5.5利用卷积层Conv4对卷积特征图TF4进行卷积运算，得到更大尺度下的卷积特征图TF5；
步骤2.5.6利用卷积层Conv5对卷积特征图TF5进行卷积运算，得到更大尺度下的卷积特征图TF6；
步骤2.6采用子网络Nrpn选取图像T′的候选甲骨文字区域；
步骤2.6.1利用卷积层RpnConv对卷积特征图TF6进行卷积运算，得到初始区域建议结果TRinit；
步骤2.6.2利用卷积层RpnPred对初始区域建议结果TRinit进行处理，得到区域建议的预测集合TRpred；
步骤2.6.3利用卷积层RpnScore对区域建议的预测集合TRinit进行处理，然后经过softmax激活函数，计算得到区域建议的可能性评估结果集合TRscore；
步骤2.6.4根据区域建议的预测集合TRpred和区域建议的可能性评估结果集合TRscore，利用非极大值抑制方法获得图像T′的候选区域集合TRROIs；
步骤2.7对于图像T′的候选区域集合TRROIs的每个候选甲骨文字区域TRROI，采用子网络Ndim提取该区域的卷积特征图；
步骤2.7.1将每个候选甲骨文字区域TRROI作为掩码，提取出卷积特征图TF6中处于该区域的卷积特征子图TF′6；
步骤2.7.2采用剪裁池化层CropPool将卷积特征子图TF′6缩放变换为14×14像素，得到尺寸归一化后的卷积特征子图TF″6；
步骤2.7.3利用卷积层Conv6对卷积特征子图TF″6进行卷积运算，得到更大尺度下的卷积特征图TF′7；
步骤2.7.4利用卷积层Conv7对卷积特征图TF′7进行卷积运算，得到更大尺度下的卷积特征图TF′8；
步骤2.7.5按照光栅扫描的顺序，将卷积特征图TF′8拉伸成长度为4096的一维向量TF′1d；

【专利技术属性】
技术研发人员：宋传鸣，何熠辉，洪飏，王相海，
申请(专利权)人：辽宁师范大学，
类型：发明
国别省市：辽宁;21