一种自然场景下的书法区域检测及作者识别方法技术

本发明专利技术涉及一种自然场景下的书法区域检测及作者识别方法，包括以下步骤：步骤S1:采集书法图片，构建书法区域检测与作者信息数据集；步骤S2:对书法区域检测与作者信息数据集进行预处理；步骤S3:基于CornerNet网络结构，构建书法区域检测及作者识别网络，并根据预处理后的数据集进行训练；步骤S4:将待识别的图片送入训练好的书法区域检测及作者识别网络，获取图片中包含书法作品的区域并识别书法作者。本发明专利技术能够高效便捷的检测自然场景下的图片包含的书法区域及作者信息。

【技术实现步骤摘要】
一种自然场景下的书法区域检测及作者识别方法
本专利技术涉及模式识别与计算机视觉领域，具体涉及一种自然场景下的书法区域检测及作者识别方法。
技术介绍
而书法是一门复杂的学问，其涉及文学、历史、美术等多个学科，是一门综合性很强的边缘学科。名家名人的书法作品具有广泛的应用，尤其在设计行业，其可用于服装、杯子、壁纸等生活中常见的物品印花，也可用于电视节目、海报等场景下作为字体、背景使用。对于普通人来说，在生活中看到了感兴趣的书法作品，想要了解它的详细信息是非常困难的，往往需要向专业人士咨询，对普通人来说需要耗费较多的精力。而通过计算机视觉和深度学习技术，可以利用计算机轻松海量书法作品作者信息，使得普通人也可以利用该方法轻松的获取自然场景下书法作品的作者信息。而获得了作者信息之后，想要了解书法作品详情则简单的多。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种自然场景下的书法区域检测及作者识别方法，能够高效便捷的检测自然场景下的图片包含的书法区域及作者信息。为实现上述目的，本专利技术采用如下技术方案：一种自然场景下的书法区域检测及作者识别方法，包括以下步骤：步骤S1:采集书法图片，构建书法区域检测与作者信息数据集；步骤S2:对书法区域检测与作者信息数据集进行预处理；步骤S3:基于CornerNet网络结构，构建书法区域检测及作者识别网络，并根据预处理后的数据集进行训练；步骤S4:将待识别的图片送入训练好的书法区域检测及作者识别网络，获取图片中包含书法作品的区域并识别书法作者。进一步的，所述步骤S1具体为：步骤S11:：收集并整理ta张自然场景下包含书法作品的图片IMG＝{imgia|ia＝1，2，...，ta}，其中imgia表示第ia张图片；步骤S12：对每一张图片进行标注，每张图片包含0个、1个或1个以上的标注，每个标注包含一个区域r＝{rltx，rlty，rwidth，rheight}和一个作者信息w，rltx为区域左上角的x坐标，rlty为区域左上角的y坐标，rwidth为区域宽度，rheight为区域高度；步骤S13：将每一张图片的任意第ic个区域ric和对应的第ic个作者信息wic组合，获得第ic个标注first_annoic＝{ric，wic}，最终对于任意imgia可以获得一个第ia张图片的标注集合first_annosia＝{first_annoic|ic＝0，1，...，tbia}，其中tbia为第ia张图片的标注总数；步骤S14：将所有图片中的所有标注中的作者信息整理为集合W＝{wid|id＝1，2，...，tw}，其中tw为作者总数，建立作者信息索引满映射fw：WID→W，其中WID＝{1，2，...，tw}；步骤S15：根据映射fw，用WID中的元素将任意first_annosia的所有子集中的wic替换为widic，替换后得到新集合annosia；步骤S16：将imgia和annosia组合，获得第ia个样本cia＝{imgia，annosia}，作者信息映射关系fw和所有样本组合得到书法区域检测与作者信息数据集C＝{fw，{cia|ia＝1，2，...，ta}}。进一步的，所述步骤S2具体为：对于每一个样本cia＝{imgia，annosia},随机进行实行裁剪、旋转和缩放变换，每个样本可以生成若干个子样本，获得包含作者信息映射关系fw和tc个样本的增强数据集C′＝{fw，{c′if|if＝1，2，...，tc}}，其中c′if＝{img′if，annos′if}为增强数据集中的第if个样本，img′if为第if个增强样本的图片，annos′if为第if个增强样本的标注集。进一步的，所述书法区域检测及作者识别网络CornerNet的结构为基础结构并对其进行修改，具体如下：将图片送入一个用于特征提取的Hourglass-104模块获得深度特征；将特征图送入角点池化层获得角点特征图，再将角点特征图分别送入三个子网络，三个子网络分别用于预测角点对应的物体类别、匹配角点和预测角点在特征图位置与原图位置的偏移量；将其网络用于提取特征的Hourglass-104替换为基于ResNet-50的FPN；其中，FPN的上采样方法为双线性插值加卷积。进一步的，步骤S4具体为：步骤S41:将一张或多张待检测与识别的td张图片inputimgs送入训练好的书法区域检测及作者识别网络DetNet，获得预测结果output；步骤S42：对每一张输入图片的预测结果进行后处理，当处理第ig张图片时，对于第ih个预测结果predrwih，若predchanceih＜thresholdA，将其从predig集合中删除，其中thresholdA为阈值参数，ih＝1，2，...，teig全被执行后，进入下步；步骤S43：对于两块区域C、D的IoU计算方式如下：其中area(X)是计算区域X面积的函数，于是对于第ig张输入图片的任意两个预测结果predrwa∈predig,predrwb∈predig且predrwa≠predrwb，其中predrwa＝{predregiona，predchancea，predwida}，predregiona为预测区域，predchancea为预测准确的概率，predwida为predregiona对应的预测作者索引，predrwb＝{predregionb，predchanceb，predwidb}，predregionb为预测区域，predchanceb为预测准确的概率，predwidb为predregionb对应的预测作者索引,根据计算两块区域predregiona和predregionb的IoU，得到IoUpredregionab；步骤S44：对于两块区域E、F，较小的区域被较大的区域的覆盖率rc计算方式如下：其中min(XA，XB)是计算XA,XB最小值的函数，利用上式计算两块区域predregiona和predregionb的rc，得到rcpredregionab，若IoUpredregionab＜thresholdB且predwida＝predwidb且rcpredregiomb＞thresholdC，则将面积小的区域对应的预测结果从predig中删去，其中thresholdB、thresholdC为阈值参数；步骤S45：若IoUpredregionab≥thresholdD，则将predchancea、predchanceb较小的一个对应的预测结果从predig中删去，其中thresholdD为阈值参数；步骤S46：重复S43、S44、S45直到predig中任意元素都不能被删去后，继续按S41、S42、S43、S44、S45步骤处理下一张图片的预测结果，直到ig＝1，2，...，td全被处理完毕得到修正后的处理结果output2；步骤S47：利用作者映本文档来自技高网...

【技术保护点】
1.一种自然场景下的书法区域检测及作者识别方法，其特征在于，包括以下步骤：/n步骤S1：采集书法图片，构建书法区域检测与作者信息数据集；/n步骤S2：对书法区域检测与作者信息数据集进行预处理；/n步骤S3：基于CornerNet网络结构，构建书法区域检测及作者识别网络，并根据预处理后的数据集进行训练；/n步骤S4：将待识别的图片送入训练好的书法区域检测及作者识别网络，获取图片中包含书法作品的区域并识别书法作者。/n

【技术特征摘要】
1.一种自然场景下的书法区域检测及作者识别方法，其特征在于，包括以下步骤：
步骤S1：采集书法图片，构建书法区域检测与作者信息数据集；
步骤S2：对书法区域检测与作者信息数据集进行预处理；
步骤S3：基于CornerNet网络结构，构建书法区域检测及作者识别网络，并根据预处理后的数据集进行训练；
步骤S4：将待识别的图片送入训练好的书法区域检测及作者识别网络，获取图片中包含书法作品的区域并识别书法作者。


2.根据权利要求1所述的一种自然场景下的书法区域检测及作者识别方法，其特征在于，所述步骤S1具体为：
步骤S11：收集并整理ta张自然场景下包含书法作品的图片IMG＝{imgia|ia＝1，2，...，ta}，其中imgia表示第ia张图片；
步骤S12：对每一张图片进行标注，每张图片包含0个、1个或1个以上的标注，每个标注包含一个区域r＝{rltx，rlty，rwidth，rheight}和一个作者信息w，rltx为区域左上角的x坐标，rlty为区域左上角的y坐标，rwidth为区域宽度，rheight为区域高度；
步骤S13：将每一张图片的任意第ic个区域ric和对应的第ic个作者信息wic组合，获得第ic个标注first_annoic＝{ric，wic}，最终对于任意imgia可以获得一个第ia张图片的标注集合first_annosia＝{first_annoic|ic＝0，1，...，tbia}，其中tbia为第ia张图片的标注总数；
步骤S14：将所有图片中的所有标注中的作者信息整理为集合W＝{wid|id＝1，2，...，tw}，其中tw为作者总数，建立作者信息索引满映射fw：WID→W，其中WID＝{1，2，...，tw}；
步骤S15：根据映射fw，用WID中的元素将任意first_annosia的所有子集中的wic替换为widic，替换后得到新集合annosia；
步骤S16：将imgia和annosia组合，获得第ia个样本cia＝{imgia，annosia}，作者信息映射关系fw和所有样本组合得到书法区域检测与作者信息数据集C＝{fw，{cia|ia＝1，2，...，ta}}。


3.根据权利要求1所述的一种自然场景下的书法区域检测及作者识别方法，其特征在于，所述步骤S2具体为：对于每一个样本cia＝{imgia，annosia}，随机进行实行裁剪、旋转和缩放变换，每个样本可以生成若干个子样本，获得包含作者信息映射关系fw和tc个样本的增强数据集C′＝{fw，{c′if|if＝1，2，...，tc}}，
其中c′if＝{img′if，annos′if}为增强数据集中的第if个样本，img′if为第if个增强样本的图片，annos′if为第if个增强样本的标注集。


4.根据权利要求1所述的一种自然场景下的书法区域检测及作者识别方法，其特征在于，所述书法区域检测及作者识别网络CornerNet的结构为基础结构并对其进行修改，具体如下：
将图片送入一个用于特征提取的Hourglass-104模块获得深度特征；
将特征图送入角点池化层获得角点特征图，再将角...

【专利技术属性】
技术研发人员：柯逍，刘童安，杜鹏强，
申请(专利权)人：福州大学，
类型：发明
国别省市：福建;35