基于深度学习的航空发动机叶片金属表面蚀刻字符识别方法技术

本发明专利技术公开了一种基于深度学习的航空发动机叶片金属表面蚀刻字符识别方法，在获取图片后，通过深度学习模型，进行字符整体位置定位、字符特征整体提取、单字符切割、单字符识别，图像摆正重识别并定制化输出结果。本发明专利技术改变了传统的依靠人工进行识别并手动进行记录的方法，能够大幅度提高航空叶片字符识别的准确率和效率，同时能够将是识别照片进行集中保存，便于后期对其进行查证。

【技术实现步骤摘要】
基于深度学习的航空发动机叶片金属表面蚀刻字符识别方法
本专利技术属于计算机视觉领域，具体地设计一种基于深度学习的航空发动机叶片金属表面蚀刻字符识别方法。
技术介绍
航空发动机叶片的识别记录过程是航空飞机组装过程中必不可少的一部分，航空制造领域对安全，可靠性有极高要求。航空发动机叶片是航空发动机的关键性部件，必须做好记录工作。现有的记录过程中，一般采用工人读取的方式进行记录，传统的识别过程有如下几个方面弊端：(1)、依靠工人读取的方式进行记录，容易产生视觉疲劳，存在错误录入的隐患，无法保证记录信息的可靠性。(2)、人工记录只有航空发动机叶片上的字符信息，不能保存原始的图片数据，在后期对于一些有疑惑的数据无法进行校准。(3)、传统的识别过程效率较低。
技术实现思路
本专利技术的目的是为了解决以上现有技术的不足，提出了一种基于深度学习的航空发动机叶片金属表面蚀刻字符识别方法，包括显微镜摄像机、叶片夹持固定设备和运行着深度学习算法模型的电子设备，具体包含如下的步骤：S1：模型预训练利用大量航空发动机叶片图片和针对图片进行的标注内容，对深度学习模型进行训练；S2：获取航空发动机叶片图片通过显微镜摄像机进行发动机叶片图片拍摄；S3：文字整体位置定位文字在叶片上占比非常小，用深度学习模型进行文字范围定位，并把有文字的部分看做一个整体切割出来；S4：文字特征整体提取利用深度学习网络在切割后的文字图片上进行特征提取；S5:单字符切割根据提取出来的特征，定位每个字符，并把字符从整体图片上切分出来；S6:单字符识别对于切割出来的图形，根据特征以及前期网络提供的长宽、字符间拟合出的直线斜率等信息进行字符识别；S7:图像摆正重识别如果深度学习网络判断的图片倾斜角度过大，将把图片进行摆正操作，并进行重新识别；S8:定制化输出结果获取识别结果，对结果处理之后输出到终端设备。进一步地，利用显微镜摄像机对叶片字符进行拍照。更进一步地，使用训练好的深度学习目标检测模型检测航空发动机叶片上有字符位置的坐标。更进一步地，使用所述检测模型返回多种不同尺度的特征图数据。更进一步地，在使用所述检测模型中，确认字符坐标位置步骤中，基于卷积网络进行定位。更进一步地，在使用所述检测模型中，识别出单个字符的含义，包括中文，数值，英文俄文中的具体文字内容。更进一步地，在使用所述检测模型中，如果发现输入进来的图片文字倾斜角度过大，会修正文字到水平位置，然后重新检测。更进一步地，在使用所述检测模型中，会输入每个字符的位置和内容信息，并且按以文字从左到右、从上到下的默认阅读顺序，输出文本。有益效果：1、本专利技术通过摄影设备采集图片，通过深度学习算法进行识别判断，并对图像数据和识别数据进行集中保存，改变了传统的依靠人工进行识别并手动进行记录的方法，能够大幅度提高航空叶片字符识别的准确率和效率，便于后期对其进行查证，进一步保证数据的准确性；2、与其他现有文字识别方法相比，本专利技术中在找到目标字符位置后，进行字符类别识别的过程中，加入了字符的长、宽、所有字符相拟合直线的斜率等信息，作为新的特征，加入到字符分类识别的训练中，有效提高了识别的准确率。3、本专利技术中无需大量调整参数，只需要工程人员去维护一个通过深度学习技术训练出来的模型文件，增加新数据时，只需将新增的数据加入模型重新训练模型，然后更新模型文件即可附图说明图1是本专利技术方法流程图；图2是本专利技术方法中Resnet的局部结构Residualblock图；图3是带有FPN结构的Resnet整体结构图；图4是是Resnet-101卷积参数细节具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。请参阅图1，一种基于深度学习的航空发动机叶片金属表面蚀刻字符方法，包括以下步骤：在本专利技术实例中，需要进行模型预训练。在模型预训练时期，通过显微镜摄像机设备进行发动机叶片图片拍摄收集大量航空发动机叶片数据。利用大量航空发动机叶片图片和针对图片制作的样本描述文件，对深度学习模型进行训练，构建起叶片字符检测识别模型。将数据送入神经网络训练之前，进行数据预处理操作，即数据审核、筛选、数据增强，和归一化等必要操作。在本专利技术实例中，在应用过程中，需要先获取航空发动机叶片图片，通过显微镜摄像机设备进行发动机叶片图片拍摄。在本专利技术实例中，选用Faster-RCNN作为基本检测框架。所述Faster-RCNN检测框架，其中特征提取部分的卷积层采用带有FPN结构的Resnet-101网络。共有卷积层112层，Batch-Normalzation层104层，其中Resnet-101中的具体卷积参数，见表1。带有FPN结构的Resnet-101网络会对文字图片进行卷积运算，生成五层特征图。Resnet中大量具有如图2的局部结构，公式表达为：y＝F(x,{W})+x其中，x代表输入数据，y代表输出数据，W是可训练的参数，F为对x和W进行的某种运算，可以看到输出由输入的经过运算后的结果和输入信号叠加，这个简单的加法并不会给网络增加额外的参数和计算量，同时却可以大大增加模型的训练速度、提高训练效果，并且当模型的层数加深时，这个简单的结构能够很好的解决退化问题。在本专利技术实例中，RegionProposalNetwork(RPN)生成检测框anchor，并遍历检测框内的特征图，一条网络通过softmax分类anchors获得positive和negative分类，另外一条网络用于计算对于anchors的boundingboxregression偏移量，以获得精确的proposal。而最后的Proposal层则负责综合positiveanchors和对应boundingboxregression偏移量获取proposals，同时剔除太小和超出边界的proposals，候选ROI区域。在本专利技术实例中，RoIpooling层则负责收集proposal，并计算出proposalfeaturemaps，并且规范到同一形状送入后续网络。在本专利技术实例中，分类网络部分利用已经获得的proposalfeaturemaps，和用proposal计算出来的图片水平旋转程度，字符的宽和高度也同样作为特征，通过fullconnect层与softmax计算每个proposal具体属于那个类别，输出cls_prob概率向量；同时再次利用boundingboxregression获得每个proposal的位置偏移量bbox_pred，用于回归更加精确的目标检测本文档来自技高网...

【技术保护点】
1.一种基于深度学习的航空发动机叶片金属表面蚀刻字符识别方法，其特征在于，包括显微镜摄像机、叶片夹持固定设备和运行着深度学习算法模型的电子设备，具体包含如下的步骤：/nS1：模型预训练/n利用大量航空发动机叶片图片和针对图片进行的标注内容，对深度学习模型进行训练；/nS2：获取航空发动机叶片图片/n通过显微镜摄像机进行发动机叶片图片拍摄；/nS3：文字整体位置定位/n文字在叶片上占比非常小，用深度学习模型进行文字范围定位，并把有文字的部分看做一个整体切割出来；/nS4：文字特征整体提取/n利用深度学习网络在切割后的文字图片上进行特征提取；/nS5:单字符切割/n根据提取出来的特征，定位每个字符，并把字符从整体图片上切分出来；/nS6:单字符识别/n对于切割出来的图形，根据特征以及前期网络提供的长宽、字符间拟合出的直线斜率等信息进行字符识别；/nS7:图像摆正重识别/n如果深度学习网络判断的图片倾斜角度过大，将把图片进行摆正操作，并进行重新识别；/nS8:定制化输出结果/n获取识别结果，对结果处理之后输出到终端设备。/n

【技术特征摘要】
1.一种基于深度学习的航空发动机叶片金属表面蚀刻字符识别方法，其特征在于，包括显微镜摄像机、叶片夹持固定设备和运行着深度学习算法模型的电子设备，具体包含如下的步骤：
S1：模型预训练
利用大量航空发动机叶片图片和针对图片进行的标注内容，对深度学习模型进行训练；
S2：获取航空发动机叶片图片
通过显微镜摄像机进行发动机叶片图片拍摄；
S3：文字整体位置定位
文字在叶片上占比非常小，用深度学习模型进行文字范围定位，并把有文字的部分看做一个整体切割出来；
S4：文字特征整体提取
利用深度学习网络在切割后的文字图片上进行特征提取；
S5:单字符切割
根据提取出来的特征，定位每个字符，并把字符从整体图片上切分出来；
S6:单字符识别
对于切割出来的图形，根据特征以及前期网络提供的长宽、字符间拟合出的直线斜率等信息进行字符识别；
S7:图像摆正重识别
如果深度学习网络判断的图片倾斜角度过大，将把图片进行摆正操作，并进行重新识别；
S8:定制化输出结果
获取识别结果，对结果处理之后输出到终端设备。


2.根据权利要求1所述的一种基于深度学习的航空发动机叶片金属表面蚀刻字符识别方法，其特征在于，利用显微镜摄像机对叶片字符进行拍照。
...

【专利技术属性】
技术研发人员：郑会龙，
申请(专利权)人：杭州测质成科技有限公司，
类型：发明
国别省市：浙江;33