基于卷积-反卷积神经网络的图像识别、校正方法和装置制造方法及图纸

本发明专利技术提供了一种基于卷积‑反卷积神经网络的图像识别、校正方法和装置，通过构建卷积‑反卷积神经网络模型；为训练集中的至少一张图片样本构建对应的标注图；训练卷积‑反卷积神经网络模型，利用训练后的所述卷积‑反卷积神经网络模型和预设的几何约束，识别待检测图片中的图像主体。本发明专利技术提供的方案实现了对图片中的图像主体的识别。

【技术实现步骤摘要】
基于卷积-反卷积神经网络的图像识别、校正方法和装置
本专利技术涉及计算机
，特别涉及一种基于卷积-反卷积神经网络的图像识别、校正方法和装置。
技术介绍
随着移动互联网和多媒体的飞速发展，图片已经成为获取重要信息的方式之一，例如从图片中获取文档、名片、身份证、护照等的信息，其所带来的便捷和高效也使人们对其青睐有加。而随手拍摄需要采集的图像如文档、名片、身份证、护照等均存在偏转和扭曲的问题，而对偏转和扭曲的图像进行识别和校正，是准确提取信息的必要条件。因此，对图像主体如图片中的文档、名片、身份证以及护照等进行识别和校正则显得十分重要。
技术实现思路
本专利技术实施例提供了一种基于卷积-反卷积神经网络的图像识别、校正方法和装置，实现了对图片中的图像主体的识别。基于卷积-反卷积神经网络的图像识别方法：构建卷积-反卷积神经网络模型，包括：为所述卷积-反卷积神经网络模型设置网络结构、每层卷积核尺寸和数目、每层反卷积核尺寸和数目、每层最大池化核的尺寸、卷积核与反卷积核在每一维的移动步长；为训练集中的至少一张图片样本构建对应的标注图；训练所述卷积-反卷积神经网络模型，包括循环执行下述步骤N1至N5：N1：确定当前输入批次，从所述训练集中，为所述当前输入批次抽取至少一张图片样本，其中，抽取的图片样本张数等于所述当前输入批次对应的预设输入批量；N2：将所述当前输入批次对应的每一张图片样本输入所述卷积-反卷积神经网络模型，为输入的每一张所述图片样本生成对应的预测结果；N3：利用所述预测结果和所述图片样本对应的标注图，计算所述当前输入批次的权重差异值；N4：按照预设的学习速率和所述权重差异值，调整所述卷积-反卷积神经网络模型中的网络参数权重值；N5：判断是否完成预设的训练目标，如果否，则确定下一输入批次，并将所述下一输入批次作为当前输入批次，返回执行N1，如果是，则结束循环；所述方法还包括：利用训练后的所述卷积-反卷积神经网络模型和预设的几何约束，识别待检测图片中的图像主体。可选地，所述图像主体为四边形结构；所述为训练集中的至少一张图片样本构建对应的标注图，包括：针对每一张图片样本，均执行：用线段描绘所述图片样本中的四边形结构图像主体的主体边缘；根据描绘出的所述主体边缘，确定四个顶点；基于所述四边形结构图像主体，构造对应的灰度图，并将所述灰度图背景填充为黑色；基于所述四个顶点，利用宽度不大于3像素的白色直线，描绘所述灰度图的边缘，形成标注图；其中，所述训练集中的所有图片样本以及所述图片样本对应的标注图具有相同的设定分辨率大小。可选地，所述利用所述预测结果和所述图片样本对应的标注图，计算所述当前输入批次的权重差异值，包括：利用下述差异值计算公式，计算所述当前输入批次的权重差异值；差异值计算公式：其中，loss表征当前输入批次的权重差异值；i表征当前输入批次对应的第i张图片样本；n表征对应的预设输入批量，n为不小于1的正整数；zi表征当前输入批次对应的第i张图片样本对应的标注图的值；yi表征第i张图片样本对应的预测结果；qi表征第i张图片样本对应的预测结果与对应标注图之间相同值所占百分比。可选地，所述训练目标，包括：所述权重差异值不大于预设的收敛阈值。可选地，所述训练目标，包括：所述循环的次数达到预设的迭代次数阈值。可选地，所述利用训练后的所述卷积-反卷积神经网络模型和预设的几何约束识别，待检测图片中的图像主体，包括：利用训练后的所述卷积-反卷积神经网络模型检测待检测图片中的直线/线段；利用四边形几何约束，筛选出所述直线/线段组成的四边形结构；确定面积最大的四边形包围的区域为待检测图片中的图像主体。可选地，为所述卷积-反卷积神经网络模型所设置的所述网络结构，包括：具有三个卷积层和一个最大池化层的第一网络层，至少一个具有三个卷积层、一个最大池化层以及一个反卷积层的中间网络层，具有三个卷积层和一个反卷积层的底层网络层以及具有一个卷积层的合并卷积网络层，其中，所述第一网络层的连接为：所述中间网络层的连接为：其中，当所述中间网络层的个数为一个时，M表征第一网络层，K表征底层网络层；当所述中间网络层的个数为至少两个时，针对首个中间网络层，M表征第一网络层；针对非首个中间网络层，M表征前续中间网络层；针对最后一个中间网络层，K表征底层网络层；针对非最后一个中间网络层，K表征后续中间网络层；所述底层网络层的连接为：中间网络层→卷积层→卷积层→卷积层→反卷积层→合并卷积网络层。一种图像校正方法，利用上述任一所述的基于卷积-反卷积神经网络的图像识别方法识别出待检测图片中的图像主体；还包括：构建一个视平面；将识别出的所述图像主体投影到所述视平面上；根据识别出的所述图像主体的边缘与所述视平面的边缘之间的夹角，变换识别出的所述图像主体的角度，以使识别出的所述图像主体的边缘与所述视平面的边缘平行；按照预设的输出分辨率，以图片格式输出识别出的所述图像主体。一种基于卷积-反卷积神经网络的图像识别装置，包括：构建与存储单元、模型训练单元以及识别单元，其中，所述构建与存储单元，用于构建并存储卷积-反卷积神经网络模型，包括为所述卷积-反卷积神经网络模型设置网络结构、每层卷积核尺寸和数目、每层反卷积核尺寸和数目、每层最大池化核的尺寸、卷积核与反卷积核在每一维的移动步长；所述模型训练单元，用于训练所述构建与存储单元存储的卷积-反卷积神经网络模型，包括循环执行下述步骤N1至N5：N1：确定当前输入批次，从所述训练集中，为所述当前输入批次抽取至少一张图片样本，其中，抽取的图片样本张数等于所述当前输入批次对应的预设输入批量；N2：将所述当前输入批次对应的每一张图片样本输入所述卷积-反卷积神经网络模型，为输入的每一张所述图片样本生成对应的预测结果；N3：利用所述预测结果和所述图片样本对应的标注图，计算所述当前输入批次的权重差异值；N4：按照预设的学习速率和所述权重差异值，调整所述卷积-反卷积神经网络模型中的网络参数权重值；N5：判断是否完成预设的训练目标，如果否，则确定下一输入批次，并将所述下一输入批次作为当前输入批次，返回执行N1，如果是，则结束循环；所述识别单元，用于利用所述模型训练单元训练后的卷积-反卷积神经网络模型和预设的几何约束，识别待检测图片中的图像主体。可选地，所述模型训练单元，用于当所述图像主体为四边形结构时，所述为训练集中的图片样本执行：用线段描绘所述图片样本中的四边形结构图像主体的主体边缘；根据描绘出的所述主体边缘，确定四个顶点；基于所述四边形结构图像主体，构造对应的灰度图，并将所述灰度图背景填充为黑色；基于所述四个顶点，利用宽度不大于3像素的白色直线，描绘所述灰度图的边缘，形成标注图，其中，所述训练集中的所有图片样本以及所述图片样本对应的标注图具有相同的设定分辨率大小。可选地，所述模型训练单元，用于利用下述差异值计算公式，计算所述当前输入批次的权重差异值；差异值计算公式：其中，loss表征当前输入批次的权重差异值；i表征当前输入批次对应的第i张图片样本；n表征对应的预设输入批量，n为不小于1的正整数；zi表征当前输入批次对应的第i张图片样本对应的标注图的值；yi表征第i张图片样本对应的预测结果；qi表征第i张图片样本对应的预测结果与对应标注图之间本文档来自技高网...

【技术保护点】
1.基于卷积‑反卷积神经网络的图像识别方法，其特征在于，构建卷积‑反卷积神经网络模型，包括：为所述卷积‑反卷积神经网络模型设置网络结构、每层卷积核尺寸和数目、每层反卷积核尺寸和数目、每层最大池化核的尺寸、卷积核与反卷积核在每一维的移动步长；为训练集中的至少一张图片样本构建对应的标注图；训练所述卷积‑反卷积神经网络模型，包括循环执行下述步骤N1至N5：N1：确定当前输入批次，从所述训练集中，为所述当前输入批次抽取至少一张图片样本，其中，抽取的图片样本张数等于所述当前输入批次对应的预设输入批量；N2：将所述当前输入批次对应的每一张图片样本输入所述卷积‑反卷积神经网络模型，为输入的每一张所述图片样本生成对应的预测结果；N3：利用所述预测结果和所述图片样本对应的标注图，计算所述当前输入批次的权重差异值；N4：按照预设的学习速率和所述权重差异值，调整所述卷积‑反卷积神经网络模型中的网络参数权重值；N5：判断是否完成预设的训练目标，如果否，则确定下一输入批次，并将所述下一输入批次作为当前输入批次，返回执行N1，如果是，则结束循环；所述方法还包括：利用训练后的所述卷积‑反卷积神经网络模型和预设的几何约束，识别待检测图片中的图像主体。...

【技术特征摘要】
1.基于卷积-反卷积神经网络的图像识别方法，其特征在于，构建卷积-反卷积神经网络模型，包括：为所述卷积-反卷积神经网络模型设置网络结构、每层卷积核尺寸和数目、每层反卷积核尺寸和数目、每层最大池化核的尺寸、卷积核与反卷积核在每一维的移动步长；为训练集中的至少一张图片样本构建对应的标注图；训练所述卷积-反卷积神经网络模型，包括循环执行下述步骤N1至N5：N1：确定当前输入批次，从所述训练集中，为所述当前输入批次抽取至少一张图片样本，其中，抽取的图片样本张数等于所述当前输入批次对应的预设输入批量；N2：将所述当前输入批次对应的每一张图片样本输入所述卷积-反卷积神经网络模型，为输入的每一张所述图片样本生成对应的预测结果；N3：利用所述预测结果和所述图片样本对应的标注图，计算所述当前输入批次的权重差异值；N4：按照预设的学习速率和所述权重差异值，调整所述卷积-反卷积神经网络模型中的网络参数权重值；N5：判断是否完成预设的训练目标，如果否，则确定下一输入批次，并将所述下一输入批次作为当前输入批次，返回执行N1，如果是，则结束循环；所述方法还包括：利用训练后的所述卷积-反卷积神经网络模型和预设的几何约束，识别待检测图片中的图像主体。2.根据权利要求1所述的方法，其特征在于，所述图像主体为四边形结构；所述为训练集中的至少一张图片样本构建对应的标注图，包括：针对每一张图片样本，均执行：用线段描绘所述图片样本中的四边形结构图像主体的主体边缘；根据描绘出的所述主体边缘，确定四个顶点；基于所述四边形结构图像主体，构造对应的灰度图，并将所述灰度图背景填充为黑色；基于所述四个顶点，利用宽度不大于3像素的白色直线，描绘所述灰度图的边缘，形成标注图；其中，所述训练集中的所有图片样本以及所述图片样本对应的标注图具有相同的设定分辨率大小。3.根据权利要求1所述的方法，其特征在于，所述利用所述预测结果和所述图片样本对应的标注图，计算所述当前输入批次的权重差异值，包括：利用下述差异值计算公式，计算所述当前输入批次的权重差异值；差异值计算公式：其中，loss表征当前输入批次的权重差异值；i表征当前输入批次对应的第i张图片样本；n表征对应的预设输入批量，n为不小于1的正整数；zi表征当前输入批次对应的第i张图片样本对应的标注图的值；yi表征第i张图片样本对应的预测结果；qi表征第i张图片样本对应的预测结果与对应标注图之间相同值所占百分比。4.根据权利要求1所述的方法，其特征在于，所述训练目标，包括：所述权重差异值不大于预设的收敛阈值；或者，所述循环的次数达到预设的迭代次数阈值。5.根据权利要求2所述的方法，其特征在于，所述利用训练后的所述卷积-反卷积神经网络模型和预设的几何约束识别，待检测图片中的图像主体，包括：利用训练后的所述卷积-反卷积神经网络模型检测待检测图片中的直线/线段；利用四边形几何约束，筛选出所述直线/线段组成的四边形结构；确定面积最大的四边形包围的区域为待检测图片中的图像主体。6.根据权利要求1至5任一所述的方法，其特征在于，为所述卷积-反卷积神经网络模型所设置的所述网络结构，包括：具有三个卷积层和一个最大池化层的第一网络层，至少一个具有三个卷积层、一个最大池化层以及一个反卷积层的中间网络层，具有三个卷积层和一个反卷积层的底层网络层以及具有一个卷积层的合并卷积网络层，其中，所述第一网络层的连接为：所述中间网络层的连接为：其中，当所述中间网络层的个数为一个时，M表征第一网络层，K表征底层网络层；当所述中间网络层的个数为至少两个时，针对首个中间网络层，M表征第一网络层；针对非首个中间网络层，M表征前续中间网络层；针对最后一个中间网络层，K表征底层网络层；针对非最后一个中间网络层，K表征后续中间网络层；所述底层网络层的连接为：中间网络层→卷积层→卷...

【专利技术属性】
技术研发人员：夏鑫，郑伟波，孙立新，
申请(专利权)人：浪潮通用软件有限公司，
类型：发明
国别省市：山东,37