本发明专利技术涉及图像处理技术领域，具体地涉及一种图片信息提取方法、图片信息提取装置及计算机可读存储介质。本发明专利技术的技术方案中提供的图片信息提取方法，包括：文本检测步骤，通过文字检测模型检测图片中的文本元素，进行文本检测标记，并根据检测到的文本元素的坐标对图片进行分割得到文本图片；文本识别步骤，通过文字识别模型识别文本图片中的文本元素，对文本元素进行文本识别标记，对文本元素中的特定字符元素进行特殊文本识别标记；信息抽取步骤，根据图片、图片中的文本元素的内容、坐标和标记信息以及预设的特殊字符的规则，通过多模态模型获取图片中的文本元素对应的信息。模型获取图片中的文本元素对应的信息。模型获取图片中的文本元素对应的信息。
【技术实现步骤摘要】
图片信息提取方法、装置及计算机可读存储介质
[0001]本专利技术涉及图像处理
，具体地涉及一种图片信息提取方法、图片信息提取装置及计算机可读存储介质。
技术介绍
[0002]随着计算机相关软硬件的技术不断发展和成熟，计算机进行零件等工业品辅助设计的载体趋于从2D图纸向3D模型转变。然而，目前行业内依然存在大量以纸质或扫描图片的形式存在的2D零件图纸，2D零件图纸中不仅包含了约束零件形状的视图信息，同时还有大量的尺寸、特征、设计、生产信息是以文字标注的形式呈现在2D零件图纸上的。而现有技术中在根据2D零件图纸进行三维模型的建立时，通常可以通过使用轮廓识别提取2D零件图纸中的形状视图信息，并通过3D重建将零件的大致结构进行重现，由于机器还原时往往是根据图纸的像素点和比例尺计算实际尺寸，而工业品图纸的多视图不一定按照真实比例尺进行绘画，会导致一定还原差距，同时图纸中有关工艺、制作精度等方面的信息的缺失导致能够支持的业务范围比较有限。
[0003]或者，现有技术还会采用后续的人工来识别图片中的文字和/或符号标注信息来辅助3D模型重建，但是人工识别需要依赖于具有机械工程或工程图学等背景知识的专业人员，存在人力成本高、读取效率低、读取精度无法保证的问题。
技术实现思路
[0004]针对以上问题，本专利技术提供了一种图片信息提取方法、图片信息提取装置及计算机可读存储介质，上述图片信息提取方法能够对零件工程图纸中的位置、方向等不同文字信息以及各种形式符号、标注信息进行识别，并结合视图信息和文字信息实现对上述信息进行提取，进而根据提取识别到的信息实现三维建模等应用。
[0005]本专利技术的技术方案中，提供了一种图片信息提取方法，包括：文本检测步骤，通过文字检测模型检测图片中的文本元素，并根据检测到的文本元素的坐标对图片进行分割得到文本图片；文本识别步骤，通过文字识别模型识别文本图片中的文本元素，并对文本元素打标签；信息抽取步骤，根据图片、图片中的文本元素的内容、坐标和标签信息以及文本元素中预设的特殊字符的规则，通过多模态模型获取图片中的文本元素对应的信息。
[0006]根据本专利技术的技术方案，由于图片中的文字或标注符号信息可能以不同的格式、方向设置于图片的不同位置，首先通过文字检测模型识别图片中文本元素的位置并根据坐标进行图片分割，将图片分割为多个文本图片单元后再通过文字识别模型对其中的文本内容进行识别，并进一步地将图片、图片中的文本元素的内容、坐标和标签信息以及文本元素中预设的特殊字符的规则输入到多模态模型中，通过多模态模型综合图像信息和文本信息的智能识别，从而在图片中的文字信息纷乱复杂、位置方向不一且包含多种特殊字符的情况下，仍能够实现高效准确自动化的文字内容以及文字内容中的目标实体提取。在此基础上，从图片中获取更加全面精准的信息进而能够进行进一步地信息数据加工和计算，例如
根据提取到的信息实现三维模型的自动化精准构建和尺寸校正等。
[0007]根据本专利技术的技术方案，零件工程图中除了限定零件结构的视图信息以外，还包含零件的型号信息、尺寸信息等大量的文本信息，上述文本信息中涉及大量的表示图示结构的特征符号和对图中零件的尺寸的标注信息，并且存在竖向排列或其他不定向角度排列的文本信息，通过上述图片信息提取方法能够对上述文本信息实现准确识别提取。
[0008]优选地，本专利技术的技术方案中，图片信息提取方法在文本检测步骤中还检测并提取了图片中的尺寸标注图形。
[0009]根据本专利技术的技术方案，同时提取图片中的图像信息和文本信息作为参考，以获得更为全面精准的数据。
[0010]优选地，本专利技术的技术方案中，图片信息提取方法中的文字检测模型由残差网络和密集连接卷积网络构成，文本识别模型为编码
‑
解码结构。
[0011]根据本专利技术的技术方案，将残差网络(Resnet)和密集连接卷积网络(Densenet)相结合，Resnet可以将浅层的特征进行继承和多次利用，Densenet侧重使用之前的特征获得新的特征，通过将两者的结果通过上采样层和一系列长短跳跃链接削减语义鸿沟，最后将特征输入栅格地图以及进行模型融合校正分割结果，以实现更少的计算量和更好的训练速度。文本识别模型的编码
‑
解码的方式舍弃了传统标记的前处理步骤，使得整个识别流程更加简单高效。
[0012]优选地，本专利技术的技术方案提供的图片信息提取方法的信息抽取步骤中，根据文本元素的坐标和标签对应的打标框的坐标进行对比，生成样本文件。
[0013]根据本专利技术的技术方案，上述步骤中得到的文本元素的坐标和标签对应的打标框的坐标进行对比，可以判断哪些文本内容中带有标签，进而生成训练样本文件，其训练样本文件中包含文本的坐标、文本内容和文本标签等。进一步地，能够通过正则匹配或其他的字符匹配寻找方式召回特殊字符，即可得到零件工程图中的特征符号和尺寸标注内容。
[0014]优选地，本专利技术的技术方案中，图片信息提取方法还包括拼接尺寸步骤，拼接尺寸步骤包括标注形式步骤，根据图片对应的模型中各个单元的形状类型，判别对应的尺寸标注形式；标注线步骤，根据尺寸标注形式，在图片中寻找标注线并存储；尺寸匹配步骤，根据形状类型和对应的尺寸标注规则获取尺寸信息，调整各个单元的尺寸。
[0015]根据本专利技术的技术方案，图片中不同的单元对应的标注类型不同，例如双箭头、折线箭头等，在图片对应的3D模型中确认每个单元对应的尺寸标注形式后再进行对应的尺寸标注内容读取，并给出对每种尺寸标注形式提供不同的抽取方法，最后根据读取到的信息进行对单元的尺寸进行调整，方便高效且准确性高。
[0016]进一步地，本专利技术的技术方案中，图片信息提取方法还包括尺寸精度获取步骤，获取全部特殊字符对应的尺寸信息，寻找小数点后位数最多的尺寸及其对应的小数位数，小数位数为尺寸精度；和/或，获取文本元素中的精度信息，根据精度信息得到尺寸精度。
[0017]根据本专利技术的技术方案，根据从图片本身文本信息中读取到的精度信息确认图片中视图的尺寸精度，操作方便，内容准确，上述两种精度确认方式可以相互印证或择优选取。
[0018]优选地，本专利技术的技术方案中，图片信息提取方法还包括预处理步骤，预处理步骤包括：规格调整步骤，通过剪裁、缩放、旋转中的一种或多种组合的方式对原始图片进行调
整；二值化步骤，对规格调整步骤后得到的图片进行二值化处理；清晰度调整步骤，对二值化步骤后得到的图片进行多轮腐蚀和/或膨胀处理，得到预处理完成的图片。
[0019]根据本专利技术的技术方案，上述预处理步骤，首先将原始图片的规格进行统一规范，再通过二值化步骤将规格调整后的图片调整为黑白色，接着通过多轮腐蚀和/或膨胀处理减轻或消除原始图片中的糙边、噪点、不清晰等问题，保证后续进行信息提取的图片的清晰流畅。
[0020]进一步地，本专利技术的技术方案中，图片信息提取方法还包括角度调整步骤，通过卷积神经网络算法模型识别并调整所述预处理完成的图片的方向。
本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种图片信息提取方法，其特征在于，包括：文本检测步骤，通过文字检测模型检测图片中的文本元素，并根据检测到的所述文本元素的坐标对所述图片进行分割得到文本图片；文本识别步骤，通过文字识别模型识别所述文本图片中的所述文本元素，并对所述文本元素打标签；信息抽取步骤，根据所述图片、所述图片中的所述文本元素的内容、坐标和标签信息以及所述文本元素中预设的特殊字符的规则，通过多模态模型获取所述图片中的所述文本元素对应的信息。2.如权利要求1所述的图片信息提取方法，其特征在于，在所述文本检测步骤中还检测并提取了所述图片中的尺寸标注图形。3.如权利要求2所述的图片信息提取方法，其特征在于，所述文字检测模型由残差网络和密集连接卷积网络构成，所述文本识别模型为编码
‑
解码结构。4.如权利要求3所述的图片信息提取方法，其特征在于，所述信息抽取步骤中，根据所述文本元素的所述坐标和所述标签对应的所述打标框的坐标进行对比，生成样本文件。5.如权利要求4所述的图片信息提取方法，其特征在于，还包括拼接尺寸步骤，所述拼接尺寸步骤包括标注形式步骤，根据所述图片对应的模型中各个单元的形状类型，判别对应的尺寸标注形式；标注线步骤，根据所述尺寸标注形式，在所述图片中寻找标注线并存储；尺寸匹配步骤，根据所述形状类型和对应的尺寸标注规则获取尺寸信息，调整所述各个单元的尺寸。6.如权利要求5所述的图片信息提取方法，其特征在于，还包括尺寸精度获取步骤，获取全部所述特殊字符对...
【专利技术属性】
技术研发人员：乔琛，苏啸，倪浩天，周皙琪，张葳，
申请(专利权)人：米思米中国精密机械贸易有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。