一种基于OCR的营养元素自动识别方法技术

本申请涉及健康管理技术领域，公开了一种基于OCR的营养元素自动识别方法，所述方法包括以下步骤：S1.对图像进行矫正以及表格结构识别，然后对图像进行切分，最终得到仅包含营养成分表的表格图像；S2.构建并训练改进的DBNet文本检测网络，对仅包含营养成分表的图像进行文本检测，得到文本的定位坐标；S3.构建并训练CRNN文本识别网络，根据步骤S2中定位后得到的坐标进行文本识别，得到文本识别内容；S4.根据文本识别的结果识别该食品的营养成分和含量。本申请能够对食品包装上的表格进行定位，并对食品具体的营养成分与含量进行识别，用户可以通过对食品包装进行拍摄，进而获得具体的营养成分与每100g的含量，帮助用于更好地进行健康管理，合理膳食。合理膳食。合理膳食。

【技术实现步骤摘要】
一种基于OCR的营养元素自动识别方法


[0001]本申请涉及健康管理
，更具体的说，涉及一种基于OCR的营养元素自动识别方法。

技术介绍

[0002]OCR(Optical Character Recognition，光学字符识别)是一种广泛应用于现实生活中的技术手段，基于深度学习的OCR技术的研究主要针对文本检测和文本识别两个方面，针对文本检测的常用网络有DBNet、CTPN、EAST等，针对文本识别的常用网络有CRNN、Rosetta、STAR
‑
Net、RARE等。目前，对于印刷体的文本检测和文本识别都具有较好的效果，但在对食品包装进行拍摄并根据照片进行营养成分的识别时，并没有专门针对营养成分自动识别的方法，无法对表格中的内容进行预处理，将会识别许多无关内容，为后续的营养成分的识别和分辨增加负担，具有效率低、识别准确率低等问题。

技术实现思路

[0003]为了解决上述现有技术中存在的问题和不足，本申请提出了一种基于OCR的营养元素自动识别方法，能够对食品包装上的表格进行定位，并对食品具体的营养成分与本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于OCR的营养元素自动识别方法，其特征在于，包括以下步骤：S1.对图像进行矫正以及表格结构识别，然后对图像进行切分，最终得到仅包含营养成分表的表格图像；S2.构建并训练改进的DBNet文本检测网络，对仅包含营养成分表的图像进行文本检测，得到文本的定位坐标；S3.构建并训练CRNN文本识别网络，根据步骤S2中定位后得到的坐标进行文本识别，得到文本识别内容；S4.根据文本识别的结果识别该食品的营养成分和含量。2.根据权利要求1所述的一种基于OCR的营养元素自动识别方法，其特征在于，所述步骤S1具体如下：S11.输入表格图像，并将其转换为灰度图像；S12.利用Canny算子检测表格图像的边缘；S13.使用全局和局部金字塔特征提取器对表格图像进行特征提取，得到特征图；S14.将提取的全局和局部特征进行特征融合得到特征矩阵，并使用特征压缩技术将特征矩阵的维度进行压缩；S15.使用支持向量机对特征矩阵进行分类，其中每个特征向量表示一个单元格；S16.使用聚类算法将表格中的单元格分组，形成表格的行和列；S17.将聚类后的单元格分配给相应的行和列，形成结构化的表格图像，最后将表格图像输出。3.根据权利要求1所述的一种基于OCR的营养元素自动识别方法，其特征在于，所述步骤S2具体如下：S21.构建一个由多个卷积层和激活层构成包含四个特征抽取模块的ResNet
–
18网络，将步骤S1中进行表格定位后的剪切后的待识别图像输入网络中；S22.ResNet
–
18网络从不同的特征抽取模块抽取特征并融合得到特征向量；S22.使用特征向量对像素点进行预测，得到基于分割方法预测的结果概率图和预测得到的阈值边缘图；S23.得到阈值边缘图和结果概率图之后，计算二者的差值得到边界，然后使用DB公式，得到近似的二值图，将二值图用于模型的训练，并最终获得训练完成的模型；S24.将待识别图像输入至步骤S2...

【专利技术属性】
技术研发人员：常益凡，杨晓宇，李志强，林若希，南京，
申请(专利权)人：新疆中科跃维科技有限公司，
类型：发明
国别省市：