本发明专利技术提供一种用于复杂光照环境的药品包装文字计算机识别算法及装置，涉及文字图像识别技术领域。该用于复杂光照环境的药品包装文字计算机识别算法及装置，包括以下步骤：S1.计算药品包装盒在图片内的位置；S2.图像的曝光率矫正增强；S3.图像区域边缘提取；S4.局部图像中使用3D结构预测；S5.过滤2D平面信息；S6.精准定位凹陷钢印文字的色差区域；S7.对该色差区域使用二维链接映射强化模型；S8.3D点云的重建；S9.将提取的特征输入文字检测模块；S10.输出药品批号等信息。通过本发明专利技术算法的计算，可以在复杂的光照环境下，对药品包装盒上的文字进行清晰的显示，提取效果较好，可以普遍应用于药品包装盒上的批号采集、信息识别。信息识别。信息识别。
【技术实现步骤摘要】
用于复杂光照环境的药品包装文字计算机识别算法及装置
[0001]本专利技术涉及文字图像识别
，具体为一种用于复杂光照环境的药品包装文字计算机识别算法及装置。
技术介绍
[0002]当前主流的OCR文字图像识别算法，大多数采用人工神经网络、骨骼特征、特征点匹配等单一的算法来实现对文字的识别。这样的识别对于墨印文字(如纯文字文档)来说，可以达到相当高的准确率。但当面对复杂光源下，像药品包装盒上跨越多个颜色区域(药品包装盒通常是有几种颜色的)的文字，甚至是钢印文字(凹陷)的提取时，现有主流的OCR文字图像识别算法束手无策。
[0003]目前所用的比较典型的OCR文字识别方式，对于药品包装盒表面材质反光、颜色区域多并差异大以及凹陷的钢印文字来说，该方法还存在以下问题：
[0004]1、图像特征提取：现有的技术普遍使用基于卷积神经网(CNN)作为特征提取手段，意味着需要配合大量的数据，才能增强特征提取的鲁棒性。但目前还没有训练好的成熟算法是针对药盒信息提取这一应用场景的，所以在模糊、扭曲、畸变、多色背景和多角度复杂光线这些客观因素的影响下，现有的卷积神经网特征提取算法的效果比较差。
[0005]2、文字检测：CTPN是目前最常用的文本检测模型之一，在R
‑
CNN的检测网络中加入了双向LSTM用于语义识别，达到精准检测的效果。但R
‑
CNN的训练集均基于二维平面图像，且药盒钢印文字(如产品批号)的字符前后逻辑关联性弱，故目前这种检测对三维的尤其是凹陷钢印文字的识别效果十分糟糕。
技术实现思路
[0006](一)解决的技术问题
[0007]针对现有技术的不足，本专利技术提供了一种用于复杂光照环境的药品包装文字计算机识别算法及装置，解决了现有文字识别中光线影响下识别不准确的问题。
[0008](二)技术方案
[0009]为实现以上目的，本专利技术通过以下技术方案予以实现：一种适用于复杂光照环境的药品包装盒文字计算机识别算法，包括以下步骤：
[0010]S1.计算药品包装盒在图片内的位置；
[0011]1)图像采集系统以一个实时录制的模式开机运行，当检测到背景发生一定程度的变化时，开始按照帧数采集药品包装盒的图像；
[0012]2)对图像采用3
×
3的模板对其进行均值滤波，接着利用简单的阈值分割法分割出图像中的字体；
[0013]3)在一定的区间范围内，自左向右分段扫描，获得药品包装盒的左边缘采样点，然后自下而上分段扫面，获得药品包装盒的下边缘采样点；
[0014]4)利用最小二乘法分别拟合出上一步中两个点集分别对应的直线方程，设一条直
线上x和y之间的函数关系为：y＝a+bx,则最小距离公式为：
[0015][0016]5)由上一步计算得到的两条直线方程，联立方程组，求解计算后得到的交点，即为图像中药品包装盒的左下角的坐标；
[0017]6)由上一步计算得到的两条直线方程，联立方程组，求解计算后得到的交点，即为图像中药品包装的右上角的坐标；
[0018]S2.图像的曝光率矫正增强；
[0019]1)使用全新开发的全局
‑
本地判别器来判断异常的光线与正常的光线，找出需要调整的色域位置，相对判别器的公式如下：
[0020][0021]2)使用自我特征化的保留函数，保证图像自身内容的特征在调整色域的前后保持一致，函数公式如下：
[0022]3)在U神经网加入自我注意力特性生成输出，可以达到在每一个不同的深度层都提取出不同维度的特性的效果；
[0023]S3.图像区域边缘提取；
[0024]1)使用直方图均衡化来增强图像对比度，公式如下：
[0025][0026]2)使用高斯滤波，去除噪音，其原理为根据带滤波的像素点及其领域点的灰度值按照高斯公式生成的参数规则进行加权平均，这样可以有效滤去理想图像中叠加的高频噪声；
[0027]3)接着通过对图像中像素灰度值变化的速度，即梯度进行计算，概念公式为：
[0028]4)对梯度图像进行非极大值抑制：从上一步得到的梯度图像存在很多干扰，如边缘粗宽、边缘弱等众多问题，而使用非极大值抑制来寻找像素点局部最大值，将非极大值所对应的灰度值置0，这样可以剔除一大部分非边缘的像素点；
[0029]5)使用双阈值进行边缘连接：这一步骤的目的是为了剔除伪边缘，通过选取两个合理的高低阈值，将小于低阈值的点认为是假边缘，设置为0，将大于高阈值的点认为是强边缘，设置为1，并对两个阈值中间区域的像素点进行进一步的检查；
[0030]S4.局部图像中使用3D结构预测，使用专利技术的3D结构预测器对图片物体的每个像素点预判，并在每个像素点通过2D的卷积计算生成3D坐标Xi＝[xi，yi，zi]T，进一步生成3D物体的表面，即使用二维卷积运算的深度神经网络形成密集的点云；
[0031]S5.过滤2D平面信息；
[0032]S6.精准定位凹陷钢印文字的色差区域；
[0033]S7.对该色差区域使用二维链接映射强化模型；
[0034]1)引入一个为渲染的管道作为真实渲染的近相似对比，并利用为渲染的图像进行二维投影优化，将3D坐标投影为2D坐标；
[0035]2)使用图像井深和相形成的模版(mask)的损失函数对模型进行强化，其公式为：和
[0036]S8.3D点云的重建；
[0037]S9.将提取的特征输入文字检测模块；
[0038]S10.输出药品批号等信息。
[0039]优选的，所述S1中第四步中的(x
i
,y
i
)为对应点集中的点，n为点集中点的个数，上式分别对a、b求编导后联立方程组，求解后得到参数a、b，从而得到点集对应的直线方程。
[0040]优选的，所述S2中第一步中C代表着判别器的神经网，Xr与Xf是从图中取样的分布，σ代表了S函数。
[0041]优选的，所述S2中第二步中其中I
L
代表着输入的低亮度图片而G(I
L
)代表的是生成器的增强输出，φ
i,j
代表着提取出的特征地图，I代表着第i个最大池化，j代表着第j个在第i个最大池化之后的卷积层，W
ij
与H
ij
是提取出特征地图的尺寸。
[0042]优选的，所述S7中第二步中M
k
与Z
k
是在第K个新视角中的真值模板和井深图像，通过这样的强化后，可以让误差均匀的分布在所有的新视角中，而不是固定的某个N视角。
[0043]一种适用于复杂光照环境的药品包装盒文字计算机识别装置，包括识别平台、电脑，所述识别平台的上表面设置有识别区，所述识别平台的上表面且位于识别区的后方设置有连接柱，所述连接柱的下表面设置有摄像头，所述摄像头的内部设置有光源，所述摄像头的内部设置有信号传输本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种适用于复杂光照环境的药品包装盒文字计算机识别算法，其特征在于：包括以下步骤：S1.计算药品包装盒在图片内的位置；1)图像采集系统以一个实时录制的模式开机运行，当检测到背景发生一定程度的变化时，开始按照帧数采集药品包装盒的图像；2)对图像采用3
×
3的模板对其进行均值滤波，接着利用简单的阈值分割法分割出图像中的字体；3)在一定的区间范围内，自左向右分段扫描，获得药品包装盒的左边缘采样点，然后自下而上分段扫面，获得药品包装盒的下边缘采样点；4)利用最小二乘法分别拟合出上一步中两个点集分别对应的直线方程，设一条直线上x和y之间的函数关系为：y＝a+bx,则最小距离公式为5)由上一步计算得到的两条直线方程，联立方程组，求解计算后得到的交点，即为图像中药品包装盒的左下角的坐标；6)由上一步计算得到的两条直线方程，联立方程组，求解计算后得到的交点，即为图像中药品包装的右上角的坐标；S2.图像的曝光率矫正增强；1)使用全新开发的全局——本地判别器来判断异常的光线与正常的光线，找出需要调整的色域位置，相对判别器的公式如下：2)使用自我特征化的保留函数，保证图像自身内容的特征在调整色域的前后保持一致，函数公式如下：3)在U神经网加入自我注意力特性生成输出，可以达到在每一个不同的深度层都提取出不同维度的特性的效果；S3.图像区域边缘提取；1)使用直方图均衡化来增强图像对比度，公式如下：2)使用高斯滤波，去除噪音，其原理为根据带滤波的像素点及其领域点的灰度值按照高斯公式生成的参数规则进行加权平均，这样可以有效滤去理想图像中叠加的高频噪声；3)接着通过对图像中像素灰度值变化的速度，即梯度进行计算，概念公式为：4)对梯度图像进行非极大值抑制：从上一步得到的梯度图像存在很多干扰，如边缘粗宽、边缘弱等众多问题，而使用非极大值抑制来寻找像素点局部最大值，将非极大值所对应的灰度值置0，这样可以剔除一大部分非边缘的像素点；5)使用双阈值进行边缘连接：这一步骤的目的是为了剔除伪边缘，通过选取两个合理的高低阈值，将小于低阈值的点认为是假边缘，设置为0，将大于高阈值的点认为是强边缘，
设置为1，并对两个阈值中间区域的像素点进行进一步的检查；S4.局部图像中使用3D结构预测，使用发明的3D结构预测器对图片物体的每个像素点预判，并在每个像素点通过2D的卷积计算生成3D坐标Xi＝[xi，yi，zi]T，进一步生成3D物体的表面，即使用二维卷...
【专利技术属性】
技术研发人员：张浩，浦泽霖，
申请(专利权)人：无锡启凌科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。