一种药品识别方法和系统技术方案

本发明专利技术公开了一种药品识别方法和系统，构建基于卷积神经网络的药品识别模型；将多份药盒外观图像及对应的药品信息作为训练集对所述模型进行训练，得到训练完成的药品识别模型；所述药品识别模型用于根据药盒的外观图像得到药盒上的文本，从而识别药品。本发明专利技术采用多种网络模型相结合的算法对药品进行识别，通过本发明专利技术可以对图片严重模糊、文字变形、文本图片前景与背景相似等药品可以很精确地处理并识别出药品信息。并识别出药品信息。并识别出药品信息。

【技术实现步骤摘要】
一种药品识别方法和系统


[0001]本专利技术属于文本识别
，具体涉及一种药品识别方法和系统。

技术介绍

[0002]药品识别技术作为一种基于人类智能技术的药品信息管理工具，已经得到了广泛应用，目前，国内许多医院和药店应用药物来认识和管理药品信息，提高药品安全和服务质量。药品识别技术可以帮助用户快速查找并获得药品标签信息的信息，通过各类药品信息资源，实现药品信息的快速检测和智能推荐等功能。
[0003]文本识别技术是药品识别的核心技术之一，药品信息的采集和整合是，药品识别技术研究的基础。应用各种数据统计和数据挖掘技术获取药品信息并对其进行整合和归类，以方便后续的药品识别和监控。
[0004]目前，药品识别技术主要包括图像识别、文本识别。图像识别是指通过图像信息来进行药品识别，主要应用于扫描枪等设备上。文本识别是指通过文本信息来进行药品识别，主要应用于药品信息管理系统和药品监控平台规范等。但在一些具有挑战的复杂场景情况下，例如图片严重模糊、文字变形、文本图片前景与背景相似等，部分药品识别方法可能会显现出一些缺点，不能很精确地识别出药品信息。

技术实现思路

[0005]为了提高药品识别的精度和效率，本专利技术提出一种药品识别方法和系统，实现本专利技术目的之一的一种药品识别方法，包括如下步骤：构建基于卷积神经网络的药品识别模型；将多份药盒外观图像及对应的药品信息作为训练集对所述模型进行训练，得到训练完成的药品识别模型；所述药品识别模型用于根据药盒的外观图像得到药盒上的文本，从而识别药品。
[0006]实现本专利技术目的之二的一种药品识别系统，包括药品识别模型构建模块和模型训练模块，所述药品识别模型构建模块用于构建基于卷积神经网络的药品识别模型；所述模型训练模块用于将多份药盒外观图像及对应的药品信息作为训练集对所述模型进行训练，得到训练完成的药品识别模型；所述药品识别模型用于根据药盒的外观图像得到药盒上的文本，从而识别药品。
[0007]本专利技术的有益效果至少包括：1、本专利技术通过对设备采集得到的图片进行数据增强操作，选取具有代表性和多样性的样本进行训练，可以提高模型的精度；2、本专利技术使用特征金字塔结构和ResNet对输入图像进行操作，并引入新模块REM来减小检测的误差；3、本专利技术将检测到的文本实例输入双向长短期记忆网络并采用CTC Loss进行模型优化，优化了文本排列问题；
4、本专利技术提供了一种减小检测误差模块REM，对检测到的文本边界框区域进行特征提取，然后使用一系列反卷积层来进行上采样操作，采用空间注意力机制来计算特征图不同位置的权重，根据文本位置和边界框信息来自适应地调整不同位置的特征权重，对新的文本图像进行检测，并通过与训练数据的对比来确定文本位置，通过调整加权系数来进一步减小误差；5、本专利技术对于每一行文本，利用欧几里得距离来计算其中每两个字符之间的距离，然后根据距离将字符分为不同的组别，通过对它们的位置和大小进行调整，在得到优化后的字符组别后，将它们组合成文本行，进一步优化了识别结果。
附图说明
[0008]图1是本专利技术所述的实施例的流程图；图2是本专利技术实施例的检测模型示意图；图3是本专利技术实施例所述的文本实例示意图。
具体实施方式
[0009]下列具体实施方式用于对本专利技术权利要求技术方案的解释，以便本领域的技术人员理解本权利要求书。本专利技术的保护范围不限于下列具体的实施结构。本领域的技术人员做出的包含有本专利技术权利要求书技术方案而不同于下列具体实施方式的也是本专利技术的保护范围。
[0010]本申请实施例包括一种药品识别方法，具体包括如下步骤：步骤一、构建基于卷积神经网络的药品识别模型；步骤二、将多份药盒外观图像及对应的药品信息作为训练集对所述模型进行训练，得到训练完成的药品识别模型；所述药品识别模型用于根据药盒的外观图像得到药盒上的文本，从而识别药品。
[0011]上述技术方案中，还包括对训练集中的药盒外观图像进行数据增强，得到更多药盒的外观图像，具体步骤包括：S1：通过摄像头或其他图像采集设备获取多个药盒的外观图像，对采集得到药品图像进行数据增强处理，得到更多药盒的外观图像；所述数据增加处理方法是一种基于合成文本的方法，利用药盒图片数据的背景和字体来进行合成。具体步骤包括：S11：利用语义理解方法从每个药盒的外观图像抽取出其中的实体和关系信息，所述实体即药盒的外观图像中的文本区域和背景，关系信息是抽取出的文本区域中的文本间的语义关系；S12：根据抽取出的实体和关系信息，采用基于字形变换、字体变换和布局变换等方式，对文本进行扰动和变换，生成新的文本图像样本，以获得更加多样化的数据；S13：采用基于分类器置信度、相似性度量和样本多样性等指标，对生成的新的文本图像样本进行评估和排序，选取最具代表性和多样性的样本用于训练；S14：将上一步骤中选取出的样本和原始样本进行混合得到更多药盒的外观图像，其作为训练集，用于药品识别模型的训练。
[0012]上述技术方案中，所述药品识别模型包括文本检测模块和文本识别模块；所述文
本检测模块基于特征金字塔结构和ResNet网络，用于根据药盒的外观图像得到药盒上的用文本检测框标示的文本图像；所述文本识别模块基于CNN和Bi
‑
LSTM网络，其用于根据文本图像得到药盒上的文本。
[0013]如图2所示，文本检测模块使用特征金字塔FPN结构，采用ResNet骨干网络对每个原始样本进行自下而上的卷积操作和自上而下的上采样，得到多尺度特征图，将输出的多尺度特征图进行融合得到融合后的特征图，其包括局部的字体边缘信息或者是全局的语义信息，如图3所示，具体包括如下步骤：S21：连续对每个原始样本进行多个卷积操作，得到尺寸比分别为原始图像的1/2、1/4、1/8和1/16的特征图；S22：如图2所示，对每个原始样本采用ResNet骨干网络进行多个自下而上的下采样卷积操作；利用特征金字塔（FPN）结构对ResNet骨干网络每一层的输出进行自上而下的上采样操作，并进行横向融合，将每一层输出的特征图融合起来，得到融合后的特征图，融合后的特征图为带有文本检测框的图像。
[0014]上述技术方案中，为了处理一行文本可能出现多个检测框的情况，在文本检测模块中加入REM（Reduce Error Module）模块，得到优化后的特征图，所述优化后的特征图将同一行中的文本检测框进行了删除或连接，使得一行完整的文本在一个检测框中，如图3所示，一行文本所在的文本检测框形成一个文本实例；具体包括如下步骤：S31：利用REM模块中的回归算法对文本检测模块输出的融合后的特征图进行回归操作得到文本检测框的边界框区域，对边界框区域采用反卷积层进行上采样操作，得到回归操作后的特征图，所述回归操作后的特征图标示有文本区域的位置和形状估计结果；S32：采用REM模块中的空间注意力机制来计算回归操作后的特征图不同位置的特征权重，根据其中文本区域的位置来自适应地调整不同位置的特征权重，得到权重特征图；S33：对权重特征图再次进行回归操作，并本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种药品识别方法，其特征在于，包括如下步骤：构建基于卷积神经网络的药品识别模型；将多份药盒外观图像及对应的药品信息作为训练集对所述模型进行训练，得到训练完成的药品识别模型；所述药品识别模型用于根据药盒的外观图像得到药盒上的文本，从而识别药品；还包括对训练集中的药盒外观图像进行数据增强，得到更多药盒的外观图像；所述数据增强的步骤包括：S11：利用语义理解方法从每个药盒的外观图像中抽取出实体和关系信息，所述实体即药盒的外观图像中的文本区域和背景，所述关系信息为抽取出的文本区域中的文本间的语义关系；S12：根据抽取出的实体和关系信息，采用包括基于字形变换、字体变换和布局变换的方式，对文本进行扰动和变换，生成新的图像样本，以获得更加多样化的数据；S13：采用包括基于分类器置信度、相似性度量和样本多样性指标，对生成的新的图像样本进行评估和排序后从中选取多个图像样本；S14：将上一步骤中选取出的文本图像样本和药盒的外观图像进行混合得到更多药盒的外观图像。2.如权利要求1所述的药品识别方法，其特征在于，所述药品识别模型包括文本检测模块和文本识别模块；所述文本检测模块基于特征金字塔结构和ResNet网络，用于根据药盒的外观图像得到药盒上的用文本检测框标示的文本图像；所述文本识别模块基于CNN和Bi
‑
LSTM网络，其用于根据文本图像得到药盒上的文本。3.如权利要求２所述的药品识别方法，其特征在于，所述文本检测模块还包括REM模块，其用于删除或连接同一行文本中的文本检测框，使一行完整的文本只存在于一个文本检测框中。4.如权利要求3所述的药品识别方法，其特征在于，利用REM模块删除或连接同一行文本中的文本检测框的方法包括：S31：利用REM模块中的回归算法对文本检测模块输出的特征图进行回归操作得到文本检测框的边界框区域，对边界框区域采用反卷积层进行上采样操作，得到回归操作后的特征图，所述回归操作后的特征图标示有文本区域的位置和形状估计结果；S32：采用REM模块中的空间注意力机制来计算回归操作后的特征图不同位置的权重，根据其中文本区域的位置自适应调整不同位置的特征向量的特征权重，得到权重特征图；S33：对权重特征图再次进行回归操作，根据...

【专利技术属性】
技术研发人员：魏力，王巍，郑芳，陈辰，张韶辉，
申请(专利权)人：武汉市中西医结合医院武汉市第一医院，
类型：发明
国别省市：