药片板药名识别及药片板信息获取方法、装置与系统制造方法及图纸

本发明专利技术公开一种药片板药名识别方法，所述方法包括：根据预先训练的EAST算法对待识别药片板的图片进行场景文本检测，得到待识别药片板的所有文本区域；对所有文本区域按照面积从大到小进行排序，并将顺序在前的若干个文本区域确定为候选目标区域；对候选目标区域进行特征提取，得到候选目标区域的图像特征；将候选目标区域的图像特征输入至预先训练的长短期记忆网络，得到预测结果；将预测结果转换为文本，得到预测药名；将预测药名与药品数据库中的药名进行匹配，得到待识别药片板的药名。本发明专利技术提供的药片板药名识别方法，能够提高药片板药名识别的准确性。同时本发明专利技术还提供药片板药名识别装置与系统、及药片板信息获取方法、装置与系统。

Method, device and system for identification of tablet name and information acquisition of tablet

【技术实现步骤摘要】
药片板药名识别及药片板信息获取方法、装置与系统
本专利技术涉及医药
，尤其涉及药片板药名识别及药片板信息获取方法、装置与系统。
技术介绍
药片板，即药片的包装板。药品使用方式和保质期等信息是个关于安全健康的严肃的事情。现今药品繁多，药片管理混乱给人们生活带来了不便。对于一些不常见且丢失说明书的药片板，由于其药品情况和使用注意事项等一系列信息难以得知，因此容易导致人们误食、错食药物。现有技术主要通过传统OCR(OpticalCharacterRecognition,光学字符识别)技术识别药片板药名，然而对于文本背景复杂的药片板，传统OCR无法获得文本的坐标等信息，无法定位到药名，从而导致噪声干扰过多，识别错误率高，当传统OCR技术无法识别药名时，需通过人为手动输入药名查询药品信息，这不仅操作麻烦，而且不利于向老年人普及。
技术实现思路
本专利技术实施例提出药片板药名识别及药片板信息获取方法、装置与系统，能够提高药片板药名识别的准确性。本专利技术实施例提供了一种药片板药名识别方法，所述方法包括：根据预先训练的EAST算法对所述待识别药片板的图片进行场景文本检测，得到所述待识别药片板的所有文本区域；对所述所有文本区域按照面积从大到小进行排序，并将顺序在前的若干个文本区域确定为候选目标区域；对所述候选目标区域进行特征提取，得到所述候选目标区域的图像特征；将所述候选目标区域的图像特征输入至预先训练的长短期记忆网络，得到预测结果；将所述预测结果转换为文本，得到预测药名；将所述预测药名与药品数据库中的药名进行匹配，得到所述待识别药片板的药名。在一种可选的实施方式中，所述长短期记忆网络为双向长短期记忆网络。在一种可选的实施方式中，所述将所述预测结果转换为文本，得到预测药名，包括：将所述预测结果中的每帧预测值转换为标签序列；将预设的字典中与所述标签序列最相似的标准标签序列所对应的文本确定为预测药名；其中，所述字典对应存储有多个文本与标准标签序列。在一种可选的实施方式中，所述对所述候选目标区域进行特征提取，得到所述候选目标区域的图像特征，包括：采用卷积神经网络对所述候选目标区域进行特征提取，得到所述候选目标区域的图像特征。在一种可选的实施方式中，所述将顺序在前的若干个文本区域确定为候选目标区域，具体为：将顺序在前的三个文本区域确定为候选目标区域。本专利技术又一实施例对应提供了一种药片板药名识别装置，所述装置包括第一场景文本检测模块、第一面积排序模块、第一特征提取模块、第一预测模块、第一预测结果转换模块和药名确定模块。第一场景文本检测模块用于根据预先训练的EAST算法对所述待识别药片板的图片进行场景文本检测，得到所述待识别药片板的所有文本区域；第一面积排序模块用于对所述所有文本区域按照面积从大到小进行排序，并将顺序在前的若干个文本区域确定为候选目标区域；第一特征提取模块用于对所述候选目标区域进行特征提取，得到所述候选目标区域的图像特征；第一预测模块用于将所述候选目标区域的图像特征输入至预先训练的长短期记忆网络，得到预测结果；第一预测结果转换模块用于将所述预测结果转换为文本，得到预测药名；药名确定模块，用于将所述预测药名与药品数据库中的药名进行匹配，得到所述待识别药片板的药名。本专利技术又一实施例对应提供了种药片板药名识别系统，其包括第一处理器、第一存储器以及存储在所述第一存储器中且被配置为由所述第一处理器执行的第一计算机程序，所述第一处理器执行所述第一计算机程序时实现如上述任一实施例所述的药片板药名识别方法。本专利技术又一实施例还提供了一种药片板信息获取方法，所述方法包括：根据预先训练的EAST算法对所述待识别药片板的图片进行场景文本检测，得到所述待识别药片板的所有文本区域；对所述所有文本区域按照面积从大到小进行排序，并将顺序在前的若干个文本区域确定为候选目标区域；对所述候选目标区域进行特征提取，得到所述候选目标区域的图像特征；将所述候选目标区域的图像特征输入至预先训练的长短期记忆网络，得到预测结果；将所述预测结果转换为文本，得到预测药名。将所述预测药名与药品数据库中的药名进行匹配，得到所述待识别药片板的药名和药品信息。本专利技术又一实施例对应提供了一种药片板信息获取装置，其包括第二场景文本检测模块、第二面积排序模块、第二特征提取模块、第二预测模块、第二预测结果转换模块和药品信息查询模块。第二场景文本检测模块用于根据预先训练的EAST算法对所述待识别药片板的图片进行场景文本检测，得到所述待识别药片板的所有文本区域；第二面积排序模块用于对所述所有文本区域按照面积从大到小进行排序，并将顺序在前的若干个文本区域确定为候选目标区域；第二特征提取模块用于对所述候选目标区域进行特征提取，得到所述候选目标区域的图像特征；第二预测模块用于将所述候选目标区域的图像特征输入至预先训练的长短期记忆网络，得到预测结果；第二预测结果转换模块用于将所述预测结果转换为文本，得到预测药名；药品信息查询模块用于将所述预测药名与药品数据库中的药名进行匹配，得到所述待识别药片板的药名和药品信息。本专利技术又一实施例对应提供了一种药片板信息获取系统，其包括第二处理器、第二存储器以及存储在所述第二存储器中且被配置为由所述第二处理器执行的第二计算机程序，所述第二处理器执行所述第二计算机程序时实现如上述任一实施例所述的药片板信息获取方法。相对于现有技术，本专利技术具有如下突出的有益效果：本专利技术实施例提供了药片板药名识别及药片板信息获取方法、装置与系统，其中，所述方法先通过训练好的EAST算法识别所述待识别药片板的所有文本区域，再通过文本区域的面积排序来确定候选目标区域，实现快速地定位药名在药片板上的位置，提高了药片板背景杂乱的情况下药名识别的准确性；所述方法还通过对候选目标区域提取图像特征，并输入至训练好的长短期记忆网络进行预测，利用关联性来预测药名，能够降低药片板杂乱的文本背景对药名识别的干扰，特别是由药片缺失等原因引起的文本残缺问题对药名识别结果的干扰，从而有效提高药名识别的准确性。附图说明图1是本专利技术提供的一实施方式的药片板药名识别方法的流程示意图；图2是本专利技术提供的一实施方式的药片板药名识别装置的结构示意图；图3是本专利技术提供的一实施方式的药片板药名识别系统的结构示意图；图4是本专利技术提供的一实施方式的药片板信息获取方法的流程示意图；图5是本专利技术提供的一实施方式的药片板信息获取装置的结构示意图；图6是本专利技术提供的一实施方式的药片板信息获取系统的结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。参见图1，是本专利技术提供的一实施方式的药片板药名识别方法的流程示意图，所述药片板药名识别方法可应用于智能药箱等平台，具体地，该方法可以由嵌入式设备执行，可以由云端服务器执行，也可以由移动终端上的应用程序(app)调用。如图1所示，所述方法包括如下步骤：步骤S110、根据预先训练的EAST算法对所述待识别药片板的图片进行场景文本检测，得到所述待识别药片板的所有文本区域。本文档来自技高网...

【技术保护点】
1.一种药片板药名识别方法，其特征在于，包括：根据预先训练的EAST算法对所述待识别药片板的图片进行场景文本检测，得到所述待识别药片板的所有文本区域；对所述所有文本区域按照面积从大到小进行排序，并将顺序在前的若干个文本区域确定为候选目标区域；对所述候选目标区域进行特征提取，得到所述候选目标区域的图像特征；将所述候选目标区域的图像特征输入至预先训练的长短期记忆网络，得到预测结果；将所述预测结果转换为文本，得到预测药名；将所述预测药名与药品数据库中的药名进行匹配，得到所述待识别药片板的药名。

【技术特征摘要】
1.一种药片板药名识别方法，其特征在于，包括：根据预先训练的EAST算法对所述待识别药片板的图片进行场景文本检测，得到所述待识别药片板的所有文本区域；对所述所有文本区域按照面积从大到小进行排序，并将顺序在前的若干个文本区域确定为候选目标区域；对所述候选目标区域进行特征提取，得到所述候选目标区域的图像特征；将所述候选目标区域的图像特征输入至预先训练的长短期记忆网络，得到预测结果；将所述预测结果转换为文本，得到预测药名；将所述预测药名与药品数据库中的药名进行匹配，得到所述待识别药片板的药名。2.如权利要求1所述的药片板药名识别方法，其特征在于，所述长短期记忆网络为双向长短期记忆网络。3.如权利要求1所述的药片板药名识别方法，其特征在于，所述将所述预测结果转换为文本，得到预测药名，包括：将所述预测结果中的每帧预测值转换为标签序列；将预设的字典中与所述标签序列最相似的标准标签序列所对应的文本确定为预测药名；其中，所述字典对应存储有多个文本与标准标签序列。4.如权利要求1-3任一项所述的药片板药名识别方法，其特征在于，所述对所述候选目标区域进行特征提取，得到所述候选目标区域的图像特征，包括：采用卷积神经网络对所述候选目标区域进行特征提取，得到所述候选目标区域的图像特征。5.如权利要求1所述的药片板药名识别方法，其特征在于，所述将顺序在前的若干个文本区域确定为候选目标区域，具体为：将顺序在前的三个文本区域确定为候选目标区域。6.一种药片板药名识别装置，其特征在于，包括：第一场景文本检测模块，用于根据预先训练的EAST算法对所述待识别药片板的图片进行场景文本检测，得到所述待识别药片板的所有文本区域；第一面积排序模块，用于对所述所有文本区域按照面积从大到小进行排序，并将顺序在前的若干个文本区域确定为候选目标区域；第一特征提取模块，用于对所述候选目标区域进行特征提取，得到所述候选目标区域的图像特征；第一预测模块，用于将所述候选目标区域的图像特征输入至预先训练的长短期记忆网络，得到预测结果；第一预测结果转换模块，用...

【专利技术属性】
技术研发人员：翁巧剑，吴威佳，王弢，
申请(专利权)人：永康市几米电子科技有限公司，
类型：发明
国别省市：浙江,33