一种基于深度学习的药盒实时识别方法及系统技术方案

本发明专利技术公开了一种基于深度学习的药盒实时识别方法及系统，属于药品管理技术领域，包括在药盒的上方架设摄像机，采集药盒的外观图像信息；利用预先训练好的基于yolov5的药盒识别模型，获得药盒边缘和基于外观的药盒识别结果；通过预训练好的基于DBNet的文字检测模型进行文字检测，获取药盒文字的区域；利用预先训练好的基于DenseNet和CTC的文字识别模型进行文字识别，识别出药盒的文字信息；将文字识别结果的每个单词或短语依次在药品数据库中进行低阈值的模糊搜索与匹配。本发明专利技术可以有效解决药房在取药的时候需要人工核对的问题，而且通过本方法极大的确保了识别的准确率，减轻了药房工作者的工作负担。了药房工作者的工作负担。了药房工作者的工作负担。

【技术实现步骤摘要】
一种基于深度学习的药盒实时识别方法及系统


[0001]本专利技术涉及药品管理
，具体地说是一种基于深度学习的药盒实时识别方法及系统。

技术介绍

[0002]近年来，随着经济快速增长，人民群众对医疗卫生水平和服务的需求快速提高，各种自动化、智能化的医疗设备得到快速发展。在医疗设备条件和医生素质大幅提高的同时，药品的种类和数量也随之迅速增长。而传统的药房服务模式，主要依靠人力来实现药品的存取。在该模式下，配置和分发药品的任务均由专业的药剂师完成。患者通过窗口递进处方取药，而药师则忙于配取药品，处于被动的发药地位。这种模式主要存在两方面弊端：首先对于药剂师来讲，由于药品种类繁多，调配药品需要严格的确认，药剂师工作量巨大而技术内涵得不到提升，淡化了药剂师的工作技术含量，浪费宝贵的人才资源和医疗资源；同时，长时间的重复性工作也存在取错药品的安全隐患；另一方面，这种服务模式有碍医患之间的交流，由于药剂师忙于配取药品，无法提供患者更多的用药咨询服务；而且，患者会因为人工取药效率低而在取药时必须排队等候，影响患者的就医体验。因此，实现药房自动化与信息化是本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的药盒实时识别方法，其特征在于，包括以下步骤：在药盒的上方架设摄像机，采集药盒的外观图像信息；利用预先训练好的基于yolov5的药盒识别模型，检测和识别药盒，获得药盒边缘和基于外观的药盒识别结果；按照获取的药盒边缘对原图裁剪，获取多张每张图片只含单一药盒的图片；对每张已剪裁的药盒图片，通过预训练好的基于DBNet的文字检测模型进行文字检测，获取药盒文字的区域；对于识别到的文字区域，利用预先训练好的基于DenseNet和 CTC的文字识别模型进行文字识别，识别出药盒的文字信息；将文字识别结果的每个单词或短语依次在药品数据库中进行低阈值的模糊搜索与匹配，模糊搜索与匹配的内容包括药品的药名、品牌、厂家、剂量属性，得到一种或者多种药品编号；将基于外观识别的药品唯一编号在基于文字识别所查询到的药品编号中查找；若查找成功，输出识别结果；若查找失败则将文字识别结果的每个单词或短语依次在药品数据库中进行智能模糊搜索与匹配，最终获得药盒识别结果。2.如权利要求1所述的一种基于深度学习的药盒实时识别方法，其特征在于，所述在药盒的上方架设摄像机，采集药盒的外观图像信息的步骤之前包括：在利用神经网络模型进行药盒外观识别和文字识别之前对所有模型进行训练，包括基于yolov5的药盒外观图像识别模型、基于DBnet的文字检测模型、基于DenseNet+CTC的文字识别模型。3.如权利要求2所述的一种基于深度学习的药盒实时识别方法，其特征在于，所述基于yolov5的药盒外观图像识别模型的训练包括以下步骤：将药盒放置在药盒信息采集箱内，上方架设一个可活动的摄像机，所述药盒信息采集箱的内壁采用不反光的黑色材料，并提供稳定光源；摄像机按照俯视的角度对所有要收集的药品进行拍照，获得所需数量的药盒外观图片，为保证训练质量，每个药盒采集的有效图片不应低于20张；通过标签标注工具，将获取的药盒图片进行区域和类别的标注；加载yolov5s预训练模型；在训练过程中对药盒的外观数据进行数据增强，经过适当的训练轮次，直至基于yolov5的神经网络模型达到收敛。4.如权利要求2所述的一种基于深度学习的药盒实时识别方法，其特征在于，所述训练基于DBnet的文字检测模型、基于DenseNet+CTC的文字识别模型的步骤包括：使用公共数据集，按照99:1划分成训练集和验证集，数据利用中文语料库，通过参数变化随机生成包含汉字、英文字母、数字和标点的共5990个字符，所述参数包括字体、大小、灰度、模糊、透视、拉伸；每个样本固定10个字符，字符随机截取自中文语料库中的句子，图片分辨率统一为280
×
3；利用文字合成程序合成常用药品的文本图片以增加训练数据量；加载在其他大型文本识别数据集上训练的预训练模型；
利用数据集对DBnet的文字检测模型、基于DenseNet+CTC的文字识别模型进行训练，直至模型收敛。5.如权利要求1所述的一种基于深度学习的药盒实时识别方法，其特征在于，所述利用预先训练好的基于yolov5的药盒识别模型，检测和识别药盒，获得药盒边缘和基于外观的药盒识别结果中的yolov5神经网络模型采用yolov5s进行模型构建，由输入端、主干网络、颈部和头部以及输出端五部分组成：输入端输入的图像尺寸为640
×
640
×
3，采用Mosaic数据增强、Anchor自适应锚框计算和图像缩放等策略对图像进行预处理；在yolov5中使用CSPDarknet53作为模型的主干网络，包括Focus模块、Conv模块、C3模块和SPP模块；颈部采用FPN和PAN生成特征金字塔；Conv模块的结构为Conv2d+BN+SiLU，依次是卷积层、归一化操作和激活函数；Focus模块首先将输入大小为3
×
640
×
640的图像切分成4个切片，其中每个切片的大小为3
×
320
×
320；然后使用拼接操作将4个切片通过通道维度拼接起来，得到的特征图尺度为12
×
320
×
320；再经过一次卷积操作，最终得32
×
320
×

【专利技术属性】
技术研发人员：董安明，主洪磊，禹继国，宋守良，金占杰，王帅，臧传浩，武晓玉，高斌，韩玉冰，李素芳，
申请(专利权)人：齐鲁工业大学山东省科学院，
类型：发明
国别省市：