药片识别方法、可读存储介质和电子设备技术

本发明专利技术提供一种药片识别方法、可读存储介质及电子设备，包括：获取用户拍摄的药片图片；识别所述药片图片上的药片的特征信息，根据所述特征信息在药品数据库中搜索当前药片的药片信息，所述特征信息包括字符信息、形状信息和颜色信息中的至少一种；以及，根据搜索结果与所述特征信息的相关度进行排序显示，供用户选择确认后显示最终的药片信息。如此，便可通过根据用户拍摄的药片图片，自动识别药片信息。息。息。

【技术实现步骤摘要】
药片识别方法、可读存储介质和电子设备


[0001]本专利技术涉及计算机
，特别涉及一种药片识别方法、可读存储介质和电子设备。

技术介绍

[0002]药品的安全使用关系到人们的身体健康，在日常生活中，经常会出现药片包装袋或使用说明书丢失，而导致无法对药名进行定位或不知如何服用的情况。对于有些药品，可通过输入药品上的字符来查询药品信息，然而通过人为手动输入字符查询药品信息，不仅操作麻烦，而且不利于向老年人普及。

技术实现思路

[0003]本专利技术的目的在于提供一种药片识别方法，包括：
[0004]获取用户拍摄的药片图片；
[0005]识别所述药片图片上的药片的特征信息，根据所述特征信息在药品数据库中搜索当前药片的药片信息，所述特征信息包括字符信息、形状信息和颜色信息中的至少一种；以及，
[0006]根据搜索结果与所述特征信息的相关度进行排序显示，供用户选择确认后显示最终的药片信息。
[0007]可选的，在所述的药片识别方法中，所述药片识别方法还包括：
[0008]若获取的药片图片为多张，则将获取的多张所述药片图片上不同的字符信息以及对多张所述药片图片上不同的字符信息进行拼接后的字符信息在所述药品数据库中搜索当前药片的药片信息。
[0009]可选的，在所述的药片识别方法中，所述对多张所述药片图上不同的字符信息进行拼接的方法包括：将不同字符按任意顺序进行拼接。
[0010]可选的，在所述的药片识别方法中，所述根据所述特征信息在药品数据库中搜索当前药片的药片信息包括：
[0011]若识别到所述药片图片上的药片无字符信息，则根据所述药片图片上的药片的形状信息和/或颜色信息在药品数据库中搜索当前药片的药片信息；
[0012]若识别到所述药片图片上的药片有字符信息，则根据识别到的字符信息，并结合所述药片图片上的药片的形状信息和/或颜色信息在数据库中搜索当前药片的药片信息。
[0013]可选的，在所述的药片识别方法中，获取用户拍摄的药片图片包括：
[0014]在交互界面提供供用户选择的至少两个窗口，以供用户分别选择上传当前药片的不同面的图片。
[0015]可选的，在所述的药片识别方法中，获取用户拍摄的药片图片还包括：
[0016]若用户通过其中一所述窗口上传了药片图片，则以交互的方式提示用户是否上传其余所述窗口所对应的药片图片。
[0017]可选的，在所述的药片识别方法中，所述药片识别方法还包括：
[0018]若获取的所述药片图片为多张，则利用预先训练建立的药片识别分类模型识别获取的各所述药片图片的分类信息；
[0019]基于各所述药片图片的分类信息判断获取的多张所述药片图片是否属于同一药片；以及，
[0020]识别属于同一药片的一张或多张所述药片图片上的药片的所述特征信息。
[0021]可选的，在所述的药片识别方法中，所述分类信息包括药片性质、形状、颜色、字符字体及药片大小比例关系中的多种。
[0022]可选的，在所述的药片识别方法中，在利用预先训练的药片识别分类模型识别获取的各所述药片图片的分类信息之前，所述药片识别方法还包括：
[0023]利用预先训练建立的药片区域识别模型对各所述药片图片中的药片区域进行识别定位，而后利用预先训练建立的所述药片识别分类模型对所述药片图片中的药片区域的分类信息进行识别。
[0024]可选的，在所述的药片识别方法中，所述药片区域识别模型采用预先训练建立的注意力模型或掩膜区域卷积神经网络。
[0025]可选的，在所述的药片识别方法中，识别所述药片图片上的字符信息的方法包括：
[0026]利用预先训练建立的字符区域识别模型识别所述药片图片中的字符区域，而后利用字符识别模型识别所述字符区域的字符。
[0027]可选的，在所述的药片识别方法中，所述字符区域识别模型采用预先训练建立的注意力模型或掩膜区域卷积神经网络。
[0028]可选的，在所述的药片识别方法中，利用所述字符区域识别模型识别所述药片图片中的字符区域之前，所述识别所述药片图片上的字符的方法还包括：
[0029]对所述药片图片进行第一预处理，所述第一预处理包括反向二值化处理或灰度值反转处理；
[0030]对所述第一预处理后的所述药片图片进行第二预处理，所述第二预处理包括去噪处理。
[0031]本专利技术还提供一种可读存储介质，所述可读存储介质存储有计算机程序，所述计算机程序被执行时，实现如上任一项所述的药片识别方法。
[0032]本专利技术还提供一种电子设备，包括处理器和存储器，所述存储器存储有计算机程序，所述计算机程序被执行时，实现如上任一项所述的药片识别方法。
[0033]综上所述，本专利技术提供的药片识别方法、可读存储介质及电子设备，包括：获取用户拍摄的药片图片；识别所述药片图片上的药片的特征信息，根据所述特征信息在药品数据库中搜索当前药片的药片信息，所述特征信息包括字符信息、形状信息和颜色信息中的至少一种；以及，根据搜索结果与所述特征信息的相关度进行排序显示，供用户选择确认后显示最终的药片信息。如此，便可通过根据用户拍摄的药片图片，自动识别药片信息。其中，在进行搜索时，基于字符信息、形状信息和颜色信息中的至少一种进行搜索，因此，可得到很多模糊匹配的搜索结果供用户选择确认，如此便可避免因照片拍摄的问题而导致识别结果产生遗漏。
附图说明
[0034]图1为本专利技术实施例提供的一种药片识别方法的流程图；
[0035]图2为本专利技术实施例中在进行药片特征信息确认时交互界面的窗口设置示意图；
[0036]图3为本专利技术实施例中药片详情页面示意图；
[0037]图4为本专利技术实施例中示例的一种药片字符图。
具体实施方式
[0038]为使本专利技术的目的、优点和特征更加清楚，以下结合附图和具体实施例对本专利技术作详细说明。需说明的是，附图均采用非常简化的形式且未按比例绘制，仅用以方便、明晰地辅助说明本专利技术实施例的目的。此外，附图所展示的结构往往是实际结构的一部分。特别的，各附图需要展示的侧重点不同，有时会采用不同的比例。还应当理解的是，除非特别说明或者指出，否则说明书中的术语“第一”、“第二”、“第三”等描述仅仅用于区分说明书中的各个组件、元素、步骤等，而不是用于表示各个组件、元素、步骤之间的逻辑关系或者顺序关系等。
[0039]如图1所示，本专利技术实施例提供一种药片识别方法，所述药片识别方法包括如下步骤：
[0040]S11，获取用户拍摄的药片图片；
[0041]S12，识别所述药片图片上的药片的特征信息，根据所述特征信息在药品数据库中搜索当前药片的药片信息；其中，所述特征信息包括字符信息、形状信息和颜色信息中的至少一种；
[0042]S13，根据搜索结果与所述特征信息的相关度进行排序显示，供用户选择确认后显示最终的药片信息。
[0043]以下对上述各步骤作进一步详细本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种药片识别方法，其特征在于，包括：获取用户拍摄的药片图片；识别所述药片图片上的药片的特征信息，根据所述特征信息在药品数据库中搜索当前药片的药片信息，所述特征信息包括字符信息、形状信息和颜色信息中的至少一种；以及，根据搜索结果与所述特征信息的相关度进行排序显示，供用户选择确认后显示最终的药片信息。2.如权利要求1所述的药片识别方法，其特征在于，所述药片识别方法还包括：若获取的药片图片为多张，则将获取的多张所述药片图片上不同的字符信息以及对多张所述药片图片上不同的字符信息进行拼接后的字符信息在所述药品数据库中搜索当前药片的药片信息。3.如权利要求2所述的药片识别方法，其特征在于，所述对多张所述药片图上不同的字符信息进行拼接的方法包括：将不同字符按任意顺序进行拼接。4.如权利要求1所述的药片识别方法，其特征在于，所述根据所述特征信息在药品数据库中搜索当前药片的药片信息包括：若识别到所述药片图片上的药片无字符信息，则根据所述药片图片上的药片的形状信息和/或颜色信息在药品数据库中搜索当前药片的药片信息；若识别到所述药片图片上的药片有字符信息，则根据识别到的字符信息，并结合所述药片图片上的药片的形状信息和/或颜色信息在数据库中搜索当前药片的药片信息。5.如权利要求1所述的药片识别方法，其特征在于，获取用户拍摄的药片图片包括：在交互界面提供供用户选择的至少两个窗口，以供用户分别选择上传当前药片的不同面的图片。6.如权利要求5所述的药片识别方法，其特征在于，获取用户拍摄的药片图片还包括：若用户通过其中一所述窗口上传了药片图片，则以交互的方式提示用户是否上传其余所述窗口所对应的药片图片。7.如权利要求1所述的药片识别方法，其特征在于，所述药片识别方法还包括：若获取的所述药片图片为多张，则利用预先训练建立的药片识别分类模型识别获取的各所述药片图片的分类信息；基于各所述药片图片的分类信息判断获取的...

【专利技术属性】
技术研发人员：徐青松，李青，
申请(专利权)人：杭州睿胜软件有限公司，
类型：发明
国别省市：