药剂识别装置、药剂识别方法及程序、药剂识别系统、药剂载置台、照明装置、拍摄辅助装置、已学习模型及学习装置制造方法及图纸

本发明专利技术提供实现附加有刻印和/或印字的药剂的高精度、简便且可用性高的识别的药剂识别装置、药剂识别方法及程序、药剂识别系统、药剂载置台、照明装置、拍摄辅助装置、已学习模型以及学习装置。从对附加有刻印和/或印字的识别对象药剂进行拍摄而得到的拍摄图像检测识别对象药剂的区域，对识别对象药剂的区域进行处理而取得将识别对象药剂的刻印和/或印字提取出的刻印印字提取图像，输入刻印印字提取图像而推断识别对象药剂的药物种类，并取得识别对象药剂的药物种类的候补。象药剂的药物种类的候补。象药剂的药物种类的候补。

【技术实现步骤摘要】
【国外来华专利技术】药剂识别装置、药剂识别方法及程序、药剂识别系统、药剂载置台、照明装置、拍摄辅助装置、已学习模型及学习装置


[0001]本专利技术涉及药剂识别装置、药剂识别方法及程序、药剂识别系统、药剂载置台、照明装置、拍摄辅助装置、已学习模型以及学习装置，尤其涉及根据药剂的拍摄图像来识别药剂的技术。

技术介绍

[0002]已知有根据药剂的拍摄图像来识别药剂的药剂识别装置(参照专利文献1～专利文献3)。另外，在非专利文献1记载有使用了智能手机的药剂图像辨识系统。
[0003]现有技术文献
[0004]专利文献
[0005]专利文献1：日本特表2015
‑
535108号公报
[0006]专利文献2：日本特表2016
‑
523405号公报
[0007]专利文献3：日本特表2015
‑
523561号公报
[0008]非专利文献
[0009]非专利文献1：MobileDeepPill：A Small
‑
Footprint Mobile Deep Learning System for Recognizing Unconstrained Pill Images，Xiao Zeng，K.Cao，Mi Zhang，Published 2017，Computer Science，Proceedings of the 15th Annual International Conference on Mobile Systems，Applications，and Services

技术实现思路

[0010]专利技术要解决的课题
[0011]期望实现使用了带有相机的便携终端的、拍摄/照明装置简便或不需要拍摄/照明装置的能够在各种光环境下使用并且操作
·
使用简便的可用性高的药剂识别装置。
[0012]在当前的2021年1月，在日本国中片剂类型与胶囊类型的药品约存在不到1万种。除了一部分的例外(没有刻印、印字的无花纹的片剂等)以外，外形信息(圆
·
椭圆等形状、直径
·
长径/短径等的大小)、由附加于药剂上的刻印或印字产生的识别信息以及药剂的色彩信息等的组合使各个药剂带有特征。即，通过从拍摄药剂得到的图像提取这些信息，从而原理上能够识别药物种类。
[0013]药剂的色彩信息是使药剂带有特征的信息源，但在设想各种光环境下的使用的情况下，无法期待同一药剂的各个拍摄图像上的色彩的再现性。另外，关于外形信息，药剂的大多数为圆形或者椭圆形，几乎所有的药剂的大小处于约4毫米～约3厘米之间，形状类似的药剂存在多个。并且，用户未必从正上方拍摄药剂，并且药剂具有厚度且沿截面方向具有各种形状，因此在拍摄图像上药剂的形状信息可能成为再现性低的信息，难以说是可靠性高的信息。
[0014]另一方面，附加于药剂的表面的识别信息包括使各个药剂带有特征的丰富的信息
(多个文字
·
记号的组合、排布等)。附加于药剂的表面的识别信息主要存在刻印类型的识别信息以及印字类型的识别信息这两种。从印字类型的药剂的拍摄图像来提取印字部信息由于药剂上的印字部与非印字部的对比度较高，因此比较容易。另一方面，在刻印类型的药剂中，存在难以从拍摄图像确保药剂上的刻印部与非刻印部的对比度的情况。尤其是，在不利用专用的照明系统的情况、刻印较浅/细/小等的情况下该倾向变得显著。
[0015]鉴于这些情况，为了在各种光环境下实现高精度的药剂识别，而存在将刻印信息或印字信息作为主要的信息源、将色彩信息、尺寸
·
形状信息作为次要的信息源并在此基础上从刻印类型的药剂稳健地提取识别信息的课题。
[0016]在非专利文献1所记载的专利技术中，为了刻印信息提取而通过图像处理从梯度信息(边缘信息)得到药剂的刻印或印字信息。在该情况下，在梯度信息中除了刻印或印字的信息以外，还混合有药剂的外形信息。在药剂识别中外形信息也是有用的信息，但如上述那样，在刻印类型的药剂(尤其是刻印较浅/小/细情况)中，相对于外形信息，对识别有用的刻印信息相对降低，带来精度降低。
[0017]本专利技术是鉴于这样的情况而作出的，目的在于提供实现附加有刻印和/或印字的药剂的高精度、简便且可用性高的识别的药剂识别装置、药剂识别方法及程序、药剂识别系统、药剂载置台、照明装置、拍摄辅助装置、已学习模型以及学习装置。
[0018]用于解决课题的方案
[0019]用于达成上述目的的药剂识别装置的一个方案为一种药剂识别装置，其中，药剂识别装置具有：图像取得部，其取得对附加有刻印和/或印字的识别对象药剂进行拍摄而得到的拍摄图像；药剂检测部，其从拍摄图像检测识别对象药剂的区域；刻印印字提取部，其对拍摄图像的至少识别对象药剂的区域进行处理而取得将识别对象药剂的刻印和/或印字提取出的刻印印字提取图像；以及第一药物种类辨识部，其输入刻印印字提取图像而推断识别对象药剂的药物种类，并取得识别对象药剂的药物种类的候补。根据本方案，能够实现附加有刻印和/或印字的药剂的高精度、简便且可用性高的识别。
[0020]优选的是，刻印印字提取部包括输入附加有刻印和/或印字的药剂的第一图像而输出将药剂的刻印和/或印字提取出的第二图像的第一已学习模型，第一药物种类辨识部包括输入第二图像而输出与药剂的刻印和/或印字对应的药剂的药物种类的第二已学习模型。通过使用已学习模型，能够取得精度高的刻印印字提取图像，并且能够在短时间内取得识别对象药剂的药物种类的候补。
[0021]优选的是，药剂识别装置具有输入拍摄图像的至少识别对象药剂的区域而推断识别对象药剂的药物种类的第二药物种类辨识部，第一药物种类辨识部将第二药物种类辨识部的推断结果与第一药物种类辨识部的推断结果综合而取得识别对象药剂的药物种类的候补，第二药物种类辨识部包括输入第一图像而输出药剂的药物种类的第三已学习模型。通过将从识别对象药剂的区域基于形状信息、色彩信息等推断出的识别对象药剂的药物种类与第一药物种类辨识部的推断结果综合，从而能够更加精度良好地取得识别对象药剂的药物种类的候补。
[0022]优选的是，药剂识别装置具有取得包括多个药剂的形状、大小以及颜色中的至少一个的药剂随附信息的药剂随附信息取得部，第一药物种类辨识部将药剂随附信息与第一药物种类辨识部的推断结果综合而取得识别对象药剂的药物种类的候补。通过将药剂随附
信息与第一药物种类辨识部的推断结果综合，从而能够更加精度良好地取得识别对象药剂的药物种类的候补。
[0023]优选的是，图像取得部取得对识别对象药剂以及标识进行拍摄而得到的拍摄图像，图像取得部具有基于标识进行拍摄图像的拍摄距离以及拍摄视点的标准化而取得标准化图像的图像修正部，药剂检测部从标准化图像检测识别对象药剂的区域。通过使用进行了拍摄距离以及拍摄视点的标准化的标准化图像，从而能够不依赖于拍摄环境地检测一定的识别对象药剂的区域。另外，能够进行与以被标本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种药剂识别装置，其中，所述药剂识别装置具有：图像取得部，其取得对附加有刻印和/或印字的识别对象药剂进行拍摄而得到的拍摄图像；药剂检测部，其从所述拍摄图像检测所述识别对象药剂的区域；刻印印字提取部，其对所述拍摄图像的至少所述识别对象药剂的区域进行处理而取得将所述识别对象药剂的刻印和/或印字提取出的刻印印字提取图像；以及第一药物种类辨识部，其输入所述刻印印字提取图像而推断所述识别对象药剂的药物种类，并取得所述识别对象药剂的药物种类的候补。2.根据权利要求1所述的药剂识别装置，其中，所述刻印印字提取部包括输入附加有刻印和/或印字的药剂的第一图像而输出将所述药剂的刻印和/或印字提取出的第二图像的第一已学习模型，所述第一药物种类辨识部包括输入所述第二图像而输出与所述药剂的刻印和/或印字对应的药剂的药物种类的第二已学习模型。3.根据权利要求2所述的药剂识别装置，其中，所述药剂识别装置具有输入所述拍摄图像的至少所述识别对象药剂的区域而推断所述识别对象药剂的药物种类的第二药物种类辨识部，所述第一药物种类辨识部将所述第二药物种类辨识部的推断结果与所述第一药物种类辨识部的推断结果综合而取得所述识别对象药剂的药物种类的候补，所述第二药物种类辨识部包括输入所述第一图像而输出所述药剂的药物种类的第三已学习模型。4.根据权利要求1至3中任一项所述的药剂识别装置，其中，所述药剂识别装置具有取得包括多个药剂的形状、大小以及颜色中的至少一个的药剂随附信息的药剂随附信息取得部，所述第一药物种类辨识部将所述药剂随附信息与所述第一药物种类辨识部的推断结果综合而取得所述识别对象药剂的药物种类的候补。5.根据权利要求1至4中任一项所述的药剂识别装置，其中，所述图像取得部取得对所述识别对象药剂以及标识进行拍摄而得到的所述拍摄图像，所述图像取得部具有基于所述标识进行所述拍摄图像的拍摄距离以及拍摄视点的标准化而取得标准化图像的图像修正部，所述药剂检测部从所述标准化图像检测所述识别对象药剂的区域。6.根据权利要求5所述的药剂识别装置，其中，所述图像取得部取得对多个ArUco标识、多个圆形标识或多个四边形标识进行拍摄而得到的所述拍摄图像。7.根据权利要求6所述的药剂识别装置，其中，所述圆形标识包括同心状的圆形，所述四边形标识包括同心状的四边形。8.根据权利要求5至7中任一项所述的药剂识别装置，其中，所述图像取得部取得对所述识别对象药剂以及成为基准的灰色的颜色进行拍摄而得到的所述拍摄图像，
所述图像修正部基于所述灰色的颜色进行所述拍摄图像的色调修正。9.一种药剂识别系统，其具有能够相互通信的便携终端以及服务器，其中，所述便携终端具有取得对附加有刻印和/或印字的识别对象药剂进行拍摄而得到的拍摄图像的图像取得部，所述便携终端或服务器具有从所述拍摄图像检测所述识别对象药剂的区域的药剂检测部，所述服务器具有：刻印印字提取部，其对所述拍摄图像的至少所述识别对象药剂的区域进行处理而取得将所述识别对象药剂的刻印和/或印字提取出的刻印印字提取图像；以及第一药物种类辨识部，其输入所述刻印印字提取图像而推断所述识别对象药剂的药物种类，并取得所述识别对象药剂的药物种类的候补，所述便携终端还具有使所述识别对象药剂的药物种类的候补显示于显示器的显示控制部。10.根据权利要求9所述的药剂识别系统，其中，所述刻印印字提取部包括输入附加有刻印和/或印字的药剂的第一图像而输出将所述药剂的刻印和/或印字提取出的第二图像的第一已学习模型，所述第一药物种类辨识部包括输入所述第二图像而输出与所述药剂的刻印和/或印字对应的药剂的药物种类的第二已学习模型。11.根据权利要求10所述的药剂识别系统，其中，所述服务器具有输入所述拍摄图像的至少所述识别对象药剂的区域而推断所述识别对象药剂的药物种类的第二药物种类辨识部，所述第一药物种类辨识部将所述第二药物种类辨识部的推断结果与所述第一药物种类辨识部的推断结果综合而取得所述识别对象药剂的药物种类的候补，所述第二药物种类辨识部包括输入所述第一图像而输出所述药剂的药物种类的第三已学习模型。12.根据权利要求9至11中任一项所述的药剂识别系统，其中，所述服务器具有取得包括多个药剂的形状、大小以及颜色中的至少一个的药剂随附信息的药剂随附信息取得部，所述第一药物种类辨识部将所述药剂随附信息与所述第一药物种类辨识部的推断结果综合而取得所述识别对象药剂的药物种类的候补。13.根据权利要求9至12中任一项所述的药剂识别系统，其中，所述便携终端具有相机以及显示器，所述图像取得部取得由所述相机对所述识别对象药剂以及标识进行拍摄而得到的拍摄图像，所述便携终端或服务器具有基于所述标识进行所述拍摄图像的拍摄距离以及拍摄视点的标准化而取得标准化图像的图像修正部，所述药剂检测部从所述标准化图像检测所述识别对象药剂的区域。14.根据权利要求13所述的药剂识别系统，其中，所述识别对象药剂载置于灰色的颜色的载置面，
所述便携终端具有基于所述灰色的颜色进行所述相机的曝光修正的曝光修正部。15.根据权利要求1至8中任一项所述的药剂识别装置或权利要求9至14中任一项所述的药剂识别系统，其中，所述图像取得部取得以成为标准的拍摄距离以及拍摄视点拍摄到的所述拍摄图像。16.根据权利要求1至8中任一项所述的药剂识别装置或权利要求9至15中任一项所述的药剂识别系统，其中，所述图像取得部取得包括多个识别对象药剂的拍摄图像，所述药剂检测部检测所述多个识别对象药剂各自的区域，所述刻印印字提取部取得与所述多个识别对象药剂分别对应的多个刻印印字提取图像，所述第一药物种类辨识部取得与所述多个识别对象药剂分别对应的药物种类的候补。17.根据权利要求1至8、16中任一项所述的药剂识别装置或权利要求9至16中任一项所述的药剂识别系统，其中，所述第一药物种类辨识部取得所述识别对象药剂的多个药物种类的候补，所述第一药物种类辨识部取得所述多个药物种类的候补各自的主图像，所述第一药物种类辨识部进行所述刻印印字提取图像与所述主图像的模板匹配。18.根据权利要求1至8、16、17中任一项所述的药剂识别装置或权利要求9至17中任一项所述的药剂识别系统，其中，所述药剂识别装置或所述药剂识别系统具有使所述拍摄图像的至少所述识别对象药剂的区域的图像、所述刻印印字提取图像以及所述刻印和/或印字被强调了的所述识别对象药剂的图像中的至少一个图像显示于显示器的显示控制部，所述显示控制部还使所述识别对象药剂的药物种类的候补的主图像能够选择地显示于所述显示器。19.根据权利要求18所述的药剂识别装置或权利要求18所述的药剂识别系统，其中，所述显示控制部使所述拍摄图像的至少所述识别对象药剂的区域的图像、所述刻印印字提取图像以及所述刻印和/或印字被强调了的所述识别对象药剂的图像中的至少一个图像与所述识别对象药剂的药物种类的候补的主图像以将所述刻印和/或印字的朝向一致的方式显示。20.根据权利要求18或19所述的药剂识别装置或权利要求18或19所述的药剂识别系统，其中，所述显示控制部使能够输入字符串的检索窗显示于所述显示器，所述第一药物种类辨识部基于输入到所述检索窗的字符串来特定所述识别对象药剂的药物种类。21.一种药剂载置台，其为了拍摄权利要求1至8、16至20中任一项所述的药剂识别装置或权利要求9至20中任一项所述的药剂识别系统的所述拍摄图像而使用，其中，所述药剂载置台具有载置所述识别对象药剂的载置面，所述载置面的颜色为灰色，在所述载置面配置有多个标识。22.根据权利要求21所述的药剂载置台，其中，
所述多个标识分别为圆形标识或四边形标识。23.根据权利要求22所述的药剂载置台，其中，所述圆形标识包括同心状的圆形，所述四边形标识包括同心状的四边形。24.根据权利要求21至23中任一项所述的药剂载置台，其中，所述载置面设置有载置所述识别对象药剂的凹陷构造。25.一种照明装置，其为了拍摄权利要求1至8、16至20中任一项所述的药剂识别装置或权利要求9至20中任一项所述...

【专利技术属性】
技术研发人员：羽田真司，高岛正伸，
申请(专利权)人：富士胶片富山化学株式会社，
类型：发明
国别省市：