药剂识别系统、药剂识别装置、药剂识别方法以及程序制造方法及图纸

提供能通过使用带摄像机的便携终端的简易的装置良好地识别药剂的药剂识别系统、药剂识别方法以及程序。在与显示器相同面侧具有摄像机的智能手机(100)对显示器的发光区域进行变更而变更向载置于具有在药剂的尺寸以及形状的标准化中使用的指标的托盘(10)的药剂(20)的照明方向，通过摄像机拍摄照明方向不同的药剂(20)。药剂识别装置基于第1图像中拍到的指标(14A‑14D)对通过拍摄取得的多个第1图像的尺寸以及形状进行标准化，从标准化后的多个第1图像中分别提取药剂区域的图像。基于提取的多个药剂区域的图像生成实施了对附于药剂(20)的刻印或印字进行强调的强调处理的第2图像，基于生成的第2图像对药剂进行识别。

【技术实现步骤摘要】
【国外来华专利技术】药剂识别系统、药剂识别装置、药剂识别方法以及程序
本专利技术涉及药剂识别系统、药剂识别装置、药剂识别方法以及程序，特别涉及用简易的装置对识别对象的药剂进行识别的技术。
技术介绍
过去，提出一种系统，使用包含摄像机的智能手机等移动设备来取得用于药片(药剂)的识别的图像，以取得的图像为基础来识别药剂(专利文献1)。专利文献1记载的表面(载置药剂的托盘的表面)具有：载置药剂的矩形的背景区域；和包围背景区域的边界区域。背景区域为了能区分背景和药剂而具有高密度的着色棋盘图案，边界区域具有颜色为已知(白色)的颜色特性。另外，在边界区域(与矩形的背景的4角对应的区域)设有4个已知的对象物(黄色的圆)，在该对象物的中心设有锚点。附于边界区域的4个对象物具有在用移动设备拍摄药剂时辅助用户以使得移动设备能以预先设定的位置以及姿势进行拍摄的功能。在移动设备的画面上预先显示与4个对象物对应的对象物的区域，通过决定移动设备的位置以及姿势来拍摄药剂，以使得具有锚点的4个对象物合适地位于所显示的4个对象物的区域，能将药剂的尺寸以及形状标准化来进行拍摄。另外，专利文献1记载的系统基于附于边界区域的已知的颜色来将属于药剂的像素的颜色补正成为在理想的照明条件下拍摄的像素的颜色。先行技术文献专利文献专利文献1：JP特表2015-535108号公报
技术实现思路
专利技术要解决的课题在专利文献1中记载了通过药剂的形状、尺寸、颜色以及印记(被刻印或印字的字符、数字)来识别药剂，但并没有关于强调刻印或印字的强调处理的记载。另外，在专利文献1中记载了对移动设备的位置以及姿势的调整进行辅助以便能用带摄像机的移动设备将药剂的形状以及尺寸标准化来进行拍摄的系统，但需要用户调整移动设备的位置以及姿势来进行拍摄，存在拍摄繁琐这样的问题。本专利技术鉴于这样的事情而提出，其目的在于，提供能通过使用了带摄像机的便携终端的简易的装置良好地识别药剂的药剂识别系统、药剂识别装置、药剂识别方法以及程序。用于解决课题的手段为了达成上述目的，一个方式所涉及的专利技术是药剂识别系统，由如下要素构成：托盘，具有在药剂的尺寸以及形状的标准化中使用的指标，载置识别对象的药剂；带摄像机的便携终端，在与显示器相同面侧具有摄像机；和药剂识别装置，基于由带摄像机的便携终端拍摄的图像，对药剂进行识别，带摄像机的便携终端具备：显示器控制部，若接受药剂识别的指示输入，就变更显示器的发光区域，多次变更向载置于托盘的药剂的照明方向；和图像取得部，通过摄像机多次拍摄照明方向因显示器的发光区域的变更而不同的药剂，取得药剂的多个第1图像，药剂识别装置具备：标准化部，基于多个第1图像中拍到的指标，将多个第1图像分别标准化；图像提取部，从标准化后的多个第1图像中分别提取药剂区域的图像；图像处理部，基于提取的多个药剂区域的图像，生成实施了对附于药剂的刻印或印字进行强调的强调处理的第2图像；和药剂识别部，基于生成的第2图像，对药剂进行识别。在专利技术的一个方式中，带摄像机的便携终端拍摄设于托盘的指标，并拍摄载置于托盘的药剂。在拍摄药剂的情况下，将与摄像机相同面侧的显示器作为照明单元来使用。特别地，通过变更显示器的发光区域来多次变更向载置于托盘的药剂的照明方向，并通过摄像机多次拍摄照明方向不同的药剂，取得多个图像(第1图像)。标准化部基于多个第1图像中拍到的指标来将多个第1图像分别标准化，由此成为不依赖于拍摄时的摄像机的位置以及姿势的图像。图像提取部从标准化后的多个第1图像中分别提取药剂区域的图像，图像处理部基于提取的多个药剂区域的图像来生成实施了对附于药剂的刻印或印字进行强调的强调处理的图像(第2图像)。根据该第2图像，由于知道药剂的尺寸以及形状，并且附于药剂的刻印或印字被强调，因此能良好地识别药剂。进而，根据本专利技术的一个方式，不需要专用的照明装置、摄像机等，能通过简易的装置识别药剂。在本专利技术的其他方式所涉及的药剂识别系统中，优选地，图像处理部分别使用与照明方向相应的方向的边缘提取滤波器从提取的多个药剂区域的图像取得多个边缘图像，使用多个边缘图像生成第2图像。在专利技术的再其他方式所涉及的药剂识别系统中，托盘具有尺寸以及形状为已知的格子状的分区，在由格子状的分区划分出的载置面载置药剂，格子状的分区兼作指标。通过在由格子状的分区划分出的多个载置面载置种类不同的多个药剂，能同时进行用于识别多个药剂的拍摄，并且能以格子状的分区为线索容易地提取(切取)药剂区域的图像。在专利技术的再其他方式所涉及的药剂识别系统中，优选地，托盘的由格子状的分区划分出的药剂的载置面的颜色的色调、明度以及彩度当中的至少1者，按每1个或每多个载置面不同。药剂优选选择色调、明度以及彩度当中的1者与该药剂的颜色不同的载置面来载置。这是为了易于区分药剂区域的图像和载置面(背景)，使图像提取部的药剂区域的图像的切取容易。在本专利技术的再其他方式所涉及的药剂识别系统中，优选地，图像取得部取得照明方向不同的3个以上的图像和使显示器熄灭的状态的图像来作为多个第1图像，药剂识别装置具备：生成部，从3个以上的图像中分别减去使显示器熄灭的状态的图像，生成除去了环境光的影响的多个第1图像。由此，能不受环境光的影响地将药剂区域的图像的颜色重现成药剂本来的颜色。在本专利技术的再其他方式所涉及的药剂识别系统中，优选地，显示器是具有偏振板的显示器，摄像机在拍摄镜头前设置偏振方向与从显示器出射的光的偏振方向不同90度的偏振板。由此，能拍摄除去了镜面反射分量的图像。在本专利技术的再其他方式所涉及的药剂识别系统中，优选地，药剂识别部具有：特征量运算部，运算第2图像的特征量；和推断部，基于第2图像的特征量，推断药剂接近于登记药剂当中的哪一者。在本专利技术的再其他方式所涉及的药剂识别系统中，优选地，特征量运算部以及推断部由学习完毕的卷积神经网络构成，该学习完毕的卷积神经网络将与登记药剂对应的第2图像和确定登记药剂的药剂识别信息作为教师数据来使用，并按每个登记药剂进行了学习。在本专利技术的再其他方式所涉及的药剂识别系统中，优选地，药剂识别部通过根据推断部中的推断而缩小了范围的登记药剂的图像与第2图像的模板匹配对药剂进行识别。在本专利技术的再其他方式所涉及的药剂识别系统中，优选地，托盘兼作保护带摄像机的便携终端的保护罩。再其他方式所涉及的专利技术是药剂识别装置，基于由带摄像机的便携终端拍摄的图像来对识别对象的药剂进行识别，带摄像机的便携终端在与显示器相同面侧具有摄像机，在拍摄载置于具有在药剂的尺寸以及形状的标准化中使用的指标的托盘的识别对象的药剂时，变更显示器的发光区域，多次变更向载置于托盘的药剂的照明方向，通过摄像机多次拍摄照明方向因显示器的发光区域的变更而不同的药剂，取得药剂的多个第1图像，该药剂识别装置具备：图像接受部，从带摄像机的便携终端接受药剂的多个第1图像；标准化部，基于多个第1图像中拍到的指标，将多个第1图像分别标准化；图像提取部，从标准化后的多个第1图像中分别提取药剂区域的图本文档来自技高网...

【技术保护点】
1.一种药剂识别系统，由如下要素构成：/n托盘，具有在药剂的尺寸以及形状的标准化中使用的指标，载置识别对象的药剂；/n带摄像机的便携终端，在与显示器相同面侧具有摄像机；和/n药剂识别装置，基于由所述带摄像机的便携终端拍摄的图像，对所述药剂进行识别，/n所述药剂识别系统的特征在于，/n所述带摄像机的便携终端具备：/n显示器控制部，若接受药剂识别的指示输入，就变更所述显示器的发光区域，多次变更向载置于所述托盘的所述药剂的照明方向；和/n图像取得部，通过所述摄像机多次拍摄照明方向因所述显示器的发光区域的变更而不同的所述药剂，取得所述药剂的多个第1图像，/n所述药剂识别装置具备：/n标准化部，基于所述多个第1图像中拍到的所述指标，将所述多个第1图像分别标准化；/n图像提取部，从所述标准化后的所述多个第1图像中分别提取药剂区域的图像；/n图像处理部，基于所述提取的多个药剂区域的图像，生成实施了对附于所述药剂的刻印或印字进行强调的强调处理的第2图像；和/n药剂识别部，基于所述生成的所述第2图像，对所述药剂进行识别。/n

【技术特征摘要】
【国外来华专利技术】20190208 JP 2019-0218021.一种药剂识别系统，由如下要素构成：
托盘，具有在药剂的尺寸以及形状的标准化中使用的指标，载置识别对象的药剂；
带摄像机的便携终端，在与显示器相同面侧具有摄像机；和
药剂识别装置，基于由所述带摄像机的便携终端拍摄的图像，对所述药剂进行识别，
所述药剂识别系统的特征在于，
所述带摄像机的便携终端具备：
显示器控制部，若接受药剂识别的指示输入，就变更所述显示器的发光区域，多次变更向载置于所述托盘的所述药剂的照明方向；和
图像取得部，通过所述摄像机多次拍摄照明方向因所述显示器的发光区域的变更而不同的所述药剂，取得所述药剂的多个第1图像，
所述药剂识别装置具备：
标准化部，基于所述多个第1图像中拍到的所述指标，将所述多个第1图像分别标准化；
图像提取部，从所述标准化后的所述多个第1图像中分别提取药剂区域的图像；
图像处理部，基于所述提取的多个药剂区域的图像，生成实施了对附于所述药剂的刻印或印字进行强调的强调处理的第2图像；和
药剂识别部，基于所述生成的所述第2图像，对所述药剂进行识别。


2.根据权利要求1所述的药剂识别系统，其特征在于，
所述图像处理部分别使用与所述照明方向相应的方向的边缘提取滤波器从所述提取的多个药剂区域的图像取得多个边缘图像，使用所述多个边缘图像生成所述第2图像。


3.根据权利要求1或2所述的药剂识别系统，其特征在于，
所述托盘具有尺寸以及形状为已知的格子状的分区，
在由所述格子状的分区划分出的载置面载置药剂，
所述格子状的分区兼作指标。


4.根据权利要求3所述的药剂识别系统，其特征在于，
所述托盘的由所述格子状的分区划分出的所述药剂的载置面的颜色的色调、明度以及彩度当中的至少1者，按每1个或每多个载置面不同。


5.根据权利要求1～4中任一项所述的药剂识别系统，其特征在于。
所述图像取得部取得照明方向不同的3个以上的图像和使所述显示器熄灭的状态的图像来作为所述多个第1图像，
所述药剂识别装置具备：
生成部，从所述3个以上的图像中分别减去使所述显示器熄灭的状态的图像，生成除去了环境光的影响的所述多个第1图像。


6.根据权利要求1～5中任一项所述的药剂识别系统，其特征在于，
所述显示器是具有偏振板的显示器，
所述摄像机在拍摄镜头前设置偏振方向与从所述显示器出射的光的偏振方向不同90度的偏振板。


7.根据权利要求1～6中任一项所述的药剂识别系统，其特征在于，
所述药剂识别部具有：
特征量运算部，运算所述第2图像的特征量；和
推断部，基于所述第2图像的特征量，推断所述药剂接近于登记药剂当中的哪一者。


8.根据权利要求7所述的药剂识别系统，其特征在于，
所述特征量运算部以及所述推断部由学习完毕的卷积神经网络构成，该卷积神经网络将与所述登记药剂对应的所述第2图像和确定所述登记药剂的药剂识别信息作为教师数据来使用，并按每个登记药剂进行了学习。


9.根据权利要求7或8所述的药剂识别系统，其特征在于，
所述药剂识别部通过根据所述推断部中的推断而缩小了范围的所述登记药剂的图像与所述第2图像的模板匹配，对所述药剂进行识别。


10.根据权利要求1～9中任一项所述的药剂识别系统，其特征在于，
所述托盘兼作保护所述带摄像机的便携终端的保护罩。


11.一种药剂识别装置，基于由带摄像机的便携终端拍摄的图像来对识别对象的药剂进行识别，所述药剂识别装置的特征在于，
所述带摄像机的便携终端在与显示器相同面侧具有摄像机，在拍摄载置于具有在药剂的尺寸以及形状的标准化中使用的指标的托盘的所述识别对象的药剂时，变更所述显示器的发光区域，多次变更向载置于所述托盘的所述药剂的照明方向，通过所述摄像机多次拍摄照明方向因所述显示器的发光区域的变更而不同的所述药剂，取得所述药剂的多个第1图像，
所述药剂识别装置具备：
图像接受部，从所述带摄像...

【专利技术属性】
技术研发人员：岩见一央，
申请(专利权)人：富士胶片富山化学株式会社，
类型：发明
国别省市：日本;JP