留置针图像分割模型构建、针尖定位方法、装置及系统制造方法及图纸

本发明专利技术公开了一种留置针图像分割模型构建、针尖定位方法、装置及系统,首先可以训练出一个专用于包含有反光层区域的留置针图像的图像分割模型，能够识别多种厂家生产的不同类型的留置针，并且采用了目标轮廓识别任务，提高了对轮廓的识别精度，使得网络提取到目标的轮廓信息，提高了留置针图像分割结果的准确性，从而提高了后期留置针针尖定位的准确性；其次利用匹配方法获得样本图像，利用样本图像的比例参数就可以简单快速的根据反光层区域的位置确定留置针针尖在图像中的位置，从而提高了针尖定位的实时性，还利用样本图像的坐标变换参数计算待定位留置针的针尖深度，从而可以有效地节约程序运行的时间，提高了针尖深度定位的实时性。

The construction of image segmentation model, the method, device and system of needle positioning

【技术实现步骤摘要】
留置针图像分割模型构建、针尖定位方法、装置及系统
本专利技术涉及针尖定位系统，具体涉及一种留置针图像分割模型构建、针尖定位方法、装置及系统。
技术介绍
在临床治疗上，静脉注射通过将药物直接注射至静脉中可以给患者带来直接有效的治疗。但是静脉注射属于有创性治疗手段，需要将注射针头扎入皮下的血管中，这样的有创行为会给患者带来痛苦。特别是，对于一些需要每日的、连续的、间歇的进行注射治疗的患者而言，重复的实施静脉输液会给患者带来多次伤害。留置针的使用则可以让患者避免重复穿刺，降低患者的痛苦，减少医务人员的工作量。但是，目前所广泛使用的留置针并不能反馈给医务人员针尖所在的位置，医务人员需要凭借个人的经验和手感来判断留置针是否准确的扎入目标血管中且未扎穿血管，使得医务人员的工作难度增加。现有技术中已经出现了可以确定血管位置的血管成像仪，但是针尖位置较难确定。现有技术可以采用图像处理的方法对留置针图像进行处理，从而预测针尖的位置，但是单纯采用图像处理的方法由于图像中噪声过多，例如留置针本体呈现整个透明的颜色，在采集图像时皮肤的颜色会透过留置针显示到图像中导致没法定位到留置针的边缘或者由于光照的因素会导致留置针的边缘不清晰，从而使得留置针图像无法准确地进行分割，尤其是留置针生产厂家众多，每个厂家的留置针的形状都会有差异，因此在对多种类型的留置针图像进行分割时存在无法准确分割的问题，从而导致针尖位置预测结果不准确，造成针尖定位不准，影响定位效果。另外留置针针尖定位在实际使用场景中需要实时地对针尖位置进行准确的计算，而现有技术中的方法大多存在算法处理复杂导致计算速度慢，无法满足实时性要求的问题。
技术实现思路
本专利技术的目的在于提供一种留置针图像分割模型构建、针尖定位方法、装置及系统，用以解决现有的图像处理技术在处理针尖图像时无法准确进行分割，导致针尖定位不准确且处理速度慢的问题。为了实现上述任务，本专利技术采用以下技术方案：一种留置针图像分割模型构建方法，所述的方法按照以下步骤执行：步骤1、获取多幅留置针图像，其中所述的留置针图像中包括多个反光层区域与留置针针头区域；步骤2、对步骤1获得的每一幅留置针图像进行数据增强，获得样本集；步骤3、标记所述的样本集中的每一幅留置针图像中的每一个反光层区域以及留置针针头区域，获得包括反光层标记区域以及留置针针头标记区域的多幅标记留置针图像，获得第一标签集；获取所述的样本集中的每一幅留置针图像中的每一个反光层标记区域的轮廓以及留置针针头区域的轮廓，获得包括多幅反光层标记区域的轮廓以及留置针针头区域的轮廓的多幅轮廓留置针图像，获得第二标签集；步骤4、将所述的样本集作为输入，将所述的第一标签集以及第二标签集作为参考输出，训练全卷积神经网络，获得留置针图像分割模型；其中所述的全卷积神经网络的损失函数L为：其中λ1与λ2为权重因子，λ1与λ2均大于0；x表示留置针图像中的第x个像素点，lmask(x)表示第x个像素点为第一标签，pmask(x；lmask(x))表示第x个像素点为第一标签的预测概率值；lcontour(x)表示第x个像素点为第二标签，pcontour(x；lcontour(x))表示第x个像素点为第二标签的预测概率值。一种留置针图像针尖定位方法，所述的方法按照以下步骤执行：步骤A、获得待定位的留置针图像，其中所述的待定位的留置针图像中包括多个反光层区域与留置针针头区域；步骤B、将所述的待定位的留置针图像输入至留置针图像分割模型构建方法获得的留置针图像分割模型中，获得包括反光层标记区域以及留置针针头标记区域的标记留置针图像；步骤C、从所述的标记留置针图像中获得每一个反光层标记区域的形状信息以及位置信息，获得留置针针头标记区域的形状信息以及位置信息；步骤D、根据每一个反光层标记区域的形状信息以及留置针针头标记区域的形状信息在留置针图像数据库中寻找相似度最高的一副图像作为样本图像；其中所述的留置针图像数据库包括多幅经过权利要求1所述的留置针图像分割模型构建方法获得的留置针图像分割模型输出的标记留置针图像；其中每幅标记留置针图像均对应一个比例参数其中P1为任一个反光层标记区域的中心点坐标，P2为另外一个反光层标记区域的中心点坐标，P3为留置针针尖点坐标；为P2点至P1点之间的图像距离，单位为像素点，为P3点至P2点之间的图像距离，单位为像素点；获得所述样本图像的比例参数K；步骤E、根据步骤C中获得的标记留置针图像中每一个反光层标记区域的位置信息，获得两个反光层标记区域的中心点位置坐标，分别为P1'以及P2'；其中所述的两个反光层标记区域与所述的样本图像计算比例参数K时选择的两个反光层标记区域的位置相同；步骤F、采用式II获得待定位的留置针图像中的针尖位置点坐标P3'：其中，为P2'点至P1'点之间的图像距离，单位为像素点。一种留置针图像针尖深度定位方法，用于获得所述的留置针针尖的深度，按照以下步骤执行：步骤I、获得待定位的留置针图像，其中所述的留置针图像中包括多个反光层区域与留置针针头区域；步骤II、采用留置针图像针尖定位方法获得所述的待定位的留置针图像中针尖位置点坐标P3'；步骤III、对采用留置针图像针尖定位方法时所述的步骤D获得的样本图像进行标定，获得坐标变换参数其中P1为任一个反光层标记区域的中心点，P2为另外一个反光层标记区域的中心点，为两个中心点之间的实际距离，单位为mm，为P2点至P1点之间的图像距离，单位为像素点；步骤IV、采用式III获得留置针针尖的深度H，单位为mm：其中P4'为对步骤I获得的待定位的留置针图像采用留置针图像针尖定位方法中步骤C获得的留置针针头标记区域的位置信息中的针入皮肤的位置点的坐标；P1'以及P2'为对步骤I获得的待定位的留置针图像采用留置针图像针尖定位方法中步骤E获得的两个反光层标记区域的中心点位置坐标；为针入皮肤的位置点与针尖位置点之间的图像距离，单位为像素点；为P2'点至P1'点之间的图像距离，单位为像素点；为P2'点至P1'点之间的实际距离，单位为mm。一种留置针图像分割模型构建装置，所述的装置包括图像采集模块、数据增强模块、标签获得模块以及模型训练模块；所述的图像采集模块用于获取多幅留置针图像，其中所述的留置针图像中包括多个反光层区域与留置针针头区域；所述的数据增强模块用于对获得的每一幅留置针图像进行数据增强，获得样本集；所述的标签获得模块用于标记所述的样本集中的每一幅留置针图像中的每一个反光层区域以及留置针针头区域，获得包括反光层标记区域以及留置针针头标记区域的多幅标记留置针图像，获得第一标签集；获取所述的样本集中的每一幅留置针图像中的每一个反光层标记区域的轮廓以及留置针针头区域的轮廓，获得包括多幅反光层标记区域的轮廓以及留置针针头区域的轮廓的多幅轮廓留置针图像，本文档来自技高网...

【技术保护点】
1.一种留置针图像分割模型构建方法，其特征在于，所述的方法按照以下步骤执行：/n步骤1、获取多幅留置针图像，其中所述的留置针图像中包括多个反光层区域与留置针针头区域；/n步骤2、对步骤1获得的每一幅留置针图像进行数据增强，获得样本集；/n步骤3、标记所述的样本集中的每一幅留置针图像中的每一个反光层区域以及留置针针头区域，获得包括反光层标记区域以及留置针针头标记区域的多幅标记留置针图像，获得第一标签集；/n获取所述的样本集中的每一幅留置针图像中的每一个反光层标记区域的轮廓以及留置针针头区域的轮廓，获得包括多幅反光层标记区域的轮廓以及留置针针头区域的轮廓的多幅轮廓留置针图像，获得第二标签集；/n步骤4、将所述的样本集作为输入，将所述的第一标签集以及第二标签集作为参考输出，训练全卷积神经网络，获得留置针图像分割模型；/n其中所述的全卷积神经网络的损失函数L为：/n

【技术特征摘要】
1.一种留置针图像分割模型构建方法，其特征在于，所述的方法按照以下步骤执行：
步骤1、获取多幅留置针图像，其中所述的留置针图像中包括多个反光层区域与留置针针头区域；
步骤2、对步骤1获得的每一幅留置针图像进行数据增强，获得样本集；
步骤3、标记所述的样本集中的每一幅留置针图像中的每一个反光层区域以及留置针针头区域，获得包括反光层标记区域以及留置针针头标记区域的多幅标记留置针图像，获得第一标签集；
获取所述的样本集中的每一幅留置针图像中的每一个反光层标记区域的轮廓以及留置针针头区域的轮廓，获得包括多幅反光层标记区域的轮廓以及留置针针头区域的轮廓的多幅轮廓留置针图像，获得第二标签集；
步骤4、将所述的样本集作为输入，将所述的第一标签集以及第二标签集作为参考输出，训练全卷积神经网络，获得留置针图像分割模型；
其中所述的全卷积神经网络的损失函数L为：



其中λ1与λ2为权重因子，λ1与λ2均大于0；x表示留置针图像中的第x个像素点，lmask(x)表示第x个像素点为第一标签，pmask(x；lmask(x))表示第x个像素点为第一标签的预测概率值；lcontour(x)表示第x个像素点为第二标签，pcontour(x；lcontour(x))表示第x个像素点为第二标签的预测概率值。


2.一种留置针图像针尖定位方法，其特征在于，所述的方法按照以下步骤执行：
步骤A、获得待定位的留置针图像，其中所述的待定位的留置针图像中包括多个反光层区域与留置针针头区域；
步骤B、将所述的待定位的留置针图像输入至权利要求1所述的留置针图像分割模型构建方法获得的留置针图像分割模型中，获得包括反光层标记区域以及留置针针头标记区域的标记留置针图像；
步骤C、从所述的标记留置针图像中获得每一个反光层标记区域的形状信息以及位置信息，获得留置针针头标记区域的形状信息以及位置信息；
步骤D、根据每一个反光层标记区域的形状信息以及留置针针头标记区域的形状信息在留置针图像数据库中寻找相似度最高的一副图像作为样本图像；
其中所述的留置针图像数据库包括多幅经过权利要求1所述的留置针图像分割模型构建方法获得的留置针图像分割模型输出的标记留置针图像；其中每幅标记留置针图像均对应一个比例参数其中P1为任一个反光层标记区域的中心点坐标，P2为另外一个反光层标记区域的中心点坐标，P3为留置针针尖点坐标；为P2点至P1点之间的图像距离，单位为像素点，为P3点至P2点之间的图像距离，单位为像素点；
获得所述样本图像的比例参数K；
步骤E、根据步骤C中获得的标记留置针图像中每一个反光层标记区域的位置信息，获得两个反光层标记区域的中心点位置坐标，分别为P1'以及P2'；其中所述的两个反光层标记区域与所述的样本图像计算比例参数K时选择的两个反光层标记区域的位置相同；
步骤F、采用式II获得待定位的留置针图像中的针尖位置点坐标P3'：



其中，为P2'点至P1'点之间的图像距离，单位为像素点。


3.一种留置针图像针尖深度定位方法，用于获得所述的留置针针尖的深度，其特征在于，按照以下步骤执行：
步骤I、获得待定位的留置针图像，其中所述的留置针图像中包括多个反光层区域与留置针针头区域；
步骤II、采用权利要求2所述的留置针图像针尖定位方法获得所述的待定位的留置针图像中针尖位置点坐标P3'；
步骤III、对采用权利要求2所述的留置针图像针尖定位方法时所述的步骤D获得的样本图像进行标定，获得坐标变换参数其中P1为任一个反光层标记区域的中心点，P2为另外一个反光层标记区域的中心点，为两个中心点之间的实际距离，单位为mm，为P2点至P1点之间的图像距离，单位为像素点；
步骤IV、采用式III获得留置针针尖的深度H，单位为mm：



其中P4'为对步骤I获得的待定位的留置针图像采用权利要求2所述的留置针图像针尖定位方法中步骤C获得的留置针针头标记区域的位置信息中的针入皮肤的位置点的坐标；
P1'以及P2'为对步骤I获得的待定位的留置针图像采用权利要求2所述的留置针图像针尖定位方法中步骤E获得的两个反光层标记区域的中心点位置坐标；

为针入皮肤的位置点与针尖位置点之间的图像距离，单位为像素点；为P2'点至P1'点之间的图像距离，单位为像素点；为P2'点至P1'点之间的实际距离，单位为mm。


4.一种留置针图像分割模型构建装置，其特征在于，所述的装置包括图像采集模块、数据增强模块、标签获得模块以及模型训练模块；
所述的图像采集模块用于获取多幅留置针图像，其中所述的留置针图像中包括多个反光层区域与留置针针头区域；
所述的数据增强模块用于对获得的每一幅留置针图像进行数据增强，获得样本集；
所述的标签获得模块用于标记所述的样本集中的每一幅留置针图像中的每一个反光层区域以及留置针针头区域，获得包括反光层标记区域以及留置针针头标记区域的多幅标记留置针图像，获得第一标签集；
获取所述的样本集中的每一幅留置针图像中的每一个反光层标记区域的轮廓以及留置针针头区域的轮廓，获得包括多幅反光层标记区域的轮廓以及留置针针头区域的轮廓的多幅轮廓留置针图像，获得第二标签集；
所述的模型训练模块用于将所述的样本集作为输入，将所述的第一标签集以及第二标签集作为参考输出，训练全卷积神经网络，获得留置针图像分割模型；
其中所述的全卷积神经...

【专利技术属性】
技术研发人员：朱锐，曹一挥，
申请(专利权)人：深圳市中科微光医疗器械技术有限公司，
类型：发明
国别省市：广东;44