一种基于机器视觉的病理切片制备方法技术

本发明专利技术公开了一种基于机器视觉的病理切片制备方法，将已经包埋好的石蜡组织进行切片，形成多张连续的组织切片并掉落至漂片槽内，通过第一工业相机采集连续组织切片的图像信息，对连续组织切片进行识别和定位；切片分离针根据图像信息定位至两片相连组织切片中心，通过切片分离针将连续组织切片进行分离，并得到若干单个组织切片，机械手抓取载玻片运动至漂片槽内，通过第二工业相机对分离后的组织切片进行定位，并通过载玻片吸附捞取分割后的组织切片，继续通过机械手将吸附有组织切片的载玻片送至烘片槽内，进行组织切片的烘干，烘干完成后，通过机械手抓取并送入载玻片存储架中。架中。架中。

【技术实现步骤摘要】
一种基于机器视觉的病理切片制备方法


[0001]本专利技术涉及一种基于机器视觉的病理切片制备方法。

技术介绍

[0002]病理检测是癌症诊断的“金标准”，病理切片在癌症诊断过程中发挥着巨大的作用。病理切片的制备包含了多道工序，需对石蜡包埋完的组织进行切片，将其切成多张连续的组织切片，随后通过毛笔将其分离为单个组织切片，再转移至漂片槽的恒温水中进行漂片，利用载玻片将切片吸附后，放置于烘片槽内烘片，待组织切片烘干后再进行收纳。目前病理切片的制备需人工操作，通常由两位及以上技术人员协同进行切片、捞片和烘片收纳工作，制备效率较低，对人工操作要求较高，时常出现石蜡切片褶皱，污染等情况，不合格的病理切片造成了资源和时间浪费。

技术实现思路

[0003]本专利技术是为了解决上述现有技术存在的问题而提供一种基于机器视觉的病理切片制备方法。
[0004]本专利技术所采用的技术方案有：
[0005]一种基于机器视觉的病理切片制备方法，将已经包埋好的石蜡组织进行切片，形成多张连续的组织切片并掉落至漂片槽内，通过第一工业相机采集连续组织切片的图像信息，对连续组织切片进行识别和定位；切片分离针根据图像信息定位至两片相连组织切片中心，通过切片分离针将连续组织切片进行分离，并得到若干单个组织切片，机械手抓取载玻片运动至漂片槽内，通过第二工业相机对分离后的组织切片进行定位，并通过载玻片吸附捞取分割后的组织切片，继续通过机械手将吸附有组织切片的载玻片送至烘片槽内，进行组织切片的烘干，烘干完成后，通过机械手抓取并送入载玻片存储架中。
[0006]进一步地，通过第一工业相机采集连续组织切片的图像信息，并对连续组织切片进行识别和定位的步骤为：
[0007]S1：第一工业相机采集石蜡组织经刀片切割形成的相连的两组织切片图像，对其进行灰度化处理，其转化公式为：
[0008]f(x,y)＝r(x,y)
×
0.299+g(x,y)
×
0.587+b(x,y)
×
0.114
[0009]式中：r(x，y)，g(x，y)，b(x，y)分别为彩色图像中RGB三个通道在(x，y)位置的灰度值，f(x，y)是组织切片图像进行灰度化处理后得到灰度图像的像素值；
[0010]通过二维中值滤波消除组织切片灰度图像噪声，保护信号边缘，二维中值滤波输出为
[0011]z(x，y)＝Med
A
{f
ij
}
[0012]式中：A为组织切片图像中以像素点(x，y)为中心的窗口，f
ij
表示输入的组织切片图像在位置(i，j)处的像素值；
[0013]S2：对第一工业相机采集到相连两组织切片图像的数据集进行拉伸、旋转、镜像以
及切割的几何变换，以扩充组织切片图像数据集，增强训练数据多样性，通过对相连两组织切片图像以矩形框进行标注的方式确定组织在组织切片图像中的位置，然后将组织切片图像数据集按照8：1：1的比例划分成训练集、验证集和测试集3个部分；
[0014]S3：搭建深度学习目标检测模型，设定模型参数，采用深度学习目标检测模型对组织切片图像数据集进行训练、验证和测试，其中训练集用于训练所述深度学习目标检测模型，验证集用于调整深度学习目标检测模型的超参数，测试集用于评估深度学习目标检测模型的泛化能力；
[0015]S4：使用训练完的深度学习目标检测模型检测相连的组织切片图像，识别相连的组织切片图像后通过第一工业相机标定获得坐标转换矩阵，识别出相连两组织切片图像的像素坐标后，基于坐标转换矩阵，将所述像素坐标转换成空间坐标，相连两组织切片图像的形心坐标分别为(x1，y1，z1)、(x2，y2，z2)，通过矩阵转化得到相连组织相对切片分离针的位置，切片分离针定位至两片相连的组织形心中间位置通过Z向移动切片分离针实现相连组织切片分离。
[0016]进一步地，步骤S1中消除组织切片灰度图像噪声后，再通过图像增强突出组织切片图像中组织边缘，组织切片图像的组织边缘检测采用拉普拉斯算子，拉普拉斯算子的差分形式为：
[0017][0018]式中：f(x，y)表示图像中坐标为(x，y)的像素值，表示在该像素处的拉普拉斯算子值；f(x+1，y)、f(x
‑
1，y)、f(x，y+1)和f(x，y
‑
1)分别表示在当前像素的右侧、左侧、下方及上方的一个像素处的拉普拉斯算子值。
[0019]进一步地，所述深度学习目标检测模型为Yolov5模型，在Yolov5模型中添加Cross卷积，同时对组织切片图像的水平与垂直梯度信息进行探索以加强组织切片图像中组织边缘信息的提取，保障提取更加丰富的组织边缘特征，避免完整组织被破坏；所添加的Cross卷积公式为：
[0020][0021]Conv
k
×
k
(
■
)表示对组织切片图像进行核为k
×
k的卷积操作，表示卷积操作后组织切片图像对应位置的相加融合；F
out
表示组织切片图像的输出特征图，F
in
表示组织切片图像的输入特征图，n表示Cross卷积卷积核的数量；
[0022]为获得组织切片图像的组织边缘信息以实现组织边缘分割，在深度学习目标检测模型内构建包含CA注意力机制及F
‑
Norm的CCB模块，用于计算组织切片图像通道信息的重要性权重并对每个通道的特征进行归一化。
[0023]进一步地，所述深度学习目标检测模型在训练阶段的边界框损失采用的边界框损失函数为IoU_loss，可真实衡量出真实矩形框和预测矩形框间的距离，其计算公式为：
[0024][0025]式中：表示预测矩形框和真实矩形框之间的重合度，IoU_loss的取值范围为
[0，1]，其值越小表示预测矩形框和真实矩形框之间的重合度越大；
[0026]深度学习目标检测模型在训练阶段的组织切片图像分类损失、对象损失采用的是BCE loss损失函数。
[0027]进一步地，所述包埋好的石蜡组织切片是通过石蜡切片机进行切片并形成多张连续的组织切片。
[0028]进一步地，所述第一工业相机与切片分离针均固定在一个可进行三维运动的机械臂上。
[0029]进一步地，所述机械手可作三维运动，在机械手上设有第二工业相机，用于拍摄分离后组织切片图像。
[0030]进一步地，所述载玻片存储架的一侧设有烤片槽。
[0031]进一步地，所述漂片槽内设有可水平往复运动的滤网。
[0032]本专利技术具有如下有益效果：
[0033]本专利技术实现了切片、漂片和捞片一体化，节省了人力成本，提高了病理切片制备效率。漂片槽内水流的自动更换减少了不同切片间的交叉污染。利用图像处理和深度学习算法识别连续组织切片，完成组织的定位，求取相邻两组织形心中间位置，通过石蜡切片分离机构自动分离相连接的切片，取代了人本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于机器视觉的病理切片制备方法，其特征在于：将已经包埋好的石蜡组织进行切片，形成多张连续的组织切片并掉落至漂片槽(32)内，通过第一工业相机(7)采集连续组织切片的图像信息，对连续组织切片进行识别和定位；切片分离针根据图像信息定位至两片相连组织切片中心，通过切片分离针将连续组织切片进行分离，并得到若干单个组织切片，机械手(17)抓取载玻片运动至漂片槽(32)内，通过第二工业相机(11)对分离后的组织切片进行定位，并通过载玻片吸附捞取分割后的组织切片，继续通过机械手将吸附有组织切片的载玻片送至烘片槽(30)内，进行组织切片的烘干，烘干完成后，通过机械手抓取并送入载玻片存储架(31)中。2.如权利要求1所述的基于机器视觉的病理切片制备方法，其特征在于：通过第一工业相机(7)采集连续组织切片的图像信息，并对连续组织切片进行识别和定位的步骤为：S1：第一工业相机(7)采集石蜡组织经刀片切割形成的相连的两组织切片图像，对其进行灰度化处理，其转化公式为：f(x，y)＝r(x，y)
×
0.299+g(x，y)
×
0.587+b(x，y)
×
0.114式中：r(x，y)，g(x，y)，b(x，y)分别为彩色图像中RGB三个通道在(x，y)位置的灰度值，f(x，y)是组织切片图像进行灰度化处理后得到灰度图像的像素值；通过二维中值滤波消除组织切片灰度图像噪声，保护信号边缘，二维中值滤波输出为z(x，y)＝Med
A
{f
ij
}式中：A为组织切片图像中以像素点(x，y)为中心的窗口，f
ij
表示输入的组织切片图像在位置(i，j)处的像素值；S2：对第一工业相机采集到相连两组织切片图像的数据集进行拉伸、旋转、镜像以及切割的几何变换，以扩充组织切片图像数据集，增强训练数据多样性，通过对相连两组织切片图像以矩形框进行标注的方式确定组织在组织切片图像中的位置，然后将组织切片图像数据集按照8∶1∶1的比例划分成训练集、验证集和测试集3个部分；S3：搭建深度学习目标检测模型，设定模型参数，采用深度学习目标检测模型对组织切片图像数据集进行训练、验证和测试，其中训练集用于训练所述深度学习目标检测模型，验证集用于调整深度学习目标检测模型的超参数，测试集用于评估深度学习目标检测模型的泛化能力；S4：使用训练完的深度学习目标检测模型检测相连的组织切片图像，识别相连的组织切片图像后通过第一工业相机标定获得坐标转换矩阵，识别出相连两组织切片图像的像素坐标后，基于坐标转换矩阵，将所述像素坐标转换成空间坐标，相连两组织切片图像的形心坐标分别为(x1，y1，z1)、(x2，y2，z2)，通过矩阵转化得到相连组织相对切片分离针的位置，切片分离针定位至两片相连的组织形心中间位置通过Z向移动切片分离针实现相连组织切片分离。3.根据权利要求1所述的基于机器视觉的病理切片制备方法，其特征在于...

【专利技术属性】
技术研发人员：贾子彦，陈星月，李青，张大川，张文悦，潘玲佼，张雷，诸一琦，俞洋，陶为戈，薛波，姚克明，王玉，刘晓杰，
申请(专利权)人：江苏理工学院，
类型：发明
国别省市：