一种利用历史数据提升切片扫描聚焦速度的AI系统及方法技术方案

本发明专利技术提供一种利用历史数据提升切片扫描聚焦速度的AI系统及方法，包括扫描系统、数据采集模块、聚焦训练数据库、预处理与聚焦训练模块、基于染色特征的聚焦模型以及聚焦提速模型，本发明专利技术充分利用历史扫描数据，挖掘染色特征与聚焦深度的关系特征，在实际扫描中，利用染色特征与聚焦深度的关系特征缩减聚焦行程，从而提高聚焦效率的；通过预览相机索取图像的染色特征，再基于前期训练出来的“基于染色特征聚焦模型”，可以将聚焦行程缩减到全行程的1/3到1/6左右，从而可以大大减少聚焦时间。间。间。

【技术实现步骤摘要】
一种利用历史数据提升切片扫描聚焦速度的AI系统及方法


[0001]本专利技术涉及病理切片扫描及远程诊断
，特别是涉及一种利用历史数据提升切片扫描聚焦速度的AI系统及方法。

技术介绍

[0002]数字切片扫描仪是通过控制高精度工业相机连续拍摄采集病理切片在微观视野上的图像进而以矩阵方式拼接、还原形成病理切片的高精度数字图像的精密仪器。数字切片扫描仪内部通常由运动控制板、预览相机、主相机、切片托盘、光源、电源及相关连接线路构成。切片托盘置于水平面上相互垂直的滑杆上，滑杆安装有丝杆电机，由此形成切片在(x、y)平面上的运动空间，主相机安装在与水平面垂直的滑杆，也有电机可驱动相机沿垂直方向运动，由此构成相机的z轴运动空间，运动控制板驱动(x,y,z)三个方向的电机运动，主相机取高精度图像，预览相机取切片大视野全图。数字切片扫描仪通常与电脑主机相联，电脑上有专用于控制数字切片扫描仪工作的软件系统，用于配置数字切片扫描仪的运动及光学参数、启动控制扫描过程、拼接还原病理切片图像、生成并存储切片文件、在线查看扫描后图像等。
[0003]数字切片扫描仪在摄取每幅最微观层面上切片图像(也称为“瓦片”)时，通常需要在z轴方向连续步进拍照，并不断通过相邻图像间比较来寻找最清晰图像，取该图像为所需瓦片(取该图时相机所在z轴的位置即“聚焦位置”)，寻找该最清晰图像的过程即为“聚焦过程”。
[0004]现有技术中病理切片扫描的过程为：在扫描前，通过数字切片扫描仪的预览相机采集图像，再通过预处理算法计算样本轮廓；在扫描时，根据样本轮廓来计算和预置聚焦点；在每个聚焦点的z轴行程范围内连续步进取图、做图像差值计算、比较差值计算结果；当两次图像差值小于预设阈值时，则认为取到聚焦清晰图像。上述方法存在以下问题：扫描过程需要在预设的点位上，以很小的步进幅度，连续不断采集图像，然后通过图像相减运算，即对图像进行比较，求出图像梯度最大的位置，这个过程会消费大量取图和计算时间，因此，导致聚焦及扫描速度慢。如果单次取图后，能根据当前图像的清晰度指示直接跳跃性地移动主相机，将减少总体扫描过程的聚焦时间，因此，本专利技术考虑从所积累的历史扫描数据中发现图像清晰度特征与聚焦距离的量化关联关系，提供一种利用历史数据提升切片扫描聚焦速度的AI系统及方法。

技术实现思路

[0005]本专利技术所要解决的技术问题是：为了克服现有技术中的不足，本专利技术提供一种利用历史数据提升切片扫描聚焦速度的AI系统及方法，构建了一个学习框架，可以充分利用历史切片数据及历史扫描过程数据(聚焦点信息)来发现聚焦规律，从而使扫描过程的聚焦速度大大加快，解决扫描效率的瓶颈问题，其中，AI指人工智能，Artificial Intelligence的缩写。
[0006]本专利技术解决其技术问题所要采用的技术方案是：一种利用历史数据提升切片扫描聚焦速度的AI方法，包括以下步骤：
[0007]S1：数据采集阶段
[0008]从数字切片扫描仪的历史数据中提取部分数据作为原始训练数据，并获得原始训练数据的聚焦信息与相关瓦片索引信息共同存入聚焦训练数据库，其中，历史数据是扫描仪控制系统中利用传统图像差的办法聚焦(即“聚焦1”)获得的切片数据；数据库提前建好表，然后把原始训练数据预处理后入库形成了聚焦训练数据库；
[0009]S2：训练阶段
[0010]S2.1：预处理过程：
[0011]预处理是为了更显示地提取图像清晰度与需要调整的聚焦距离之间的关系特征，具体过程为：按照扫描位置从聚焦训练数据库中聚类提取单张瓦片数据，并获取该瓦片数据对应的聚焦点记录的Z轴位置值，遍历聚焦训练数据库(也可以称为遍历数据集)，针对每张瓦片计算聚焦特征，并将聚焦特征的对应值保存至聚焦训练数据库的表t_tile中，其中，聚焦特征包括图像均值、单点清晰度和聚焦距离；
[0012]在原始训练数据存入聚焦训练数据库时，聚焦训练数据库的表t_tile中对应的瓦片记录行预留聚焦特征的空白字段，预处理获得的图像均值、单点清晰度和聚焦距离等聚焦特征值分别写入对应的表t_tile中的空白字段，对表t_tile中相应数据进行更新。
[0013]S2.2：模型生成过程：
[0014]遍历经过预处理的聚焦训练数据库的t_tile表，生成特征空间[图像均值，单点清晰度]，并将特征空间写入聚焦训练数据库的focuse_mat表中；其中，focuse_mat表为关系数据库中的一张单表；遍历聚焦训练数据库的focuse_mat表，将focuse_mat表中的聚焦距离特征补充完整，并将聚焦距离为空的记录替换为非空记录；经过聚焦距离补充后的聚焦训练数据库对应的数据模型即为聚焦模型；
[0015]“聚焦模型”本质上是数据模型，从数据模型三要素来看：(1)数据结构是二维表、表中字段含义明确；(2)数据操作是通过“清晰度”来决定“聚焦调整距离”；(3)数据约束已经由表中具体的数值进行了直接定义。
[0016]S3：模型应用阶段
[0017]将步骤S2.2生成的聚焦模型载入扫描仪控制系统内形成第二聚焦单元，通过该聚焦模型对病理切片进行扫描获得快速扫描的切片数据。获得切片数据后，其后续处理过程与传统的过程基本类似，将切片数据存储至本地文件系统。
[0018]进一步，步骤S1数据采集的具体过程包括以下步骤：
[0019]S1.1：在扫描仪的扫描控制系统中插入“聚焦数据写出函数”，扫描启动后触发执行；
[0020]S1.2：每次扫描过程中，当镜头对准切片在xy平面上的起始点时，(即xy平面就位)，生成扫描序列号，代表一次扫描过程；
[0021]S1.3：相机开始连续拍摄取图(瓦片tile)，记录每张图片生成的瓦片，每张瓦片生成一条训练数据，同时将瓦片存入本地文件系统的固定目录下；
[0022]S1.4：把瓦片的相关信息写入到聚焦训练数据库的表“t_tile”中，其中，表“t_tile”既有瓦片索引路径，有也计算后的相关特征信息。
[0023]进一步，步骤S2.1中所述聚焦特征包括图像单点清晰度、图像均值和聚焦距离，则针对单张瓦片计算聚焦特征具体包括以下步骤：
[0024]S2.11：计算图像单点清晰度；
[0025]把图像split成B,G,R,三个颜色通道的矩阵，每个通道图像大小为[256,256]，其中，split为“拆分”的意思；针对每个通道矩阵，采用SMD2(灰度方差乘积)进行图像单点清晰度的计算求值：
[0026]D(f)＝∑
y
∑
x
|f(x,y)
‑
f(x+1,y)|*|f(x,y)
‑
f(x,y+1)|
[0027]其中，D(f)是灰度方差乘积，是一种对图像清晰度的度量方法，也是一个基于可采集数据输入的数学公式；f(x,y)为(x,y)点的像素值，f(x+1,y)为点(x+1,y)的像素值，f(x,y+1)为点(x,y+1)的像素值；...

【技术保护点】

【技术特征摘要】
1.一种利用历史数据提升切片扫描聚焦速度的AI方法，其特征在于：包括以下步骤：S1：数据采集阶段从数字切片扫描仪的历史数据中提取部分数据作为原始训练数据，并获得原始训练数据的聚焦信息与相关瓦片索引信息共同存入聚焦训练数据库，其中，历史数据是扫描仪控制系统中利用传统图像差的办法聚焦获得的切片数据；S2：训练阶段S2.1：预处理过程：按照扫描位置从聚焦训练数据库中聚类提取单张瓦片数据，并获取该瓦片数据对应的聚焦点记录的Z轴位置值，遍历聚焦训练数据库，针对每张瓦片计算聚焦特征，并将聚焦特征的对应值保存至聚焦训练数据库的表t_tile中，其中，聚焦特征包括图像均值、单点清晰度和聚焦距离；S2.2：模型生成过程：遍历经过预处理的聚焦训练数据库的t_tile表，生成特征空间[图像均值，单点清晰度]，并将特征空间写入聚焦训练数据库的focuse_mat表中；遍历聚焦训练数据库的focuse_mat表，将focuse_mat表中的聚焦距离特征补充完整，并将聚焦距离为空的记录替换为非空记录；经过聚焦距离补充后的聚焦训练数据库对应的数据模型即为聚焦模型；S3：模型应用阶段将步骤S2.2生成的聚焦模型载入扫描仪控制系统内形成第二聚焦单元，通过该聚焦模型对病理切片进行扫描获得快速扫描的切片数据。2.如权利要求1所述的利用历史数据提升切片扫描聚焦速度的AI方法，其特征在于：步骤S1数据采集的具体过程包括以下步骤：S1.1：在扫描仪的扫描控制系统中插入“聚焦数据写出函数”，扫描启动后触发执行；S1.2：每次扫描过程中，当镜头对准切片在xy平面上的起始点时，生成扫描序列号，代表一次扫描过程；S1.3：相机开始连续拍摄取图，记录每张图片生成的瓦片，每张瓦片生成一条训练数据，同时将瓦片存入本地文件系统的固定目录下；S1.4：把瓦片的相关信息写入到聚焦训练数据库的表“t_tile”中。3.如权利要求1所述的利用历史数据提升切片扫描聚焦速度的AI方法，其特征在于：步骤S2.1中所述聚焦特征包括图像单点清晰度、图像均值和聚焦距离，则针对单张瓦片计算聚焦特征具体包括以下步骤：S2.11：计算图像单点清晰度；把图像split成B,G,R,三个颜色通道的矩阵，每个通道图像大小为[256,256]；针对每个通道矩阵，采用SMD2进行图像单点清晰度的计算求值：D(f)＝Σ
y
Σ
x
|f(x,y)
‑
f(x+1,y)|*|f(x,y)
‑
f(x,y+1)|其中，D(f)是灰度方差乘积，是一种对图像清晰度的度量方法，也是一个基于可采集数据输入的数学公式；f(x,y)为(x,y)点的像素值，f(x+1,y)为点(x+1,y)的像素值，f(x,y+1)为点(x,y+1)的像素值；S2.12：计算图像均值；对图像清晰度作单点均值化处理，即将3个通道的SMD2值相加，然后除以256*256，利用
numpy库的mean()函数计算获取图像均值；S2.13：计算聚焦距离：聚焦距离＝图像Z轴位置值
‑
聚焦点Z轴位置值;S2.14：将图像均值、单点清晰度和聚焦距离保存至聚焦训练数据库的表t_tile中，对表t_tile中相应数据进行更新。4.如权利要求1所述的利用历史数据提升切片扫描聚焦速度的AI方法，其特征在于：步骤S2.2中特征空间的生成过程具体包括以下步骤：S2.21：计算特征空间的大小：以(图像均值,单点清晰度,聚焦距离)构成三维空间，统计“图像均值”、“单点清晰度”两个维度的取值范围；S2.22：在“图像均值”与“单点清晰度”构成的平面内建立投影区域分划；S2.23：由投影区域生成矩阵，将该矩阵以元素为单位写入聚焦训练数据库的...

【专利技术属性】
技术研发人员：许延祥，周秀峰，刘烁，
申请(专利权)人：帝麦克斯苏州医疗科技有限公司，
类型：发明
国别省市：