基于HE染色图像与MBT染色图像的配准导航系统技术方案

本发明专利技术公开了基于HE染色图像与MBT染色图像的配准导航系统，基于HE染色图像与MBT染色图像的配准导航系统，包括以下步骤：硬件部分和软件部分，所述软件部分包括特征点提取、转换矩阵和对比特征点，所述硬件部分包括调整摄像头和调整位移平台。该基于HE染色图像与MBT染色图像的配准导航系统，针对IHC、IF、测序技术以及Masson等特殊染色对HE染色图像的配准问题，结合软件以及硬件，创造出智能配准导航系统，用来在IHC图像的生成阶段完成对HE图像的粗配准问题，依赖软件以及硬件的相互组合，软件负责识别两次扫描图像的低分辨率特征点，也就是人为设置的标记，然后进行匹配得到变换参数，硬件系统依靠这些变换参数，重新调整摄像头角度或者位移平台的位置。

【技术实现步骤摘要】
基于HE染色图像与MBT染色图像的配准导航系统
本专利技术涉及配准导航系统
，具体为基于HE染色图像与MBT染色图像的配准导航系统。
技术介绍
病理切片HE染色可以观察细胞和组织形态，是组织学、胚胎学、病理学中最基本、使用最广泛的技术方法；而IHC(免疫组化)、IF(免疫荧光)、测序技术以及Masson等特殊染色则可以标记出特定的细胞或细胞中特定的成分以及蛋白表达或基因突变产物。病理切片全玻片扫描数字化技术的应用，让一张病理切片可以通过多次扫描，产生出多张数字化图像。通过对已染色切片进行脱色后再进行其他类型染色或者技术处理，借助病理切片全玻片扫描数字化技术可以产生同一张病理石蜡切片两种甚至两种以上染色的数字化图像。通过AI提取其中一种染色图像上的特征，可以将该染色的特征在呈现在HE染色切片上，进一步为机器学习提供数据。但是我们在实验过程中发现，一个细胞的大小只有10μm左右，在切片扫描阶段中想让两次扫描范围在细胞水平实现完全重叠，目前技术是不可能的，在软硬件上还有许多待解决的问题。如要实现细胞层面的100％重叠，需要对两次扫描的图像进行配准，所谓的图像配准，就是将不同时间、不同条件下生成的两幅图像进行匹配叠加的过程。此外，由于病理切片扫描图像拥有大的空间分辨率，因此在目前的配准技术下完成一次配准需要耗费大量的时间，尤其当存在大量的扫描图像配准的情形下，所耗费的时间更是成倍增长。基于这种情形，结合软件以及硬件，开发出一套智能配准导航系统，从图像的源头出发，在第二次扫描图像的数据生成之前，完成两次扫描粗配准过程，针对上述情况，在现有的基于HE染色图像与MBT染色图像的配准导航系统基础上进行技术创新。
技术实现思路
本专利技术的目的在于提供基于HE染色图像与MBT染色图像的配准导航系统，以解决上述
技术介绍
中提出的问题。为实现上述目的，本专利技术提供如下技术方案：基于HE染色图像与MBT染色图像的配准导航系统，包括以下步骤：硬件部分和软件部分，所述软件部分包括特征点提取、转换矩阵和对比特征点，所述硬件部分包括调整摄像头和调整位移平台。可选的，所述特征点提取，识别低分辨率下人为标记的特征点特征，并完成对HE染色图像的数据扫描；对HE染色切片进行脱色后再进行IHC染色，识别低分辨率下人为标记的特征点特征。可选的，所述转换矩阵，基于特征点提取识别的特征点，进行匹配，得到相应的转换矩阵。可选的，所述调整摄像头，基于转换矩阵步骤中得到的转换矩阵，利用硬件调整摄像头和位移平台的角度。可选的，所述对比特征点，比较HE染色图像以及IHC染色图像低分辨率下人为标记的特征点位置是否重合，设置阈值，当两者特征点的位置小于一定的阈值时，结束粗配准，此时开始扫面IHC染色图像，反之，则返回。可选的，所述特征点提取使用ORB特征提取算子、Harris等特征提取算子；在关于特征点的匹配上，由于特征点较少，所以使用常用的暴力匹配，进行相应的匹配之后，使用刚性配准算法，建立如下所示的模型：y＝Ax，其中，y以及x分别代表匹配之后IHC以及HE的特征点，A为相应的转换矩阵，由于将其定义为一个粗配准，所以为了加快速度，同时减少相应的参数，因此只使用平移变换。即：其中，tx以及ty代表要训练得到的参数。可选的，所述转换矩阵后依靠转换矩阵，利用处理器控制电机的运动，调节载玻片位置。可选的，所述特征点提取，在玻片上设置人为标记点，然后再染色，生成IHC载玻片。可选的，所述对比特征点，将载玻片上的标记点特征与染色后生成IHC载玻片上的标记点特征进行对比。与现有技术相比，本专利技术的有益效果如下：该基于HE染色图像与MBT染色图像的配准导航系统，针对IHC(免疫组化)、IF(免疫荧光)、测序技术以及Masson等特殊染色对HE染色图像的配准问题，结合软件以及硬件，创造出智能配准导航系统，用来在IHC图像的生成阶段完成对HE图像的粗配准问题，依赖软件以及硬件的相互组合。软件负责识别两次扫描图像的低分辨率特征点，也就是人为设置的标记，然后进行匹配得到变换参数，硬件系统依靠这些变换参数，重新调整摄像头角度或者位移平台的位置，之后重新扫描生成扫描图像的高分辨率数据；智能配准导航系统在作用上相当于一次粗配准，缩短了后续的软件配准时间，从数据生成的源头进行粗配准，结合软件以及硬件，缩短了后续的软件精细配准的时间，尤其是基于金字塔方法的配准过程。附图说明图1为本专利技术基于HE染色图像与MBT染色图像的配准导航系统示意图。具体实施方式下面将结合本专利技术实施对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术提供一种技术方案：基于HE染色图像与MBT染色图像的配准导航系统，包括以下步骤：硬件部分和软件部分，软件部分包括特征点提取、转换矩阵和对比特征点，硬件部分包括调整摄像头和调整位移平台，特征点提取，识别低分辨率下人为标记的特征点特征，并完成对HE染色图像的数据扫描；对HE染色切片进行脱色后再进行IHC染色，识别低分辨率下人为标记的特征点特征，转换矩阵，基于特征点提取识别的特征点，进行匹配，得到相应的转换矩阵，调整摄像头，基于转换矩阵步骤中得到的转换矩阵，利用硬件调整摄像头和位移平台的角度，对比特征点，比较HE染色图像以及IHC染色图像低分辨率下人为标记的特征点位置是否重合，设置阈值，当两者特征点的位置小于一定的阈值时，结束粗配准，此时开始扫面IHC染色图像，反之，则返回，特征点提取使用ORB特征提取算子、Harris等特征提取算子；在关于特征点的匹配上，由于特征点较少，所以使用常用的暴力匹配，进行相应的匹配之后，使用刚性配准算法，简历如下所示的模型：y＝Ax，其中，y以及x分别代表匹配之后IHC以及HE的特征点，A为相应的转换矩阵，由于将其定义为一个粗配准，所以为了加快速度，同时减少相应的参数，因此只使用平移变换。即：其中，tx以及ty代表要训练得到的参数，转换矩阵后依靠转换矩阵，利用处理器控制电机的运动，调节载玻片位置，特征点提取，在玻片上设置人为标记点，然后再染色，生成IHC载玻片，对比特征点，将载玻片上的标记点特征与染色后生成IHC载玻片上的标记点特征进行对比。工作原理：该基于HE染色图像与MBT染色图像的配准导航系统，首先在玻片上设置认为标记点，提取玻片上的标记点特征，对玻片上设置认为标记点再染色，生成IHC载玻片，提取载玻片上的标记点特征，对染色后的载玻片上的标记点特征和没有染色的玻片上的标记点特征进行特征点匹配，得到相应的转换矩阵，依靠转换矩阵，利用处理器控制电机的运动，调节载玻片的位置，调整之后，判断HE与IHC的标记点位置是否重合，是的话结束粗匹配，开始扫描IHC数据，如果HE与IHC的标记点位置没有重合，则返回，特征点提取使用ORB特征提取算子、Harris等特征提取本文档来自技高网...

【技术保护点】
1.基于HE染色图像与MBT染色图像的配准导航系统，其特征在于，包括以下步骤：硬件部分和软件部分，所述软件部分包括特征点提取、转换矩阵和对比特征点，所述硬件部分包括调整摄像头和调整位移平台。/n

【技术特征摘要】
1.基于HE染色图像与MBT染色图像的配准导航系统，其特征在于，包括以下步骤：硬件部分和软件部分，所述软件部分包括特征点提取、转换矩阵和对比特征点，所述硬件部分包括调整摄像头和调整位移平台。


2.根据权利要求1所述的基于HE染色图像与MBT染色图像的配准导航系统，其特征在于：所述特征点提取，识别低分辨率下人为标记的特征点特征，并完成对HE染色图像的数据扫描；对HE染色切片进行脱色后再进行IHC染色，识别低分辨率下人为标记的特征点特征。


3.根据权利要求1所述的基于HE染色图像与MBT染色图像的配准导航系统，其特征在于：所述转换矩阵，基于特征点提取识别的特征点，进行匹配，得到相应的转换矩阵。


4.根据权利要求1所述的基于HE染色图像与MBT染色图像的配准导航系统，其特征在于：所述调整摄像头，基于转换矩阵步骤中得到的转换矩阵，利用硬件调整摄像头和位移平台的角度。


5.根据权利要求1所述的基于HE染色图像与MBT染色图像的配准导航系统，其特征在于：所述对比特征点，比较HE染色图像以及IHC染色图像低分辨率下人为标记的特征点位置是否重合，设置阈值，当两者特征点的位置小于一定的阈值时，结束粗配准，此时开始扫面IHC染色图...

【专利技术属性】
技术研发人员：陈颖，于观贞，潘雅婷，廖心怡，周洲，高云姝，
申请(专利权)人：昆山华颐生物科技有限公司，
类型：发明
国别省市：江苏;32