一种HER2免疫组化图像自动判别方法及系统技术方案

本发明专利技术公开了一种HER2免疫组化图像自动判别方法及系统，通过对低倍放大视野图像粗分割完成了切片中阳性对照区域和有效组织区域的定位功能，不仅全面利用了切片中的有效组织区域图像信息，也考虑了阳性对照区域的信息，尽可能的消除不同切片之间因为染色、时间等可能造成的误差。同时利用神经网络模型尽可能的挖掘着色情况不同的HER2免疫组化图像的差异性，完成图像的分类，还可以生成分类结果构建的伪彩色图像。本发明专利技术还提出一种基于上述HER2免疫组化图像自动判别系统，可视化分类伪彩色图和相关统计量帮助医生快速准确完成HER2免疫组化诊断。

【技术实现步骤摘要】
一种HER2免疫组化图像自动判别方法及系统
本专利技术属于医疗病理分析
，涉及一种运用计算机图像处理技术分析病理图像的方法，具体涉及一种HER2免疫组化图像自动判别方法及系统。
技术介绍
免疫组化技术由于其成本相对较低、染色切片易于保存和使用常规光学显微镜被广泛应用于肿瘤的病理诊断领域，可供病理医生给出综合准确判断。正确检测和评定乳腺癌的HER2蛋白表达和基于扩增状态对乳腺癌的临床治疗和预后判断极为重要。目前国内外一般采用免疫组织化学(IHC)法检测HER2受体蛋白表达状态，应用荧光原位杂交和显色原位杂交法检测HER2基因扩增水平。HER2免疫组化检测评估结果分为四种，其中-、+为阴性，+++为阳性、++为可疑。乳腺癌标本一般可先经IHC检测，检测结果为3+者，可作为建议患者接受曲妥珠单抗等药物治疗的依据；检测结果2+者需重复IHC检查或者荧光原位杂交和显色原位杂交法检测或者送去其他质量有保证的实验室进行检测。传统病理诊断中，需要病理医生根据免疫组化图像中的阳性区域的细胞数目及染色强度做出半定量判定，对病理医生的专业经验要求较高，且病理诊断结果易受医生主观影响。随着计算机的快速发展，为了提高病理学家判读HER2免疫组化图像的效率，尽可能的减少不同病理医生的主观差异性，使用计算机分析HER2免疫组化图像是一大研究热门。现有研究中通过分析HER2免疫组化图像主要包括三个阶段：图像预处理、图像特征提取构建特征向量、构建分类器。由于病理图像数字化扫描设备的缺少，使得获取到的病理图像数据仅仅是切片标本中的一部分，使得最终计算机分析给出的结果并不能很好地对当前病理切片做出辅助诊断，仍然需要医生再次复核得到相应病理诊断结果，同时构建的分类器存在再学习训练代价太大等问题，在计算机辅助诊断时未能很好地考虑对照区域的信息，并不适宜在临床病理诊断进行推广。
技术实现思路
针对现有研究中HER2免疫组化图像判别技术中由于上述缺点造成的临床不易推广使用等问题，本专利技术提出了一种HER2免疫组化图像自动判别方法，可以自动提取全切片数字化图像中的有效组织图像及对照组阳性图像，然后将其切分成互不重叠的小图像后，经过神经网络模型确认小图像的判断结果构建结果伪彩色图像，经由图像后处理后确定当前切片中阳性细胞的比例，从而做出相应病理结果诊断。同时提出一种基于上述HER2免疫组化图像自动判别方法的系统，用于录入相应病理切片信息、辅助医生快速完成HER2免疫组化结果判读并生成相应HER2免疫组化检测结果报告。本专利技术的方法所采用的技术方案是：一种HER2免疫组化图像自动判别方法，其特征在于，包括以下步骤：步骤1：提取全切片数字化图像ImageSlide中低倍放大图像LowMagnification；其中，低倍放大图像指的是全切片图像中分辨率最小、包含完整切片视野、大约物镜放大倍数为2的图像；步骤2：阳性对照区域提取得到阳性掩码图像PositiveMask；步骤3：有效组织区域提取得到组织掩码图像TissueMask；步骤4：根据阳性掩码图像PositiveMask和组织掩码图像TissueMask在全切片数字化图像ImageSlide中分别提取高倍放大图像，互不重叠的取出长宽为width*height的小图像，分别记为阳性对照图像ContrastImages，有效组织图像ValidImages，有效组织图像总数记为NumALL；其中，高倍图像指的是全切片图像中分辨率较高、大约物镜放大倍数为40的图像；步骤5：将阳性对照图像ContrastImages送入预设神经网络模型，当输出结果为阳性的比例超过预设值PercentHigh时转至步骤7，否则转至步骤6；步骤6：将当前阳性对照图像ContrastImages随机划分为新增训练集和验证集，从现有的HER2免疫组化标记图像数据库中随机抽取等数量的阴性图像和新增训练集混合，随机打乱后再训练预设神经网络模型，当验证集阳性准确率超过PercentHigh停止训练，保存为新神经网络模型；步骤7：将有效组织图像ValidImages送入最新神经网络模型，将检测结果为0的图像所在区域、检测结果为1的图像所在区域、检测结果为2的图像所在区域、检测结果为3的图像所在区域分别用不同的颜色标识，生成检测结果伪彩色图FakeImage；其中0表示细胞无着色，1表示细胞轻微着色，2表示细胞中等完全膜阳性，3表示细胞强度完全膜染色；步骤8：统计检测结果为3的图像数目记为强着色数目StrongNum，检测结果为2的图像数目记为中等着色数目MedianNum，检测结果为1的图像数目记为微着色数目WeakNum，检测结果为0的图像数目记为无着色数目NoNum；当StrongNum/NumALL超过10％时，表示超过10％的细胞呈现强着色，检测结果为+++；当NoNum/NumALL>90％时，表示基本无着色，检测结果为-；当MedianNum/NumALL>10％且StrongNum/NumALL<10％时，表示超过10％的细胞呈现中等着色，检测结果为++；其他检测结果为+。本专利技术的系统所采用的技术方案是：一种HER2免疫组化图像自动判别系统，其特征在于：包括低倍图像提取模块、阳性对照区域提取模块、有效组织区域提取模块、高倍图像提取模块、阳性对照测试模块、预设模型优化模块、分析模块、结果可视化模块、数据回传模块和报告生成模块；所述低倍图像提取模块，用于提取全切片数字化图像ImageSlide中低倍放大图像LowMagnification；其中，低倍放大图像指的是全切片图像中分辨率最小、包含完整切片视野、大约物镜放大倍数为2的图像；所述阳性对照区域提取模块，用于阳性对照区域提取得到阳性掩码图像PositiveMask；所述有效组织区域提取模块，用于有效组织区域提取得到组织掩码图像TissueMask；所述高倍图像提取模块，用于根据阳性掩码图像PositiveMask和组织掩码图像TissueMask在全切片数字化图像ImageSlide中分别提取高倍放大图像，互不重叠的取出长宽为width*height的小图像，分别记为阳性对照图像ContrastImages，有效组织图像ValidImages，有效组织图像总数记为NumALL；其中，高倍图像指的是全切片图像中分辨率较高、大约物镜放大倍数为40的图像；所述阳性对照测试模块，用于将阳性对照图像ContrastImages送入预设神经网络模型进行测试，当输出结果为阳性的比例超过预设值PercentHigh时转至步骤7，否则转至步骤6；所述预设模型优化模块，用于将当前阳性对照图像ContrastImages随机划分为新增训练集和验证集，从现有的HER2免疫组化标记图像数据库中随机抽取等数量的阴性图像和新增训练集混合，随机打乱后再训练预设神经网络模型，当验证集阳性准确率超过PercentHigh停止训练，保存为新神经网络模型；所述分析模块：将有效组织图像ValidImages送入最新神经网络模型，将检测结果为0的图像所在区域、检测结果为1的图像所在区域、检测结果为2的图像所在区域、检测结果为3的图像所在区域分别用不同的颜色标识，生成检测结果伪彩色图FakeIma本文档来自技高网...

【技术保护点】
1.一种HER2免疫组化图像自动判别方法，其特征在于，包括以下步骤：步骤1：提取全切片数字化图像ImageSlide中低倍放大图像LowMagnification；其中，低倍放大图像指的是全切片图像中分辨率最小、包含完整切片视野、大约物镜放大倍数为2的图像；步骤2：阳性对照区域提取得到阳性掩码图像PositiveMask；步骤3：有效组织区域提取得到组织掩码图像TissueMask；步骤4：根据阳性掩码图像PositiveMask和组织掩码图像TissueMask在全切片数字化图像ImageSlide中分别提取高倍放大图像，互不重叠的取出长宽为width*height的小图像，分别记为阳性对照图像ContrastImages，有效组织图像ValidImages，有效组织图像总数记为NumALL；其中，高倍图像指的是全切片图像中分辨率较高、大约物镜放大倍数为40的图像；步骤5：将阳性对照图像ContrastImages送入预设神经网络模型，当输出结果为阳性的比例超过预设值PercentHigh时转至步骤7，否则转至步骤6；步骤6：将当前阳性对照图像ContrastImages随机划分为新增训练集和验证集，从现有的HER2免疫组化标记图像数据库中随机抽取等数量的阴性图像和新增训练集混合，随机打乱后再训练预设神经网络模型，当验证集阳性准确率超过PercentHigh停止训练，保存为新神经网络模型；步骤7：将有效组织图像ValidImages送入最新神经网络模型，将检测结果为0的图像所在区域、检测结果为1的图像所在区域、检测结果为2的图像所在区域、检测结果为3的图像所在区域分别用不同的颜色标识，生成检测结果伪彩色图FakeImage；其中0表示细胞无着色，1表示细胞轻微着色，2表示细胞中等完全膜阳性，3表示细胞强度完全膜染色；步骤8：统计检测结果为3的图像数目记为强着色数目StrongNum，检测结果为2的图像数目记为中等着色数目MedianNum，检测结果为1的图像数目记为微着色数目WeakNum，检测结果为0的图像数目记为无着色数目NoNum；当StrongNum/NumALL超过10％时，表示超过10％的细胞呈现强着色，检测结果为+++；当NoNum/NumALL>90％时，表示基本无着色，检测结果为‑；当MedianNum/NumALL>10％且StrongNum/NumALL<10％时，表示超过10％的细胞呈现中等着色，检测结果为++；其他检测结果为+。...

【技术特征摘要】
1.一种HER2免疫组化图像自动判别方法，其特征在于，包括以下步骤：步骤1：提取全切片数字化图像ImageSlide中低倍放大图像LowMagnification；其中，低倍放大图像指的是全切片图像中分辨率最小、包含完整切片视野、大约物镜放大倍数为2的图像；步骤2：阳性对照区域提取得到阳性掩码图像PositiveMask；步骤3：有效组织区域提取得到组织掩码图像TissueMask；步骤4：根据阳性掩码图像PositiveMask和组织掩码图像TissueMask在全切片数字化图像ImageSlide中分别提取高倍放大图像，互不重叠的取出长宽为width*height的小图像，分别记为阳性对照图像ContrastImages，有效组织图像ValidImages，有效组织图像总数记为NumALL；其中，高倍图像指的是全切片图像中分辨率较高、大约物镜放大倍数为40的图像；步骤5：将阳性对照图像ContrastImages送入预设神经网络模型，当输出结果为阳性的比例超过预设值PercentHigh时转至步骤7，否则转至步骤6；步骤6：将当前阳性对照图像ContrastImages随机划分为新增训练集和验证集，从现有的HER2免疫组化标记图像数据库中随机抽取等数量的阴性图像和新增训练集混合，随机打乱后再训练预设神经网络模型，当验证集阳性准确率超过PercentHigh停止训练，保存为新神经网络模型；步骤7：将有效组织图像ValidImages送入最新神经网络模型，将检测结果为0的图像所在区域、检测结果为1的图像所在区域、检测结果为2的图像所在区域、检测结果为3的图像所在区域分别用不同的颜色标识，生成检测结果伪彩色图FakeImage；其中0表示细胞无着色，1表示细胞轻微着色，2表示细胞中等完全膜阳性，3表示细胞强度完全膜染色；步骤8：统计检测结果为3的图像数目记为强着色数目StrongNum，检测结果为2的图像数目记为中等着色数目MedianNum，检测结果为1的图像数目记为微着色数目WeakNum，检测结果为0的图像数目记为无着色数目NoNum；当StrongNum/NumALL超过10％时，表示超过10％的细胞呈现强着色，检测结果为+++；当NoNum/NumALL>90％时，表示基本无着色，检测结果为-；当MedianNum/NumALL>10％且StrongNum/NumALL<10％时，表示超过10％的细胞呈现中等着色，检测结果为++；其他检测结果为+。2.根据权利要求1所述的HER2免疫组化图像自动判别方法，其特征在于，步骤2的具体实现包括以下子步骤：步骤2.1：将低倍放大图像LowMagnification从RGB颜色空间转换到HSV颜色空间，得到明度图像ValueImage；步骤2.2：将明度图像ValueImage二值化得到明度二值图像ValueBw；步骤2.3：计算明度二值图像ValueBw中所有连通域的面积Area及其最小凸多边形面积ConvexArea；步骤2.4：遍历明度二值图像ValueBw中所有连通域，当其ConvexArea/Area<预设值Limit时，去除该连通域；最终得到阳性候选图像PositiveCandidate；步骤2.5：由于阳性候选图像PositiveCandidate中，类圆外圈多数情况没有闭合，采用椭圆拟合得到其闭合椭圆图像CloseImage；步骤2.6：对闭合椭圆图像CloseImage进行孔洞填充，得到填充图像FillImage；步骤2.7：将低倍放大图像LowMagnification中填充图像FillImage为0的像素值清零，去除阳性对照区之外的区域得到阳性区域图像PositiveRGB；步骤2.8：阳性区域图像PositiveRGB二值化得到二值图像PositiveBw；步骤2.9：将二值图像PositiveBw后处理，保留面积在预设区间[low,high]中的连通域得到阳性掩码图像PositiveMask。3.根据权利要求2所述的HER2免疫组化图像自动判别方法，其特征在于：步骤2.4中，Limit的取值为4。4.根据权利要求2所述的HER2免疫组化图像自动判别方法，其特征在于：步骤2.4中，步骤2.9中[low,high]的取值为[500,50000]。5.根据权利要求1所述的HER2免疫组化图像自动判别方法，其特征在于，步骤3的具体实现包括以下子步骤：步骤3.1：对阳性区域图像PositiveRGB做半径为R的圆形结构元素的形态学膨胀操作得到膨胀区域Dila...

【专利技术属性】
技术研发人员：刘娟，陈哲，
申请(专利权)人：武汉大学，
类型：发明
国别省市：湖北,42