一种基于动态可插拔掩码自监督编码器的显微图像表示方法技术

本发明专利技术提出一种基于动态可插拔掩码自监督编码器的显微图像表示方法，包括：步骤一：基于动态可插拔掩码自监督编码器和MAE解码器搭建网络；步骤二：构造损失函数对网络进行训练，进行图像重建与分类的联合优化；步骤三：使用预训练动态可插拔掩码自监督编码器提取显微图像的深层特征表示；进一步对接下游任务的解码器，进行矿物显微图像超分辨率重建、包裹体自动分析、智能钻石净度评级、通用细胞分割。本发明专利技术通过可插拔模块提高数据量劣势的领域的特征提取质量，有效应对跨领域数据集大多类别不平衡的问题。同时相较于添加分支，可插拔模块降低了50％增设结构带来的额外计算开销，而赋予了模型极强的域迁移性。

【技术实现步骤摘要】

本专利技术涉及一种基于动态可插拔掩码自监督编码器的显微图像表示方法，属于数字图像处理和计算机视觉领域，主要涉及深度学习和图像分析技术，在各类基于显微图像的应用系统中具有广阔应用前景。本专利技术基于该方法实现了高效的矿物显微图像超分辨率重建、包裹体自动分析，智能钻石净度评级，通用细胞分割。

技术介绍

1、传统显微图像分析方法通常针对特定任务设计，依赖手动选择特征，如形状、纹理、强度等。choudhry等人采用sobel滤波器检测目标边缘，提取目标的周长、面积、圆形度等形状特征，实现细胞分割和菌落计数(参见文献：choudhry等，“基于边缘检测的数字图像分析用于高通量自动菌落和细胞计数的高效方法”，公共科学图书馆一号，11.2(2016):e0148469.(choudhry,priya."high-throughput method for automated colony andcell counting by digital image analysis based on edge detection."plos one11.2(2016):e0148本文档来自技高网...

【技术保护点】

1.一种基于动态可插拔掩码自监督编码器的显微图像表示方法，其特征在于：包括步骤如下：

2.根据权利要求1所述的一种基于动态可插拔掩码自监督编码器的显微图像表示方法，其特征在于：在步骤一中，具体包括：设计动态可插拔掩码自监督编码器对输入图像进行特征提取和劣势类别特征增强；将输入的RGB图像分为14×14的小块后，得到大小为768×14×14的特征图；使用75％的掩码率进行随机掩码后，为每个小块嵌入位置编码并添加全局的cls_token，动态可插拔掩码自监督编码器通过具有16个注意力头的自注意力层进行特征的提取得到经过自注意力层的特征图；将特征图通过一个全卷积层进行分类，如果属于...

【技术特征摘要】

1.一种基于动态可插拔掩码自监督编码器的显微图像表示方法，其特征在于：包括步骤如下：

2.根据权利要求1所述的一种基于动态可插拔掩码自监督编码器的显微图像表示方法，其特征在于：在步骤一中，具体包括：设计动态可插拔掩码自监督编码器对输入图像进行特征提取和劣势类别特征增强；将输入的rgb图像分为14×14的小块后，得到大小为768×14×14的特征图；使用75％的掩码率进行随机掩码后，为每个小块嵌入位置编码并添加全局的cls_token，动态可插拔掩码自监督编码器通过具有16个注意力头的自注意力层进行特征的提取得到经过自注意力层的特征图；将特征图通过一个全卷积层进行分类，如果属于劣势数据集类别，则将特征图通过可插拔模块增强特征表示。

3.根据权利要求1所述的一种基于动态可插拔掩码自监督编码器的显微图像表示方法，其特征在于：在步骤二中，具体包括：损失函数由两部分组成，分别为图像重建损失与分类交叉熵损失；图像重建损失是衡量重建图像irebuild与目标图像isr之间的像素级差异；值越小，模型生成的重建结果与真实图像越接近；分类交叉熵损失是量化模型预测的概率分布与真实标签分布之间的差异；用于量化对于混合数据集中不同类别图像的分类的精度，损失值越小表示预测分布越接近真实分布；

4.根据权利要求1所述的一种基于动态可插拔掩码自监督编码器的显微图像表示方法，其特征在于：在步骤三中，具体包括：进行矿物显微图像超分辨率重建、包裹体自动分析、智能钻石净度评级、通用细胞分割均使用预训练的动态可插拔掩码自监督编码器提取特征；提取到图像的深层特征表示后，矿物显微图像超分辨率重建使用对抗网络解码器；包裹体自动分析使用特征融合分类模块；智能钻石净度评级使用resnet解码器；通用细胞分割使用u-net解码器；在下游任务网路的训练过程中冻结动态可插拔掩码自监督编码器的参数。

5.根据权利要求1...

【专利技术属性】
技术研发人员：白相志，付欣，孙衡，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：