本发明专利技术公开了一种数据知识双驱动的硅藻图像分类系统和方法，该系统包括生成对抗网络模块、知识学习模块和深度残差网络模块；生成对抗网络模块设计一个适合硅藻图像生成的生成对抗网络模型以扩充硅藻图像数据集。知识学习模块将硅藻知识嵌入到知识向量空间。深度残差网络模块则将硅藻图像嵌入到特征向量空间。为克服知识域和特征域语义鸿沟，利用知识辅助深度残差网络分类，本发明专利技术采用多层感知机将知识域嵌入投影到特征域，并采用最小均方误差损失函数最小化特征域内知识嵌入和特征嵌入的距离。相较于传统未加生成对抗网络和知识属性的分类模型，本发明专利技术方法在准确率(Precision)提升了8.6％、召回率(Recall)提升了9.7％、损失降低了31.6％。失降低了31.6％。失降低了31.6％。
【技术实现步骤摘要】
Intelligence,2002,24(7):971
‑
987.)采用曲率和轮廓等进行硅藻形态特征提取，并利用最临近分类器和决策树进行分类识别。欧共体DiCANN项目人员利用人工神经网络技术对4个甲藻类属的多个藻类进行检测。通过离散傅里叶变换，SOBEL算子以及Gabor小波变换进行特征提取，并利用神经网络分类学习，最终获得84.9％识别精度。
[0005]国内专家学者也致力于藻类图像识别，上海交通大学汪振兴教授等人的论文“赤潮藻类图像自动识别的研究”(海洋环境科学,2007,26(1):42
‑
44.)采用形态和纹理特征，并结合遗传算法对藻类图像进行特征提取，然后利用人工神经网络技术进行分类识别。该算法能够对主要的赤潮藻类进行有效分类，其分类精度接近人工分类效果。中国海洋大学姬婷婷等人的论文“基于自适应幅度谱分析的显著目标检测”(中国海洋大学学报:自然科学版,2017,47(7).)通过提取藻类图像的圆度，扁度，不变矩，矩形度等形态特征，再利用最邻近准则对17种主要藻类植物进行分类，最终准确率达到90％。另外，于连生等人的论文“Particle growth mechanism of nanocrystalline zirconia powder during high temperature heat treatment”(Transactions of Nonferrous Metals Society of China,2007,17(5):1022
‑
1027.)研制出水下显微自动成像仪，可方便采集大量藻类植物图像。江涛等人的论文“基于SVDD和SVM的赤潮藻类识别”(厦门大学学报(自然科学版),2010,49(1):47
‑
51.)把传统的显微成像技术与流式检测技术相结合，实现了实时采集藻类图像，后期通过SVDD和SVM方法对藻类细胞分类。上述现有技术都需大量标记样本进行训练，然而，这些样本在实际中很难获得。
技术实现思路
[0006]本专利技术目的在于针对上述现有技术的缺陷或不足，提出一种数据知识双驱动的硅藻图像分类系统和方法，该系统结合深度残差网络、生成对抗网络和知识图谱等技术的优势，解决数据稀疏问题，提升分类性能如分类准确率、召回率，并且提高模型可解释性，实现高效率、高准确率和低数据依赖的硅藻图像分类。
[0007]本专利技术解决其技术问题所采用的技术方案是：一种数据知识双驱动的硅藻图像分类系统，该系统包括生成对抗网络模块、知识学习模块和深度残差网络模块。
[0008]生成对抗网络模块是针对硅藻图像生成而设计的一种GAN模型。深度残差网络的复杂结构需要大量的训练样本，而在实际情况下很难获取足够样本数据。因此，本专利技术采用生成对抗网络解决该问题。该模块的工作原理是通过使用真实硅藻图像数据训练生成器，并利用判别器将真实硅藻图像和生成器生成图像进行区分。通过交替训练生成器和判别器，使得生成器生成图像逐渐接近于真实硅藻图像。该生成对抗网络模块关键在于通过训练好的生成器生成一定数量的硅藻图像样本，以供后续深度残差网络训练使用。
[0009]知识学习模块是将硅藻知识嵌入到低维连续向量空间以便集成到深度学习模型。本专利技术利用预训练BERT模型作为硅藻知识编码器。该编码器将硅藻特征的文字描述作为输入，输出768维向量。为打破知识域和特征域的语义鸿沟，本专利技术利用多层感知机将知识域嵌入投影到特征域，作为最终知识嵌入。
[0010]深度残差网络模块是构建深度残差网络模型获取图像特征嵌入并使其与知识嵌入对齐。本专利技术采用预训练深度残差网络获取图像特征嵌入，再利用最小均方误差损失使得该特征嵌入与其对应类别的知识嵌入对齐。最终，本模块利用训练好的网络实现硅藻分
类。
[0011]本专利技术还提供了一种数据知识双驱动的硅藻图像分类系统的实现方法，该方法包括如下步骤：
[0012]步骤1：通过电镜扫描仪，获取硅藻图像数据。
[0013]步骤2：构建生成对抗网络模型，并训练生成对抗网络。
[0014]步骤3：根据硅藻知识图谱构建并预训练知识学习模型。
[0015]步骤4：结合知识学习模型和深度残差网络模型构建数据知识双驱动的硅藻图像分类模型。
[0016]步骤5：进行模型训练并对模型效果进行评估。
[0017]有益效果：
[0018]1、本专利技术引入生成对抗网络模块，通过生成器生成一定量的样本，减少对真实数据的依赖。通过生成对抗网络模块，可为后续深度残差网络提供更丰富、更多样化的样本，进而提高其分类准确率。
[0019]2、本专利技术将知识集成到深度学习模型，能够在样本不足的情况下，充分利用领域内已有知识和经验帮助模型更好地理解数据特征和规律，从而提高分类准确率，引入知识也使得模型的决策过程更具可解释性。
[0020]3、本专利技术引入生成对抗网络和知识属性辅助分类，相较于传统未加生成对抗网络和知识属性的分类模型，在准确率(Precision)上提升了8.6％、召回率(Recall)上提升了9.7％、损失降低了31.6％。
[0021]4、本专利技术采用生成对抗网络学习真实样本分布，再根据该分布生成一定量的样本参与训练，将硅藻知识，即硅藻特征的文字描述集成到深度学习模型，减少模型对数据的依赖，提升可解释性。
附图说明
[0022]图1为本专利技术的方法流程图。
[0023]图2为本专利技术与其他三种模型在硅藻数据集上测试精确度、测试损失、测试召回率、测试F1分数以及测试准确度表现对比图。
[0024]图3为本专利技术与其他三种模型在硅藻数据集上训练损失表现对比图。
[0025]图4为本专利技术与其他三种模型在硅藻数据集上训练准确度表现对比图。
[0026]图5为本专利技术与其他三种模型在硅藻数据集上训练F1分数表现对比图。
[0027]图6为本专利技术与其他三种模型在硅藻数据集上训练精确度表现对比图。
[0028]图7为本专利技术与其他三种模型在硅藻数据集上训练召回率表现对比图。
具体实施方式
[0029]下面结合说明书附图对本专利技术创造作进一步的详细描述。
[0030]应该理解，这些描述只是示例性的，而并非要限制本专利技术的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本专利技术的概念。
[0031]如图1所示，本专利技术提供了一种数据知识双驱动的硅藻图像分类系统的实现方法，该方法包括如下步骤：
[0032]步骤1，通过电镜扫描仪，获取硅藻图像数据。
[0033]准备硅藻样本，电镜扫描仪观察，使用硅藻图像采集设备将显微镜下的图像转换为数字图像，对获取的硅藻图像进行必要的图像处理，将获取的硅藻图像数据保存在合适的数据存储设备或数据库中，并进行适当的标注和分类。
[0034]步骤2，构建生成对抗网络模型，并训练生成对抗网络。
[0035]设计一个硅藻图像生成任务的生成对抗模型。生成对抗网络(Generat本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据知识双驱动的硅藻图像分类系统，其特征在于，所述系统包括生成对抗网络模块、知识学习模块和深度残差网络模块：生成对抗网络模块，是通过使用真实硅藻图像数据训练生成器，并利用判别器将真实硅藻图像和生成器生成图像进行区分，通过交替训练生成器和判别器，使得生成器生成图像逐渐接近于真实硅藻图像，所述生成对抗网络模块关键在于通过训练好的生成器生成一定数量的硅藻图像样本，以供后续深度残差网络训练使用；知识学习模块是将硅藻知识嵌入到低维连续向量空间以便集成到深度学习模型，，利用预训练BERT模型作为硅藻知识编码器，所述编码器将硅藻特征的文字描述作为输入，输出768维向量，利用多层感知机将知识域嵌入投影到特征域，作为最终知识嵌入；深度残差网络模块是构建深度残差网络模型获取图像特征嵌入并使其与知识嵌入对齐，，采用预训练深度残差网络获取图像特征嵌入，再利用最小均方误差损失使得该特征嵌入与其对应类别的知识嵌入对齐，，然后利用训练好的网络实现硅藻分类。2.一种数据知识双驱动的硅藻图像分类系统的实现方法，其特征在于，所述方法包括如下步骤：步骤1：通过电镜扫描仪，获取硅藻图像数据，；步骤2：构建生成对抗网络模型，并训练生成对抗网络，；步骤3：根据硅藻知识图谱构建并预训练知识学习模型；步骤4：结合知识学习模型和深度残差网络模型构建数据知识双驱动的硅藻图像分类模型；步骤5：进行模型训练并对模型效果进行评估。3.根据权利要求2所述的一种数据知识双驱动的硅藻图像分类系统的实现方法，其特征在于，所述步骤1包括：准备硅藻样本，电镜扫描仪观察，使用硅藻图像采集设备将显微镜下的图像转换为数字图像，对获取的硅藻图像进行必要的图像处理，将获取的硅藻图像数据保存在合适的数据存储设备或数据库中，并进行适当的标注和分类。4.根据权利要求2所述的一种数据知识双驱动的硅藻图像分类系统的实现方法，其特征在于，所述步骤2包括：设计一个硅藻图像生成任务的生成对抗模型，生成对抗网络是由生成器和判别器组成的一种深度学习模型，生成器的任务是从随机噪声中生成逼真的硅藻样本，而判别器则负责判断给定样本是真实硅藻样本还是生成器产生的硅藻样本，训练过程中，生成器不断生成硅藻样本，而判别器则根据生成器生成的硅藻样本进行分类；生成器的目标是尽可能欺骗判别器，使其将生成器产生的硅藻样本误认为是真实样本；生成器的损失函数定义为生成硅藻样本与真实硅藻样本的差异：LOSS_G＝
‑
log(D(G(z)))其中，G(z)表示生成器生成的硅藻样本，D表示判别器，z表示随机噪声；判别器的目标是尽可能准确地区分真实硅藻样本和生成器产生的硅藻样本，判别器的损失函数使用交叉熵来度量该二分类任务的准确性：LOSS_D＝
‑
log(D(x))
‑
log(1
‑
D(G(z)))其中，x为真实硅藻样本，在训练过程中，生成器和判别器通过交替优化来提升性能，首先，固定生成器，训练判别器以最大化正确分...
【专利技术属性】
技术研发人员：丛璐璐，吴伟，刘纯玉，李沁欣，
申请(专利权)人：中国科学院南京地理与湖泊研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。