一种基于形变场提取的细胞形变动态分类方法及系统技术方案

本发明专利技术公开一种基于形变场提取的细胞动态分类方法及系统，涉及计算机图像处理领域，包括：加载负责提取形变信息的形变提取网络和负责视频分类的视频分类网络的参数；获取待分类视频；利用形变提取网络形变分支提取细胞形变信息；利用视频分类网络下采样融合模块对不同尺度形变信息进行融合；对形变信息利用时序建模模块得到细胞形变的时序信息；利用以全连接层为核心的分类模块对时序信息进行类别预测

【技术实现步骤摘要】
一种基于形变场提取的细胞形变动态分类方法及系统


[0001]本专利技术涉及计算机图像处理领域，特别是涉及一种基于形变场提取的细胞形变动态分类方法及系统
。

技术介绍

[0002]细胞是构成人体的基本单元，其形变广泛存在于生理或病理过程，如细胞有丝分裂
、
细胞应激反应和细胞迁移等
。
例如，细胞的有丝分裂包含前期
、
前中期
、
中期
、
后期
、
末期多个阶段，不同阶段的细胞动态特性有很大的差异，据此可以对细胞有丝分裂周期进行建模，可见对细胞形变进行分析是十分有研究意义的
。
根据细胞形变程度对细胞视频进行分类的关键是准确捕获显微视频中帧级细胞形变以及合理分类视频级细胞形变
。
帧级细胞形变聚焦于显微视频中某一时段的细胞动态变化，而视频级细胞形变侧重于整合多个帧级细胞形变
。
形变卷积是针对目标的非刚体特性设计，为输入图像学习一个偏移场来抵消非刚体目标的不同姿态，从而提升非刚体目标的特征提取效果
。
对此，本专利技术提出一种基于形变场提取的细胞形变动态分类方法及系统
。

技术实现思路

[0003]本专利技术的目的是提供一种基于形变场提取的细胞形变动态分类方法及系统，可通过更加简单的形变提取网络提取细胞形变场，实现细胞形变动态的准确且快速的分类
。
[0004]为实现上述目的，本专利技术提供了如下方案：
[0005]一种基于形变场提取的细胞形变动态分类方法，所述方法包括：
[0006]获取待分类的细胞视频；
[0007]利用形变提取网络的形变分支提取所述待分类的细胞视频中的细胞形变信息；所述形变分支包括多个串联连接的
MOE
模块；每一所述
MOE
模块包括共享卷积层
、
形变提取层
、
和第一池化层；所述形变提取层包括第一支路；所述第一支路的输入为所述共享卷积层的输出；所述第一支路包括第一分流支路
、
第二分流支路以及串联连接的第一卷积层和第二卷积层；所述第一卷积层的输入为所述第一分流支路和所述第二分流支路的叠加结果；在所述第一分流支路上包括第三卷积层和第一激活层；所述第一池化层的输入为所述第一支路的输出；每一所述
MOE
模块的输出包括所包含的所述第一池化层输出的细胞视频特征和所包含的所述第一分流支路输出的细胞形变信息；
[0008]利用视频分类网络的特征融合模块对每一所述
MOE
模块输出的所述细胞形变信息进行融合，得到融合形变信息；
[0009]将所述融合形变信息输入到所述视频分类网络的时序建模模块，得到细胞形变时序信息；
[0010]将所述细胞形变时序信息输入到所述视频分类网络的分类模块进行细胞形变动态分类，得到所述细胞形变动态分类结果
。
[0011]本专利技术提供一种基于形变场提取的细胞形变动态分类系统，所述系统包括：
[0012]视频获取子系统，用于获取待分类的细胞视频；
[0013]形变信息提取子系统，用于利用形变提取网络的形变分支提取所述待分类的细胞视频中的细胞形变信息；所述形变分支包括多个串联连接的
MOE
模块；每一所述
MOE
模块包括共享卷积层
、
形变提取层
、
和第一池化层；所述形变提取层包括第一支路；所述第一支路的输入为所述共享卷积层的输出；所述第一支路包括第一分流支路
、
第二分流支路以及串联连接的第一卷积层和第二卷积层；所述第一卷积层的输入为所述第一分流支路和所述第二分流支路的叠加结果；在所述第一分流支路上包括第三卷积层和第一激活层；所述第一池化层的输入为所述第一支路的输出；每一所述
MOE
模块的输出包括所包含的所述第一池化层输出的细胞视频特征和所包含的所述第一分流支路输出的细胞形变信息；
[0014]分类子系统，用于利用视频分类网络的特征融合模块对每一所述
MOE
模块输出的所述细胞形变信息进行融合，得到融合形变信息；将所述融合形变信息输入到所述视频分类网络的时序建模模块，得到细胞形变时序信息；将所述细胞形变时序信息输入到所述视频分类网络的分类模块进行细胞形变动态分类，得到所述细胞形变动态分类结果
。
[0015]根据本专利技术提供的具体实施例，本专利技术公开了以下技术效果：
[0016]本专利技术提供了一种基于形变场提取的细胞形变动态分类方法及系统，其中，形变提取网络中用于提取形变信息的形变分支包括多个串联连接的
MOE
模块；每一
MOE
模块包括共享卷积层
、
形变提取层和第一池化层；形变提取层包括第一支路；第一支路包括第一分流支路
、
第二分流支路以及串联连接的第一卷积层和第二卷积层；每一所述
MOE
模块的输出包括所包含的所述第一池化层输出的细胞视频特征和所包含的所述第一分流支路输出的细胞形变信息
。
本专利技术通过形变分支可更加直接地构建细胞形变场，并且形变分支结构简单，可以采用更加简单的网络结构完成细胞形变场作为紧凑型分类特征，从而实现以更小的运算量完成较高精度的细胞形变分类，既保证了分类的准确性，同时还提升了分类的效率
。
附图说明
[0017]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例
。
[0018]图1为本专利技术实施例1提供的一种基于形变场提取的细胞动态分类方法流程图；
[0019]图2为本专利技术实施例1提供的形变提取网络和视频分类网络构成的整体网络结构示意图；
[0020]图3为本专利技术实施例1提供的
M1
网络和
M2
网络的训练流程图；
[0021]图4为本专利技术实施例1提供的形变提取网络的结构示意图；
[0022]图5为本专利技术实施例1提供的训练
M1
网络的主流程图；
[0023]图6为本专利技术实施例1提供的
MOE
模块的结构示意图；
[0024]图7为本专利技术实施例1提供的形变分支的训练主要流程示意图；
[0025]图8为本专利技术实施例1提供的第一支路提取形变信息流程图；
[0026]图9为本专利技术实施例1提供的补帧策略结构示意图；
[0027]图
10
为本专利技术实施例1提供的
RV
模块结构示意图；
[0028]图
11
为本专利技术实施例1提供的
RV
模块处理流程图；
[0029]图
12
为本专利技术实施例1提供的基于...

【技术保护点】

【技术特征摘要】
1.
一种基于形变场提取的细胞形变动态分类方法，其特征在于，所述方法包括：获取待分类的细胞视频；利用形变提取网络的形变分支提取所述待分类的细胞视频中的细胞形变信息；所述形变分支包括多个串联连接的
MOE
模块；每一所述
MOE
模块包括共享卷积层
、
形变提取层和第一池化层；所述形变提取层包括第一支路；所述第一支路的输入为所述共享卷积层的输出；所述第一支路包括第一分流支路
、
第二分流支路以及串联连接的第一卷积层和第二卷积层；所述第一卷积层的输入为所述第一分流支路和所述第二分流支路的叠加结果；在所述第一分流支路上包括第三卷积层和第一激活层；所述第一池化层的输入为所述第一支路的输出；每一所述
MOE
模块的输出包括所包含的所述第一池化层输出的细胞视频特征和所包含的所述第一分流支路输出的细胞形变信息；利用视频分类网络的特征融合模块对每一所述
MOE
模块输出的所述细胞形变信息进行融合，得到融合形变信息；将所述融合形变信息输入到所述视频分类网络的时序建模模块，得到细胞形变时序信息；将所述细胞形变时序信息输入到所述视频分类网络的分类模块进行细胞形变动态分类，得到所述细胞形变动态分类结果
。2.
根据权利要求1所述的方法，其特征在于，对所述形变分支提取网络进行训练时，所述形变提取层还包括第二支路；所述第二支路包括第四卷积层；所述第一支路和所述第二支路的输入分别为所述共享卷积层的两个输出；所述形变分支中的所述
MOE
模块还包括计算损失函数层；所述计算损失函数层，用于根据所述第一支路的输出和所述第二支路的输出计算第一损失函数并反向传播优化所述形变提取网络；对所述形变分支提取网络进行训练时，所述第一池化层的输入为所述第一支路的输出和所述第二支路的输出；所述第一池化层的输出为所述第一支路的输出和所述第二支路的输出经过池化操作后的结果；对所述形变分支提取网络进行训练时，所述形变分支提取网络还包括重建分支；所述重建分支包括多个串联连接的
RV
模块；每一所述
RV
模块包括依次串联连接的第五卷积层
、
第二激活层和上采样层；第一个所述
RV
模块的输入为最后一个所述
MOE
模块中所述第一支路的输出经所述第一池化层后得到的所述细胞视频特征；最后一个所述
RV
模块的输出为基于最后一个所述
MOE
模块中所述第一池化层输出的所述细胞视频特征得到的重建细胞视频
。3.
根据权利要求2所述的方法，其特征在于，利用形变提取网络的形变分支提取所述待分类的细胞视频中的细胞形变信息之前，还包括：对所述形变提取网络进行训练，具体为：将细胞视频样本输入到所述形变分支中，得到所述细胞形变信息和所述细胞视频特征；每一所述
MOE
模块输出的所述细胞形变信息用于作为输入对所述视频分类网络进行训练；将所述细胞视频特征输入到所述重建分支中，得到所述重建细胞视频；计算所述细胞视频样本与所述重建细胞视频的第二损失函数；根据第二损失函数的结果反向传播训练所述形变分支和所述重建分支
。
中间融合特征；对所述第
i
中间融合特征进行下采样后...

【专利技术属性】
技术研发人员：庞枫骞，雷淳月，曾京生，
申请(专利权)人：北方工业大学，
类型：发明
国别省市：