一种基于超声造影视频的乳腺癌影像分类系统及方法技术方案

本发明专利技术公开了一种基于超声造影视频的乳腺癌影像分类系统及方法，系统包括：数据采集及预处理模块，光流对齐及数据集构建模块，像素亮度变化曲线生成模块，关注帧权重训练模块，亮度变化曲线特征提取模块，视频图像特征提取模块，特征融合及分类模块。本发明专利技术方法首先采用光流对齐的方式将视频中的关键点进行对齐，减少因位移导致的影响，然后将对齐后的超声视频进行逐帧采样，拟合亮度变化曲线，并统计若干关键指标，再利用深度神经网络学习造影视频的局部特征，最后将统计的指标和学习到的特征进行融合，送入到残差网络进行分类，得到乳腺肿瘤的良恶性分类结果。到乳腺肿瘤的良恶性分类结果。到乳腺肿瘤的良恶性分类结果。

【技术实现步骤摘要】
一种基于超声造影视频的乳腺癌影像分类系统及方法


[0001]本专利技术涉及医学超声影像数据处理
，具体涉及一种基于超声造影视频的乳腺癌影像分类系统及方法。

技术介绍

[0002]乳腺癌已经成为全球女性发病率和死亡率最高的癌症之一。且发病率多呈年轻化趋势，约60％的乳腺癌患者就诊时，诊断为局部晚期。乳腺癌可通过乳腺癌早期筛查，以达到早期发现、早期诊断以及早期治疗的目的，以降低乳腺癌的死亡率。在我国，早期乳腺癌病人仅占30％，而70％的乳腺癌病人一发现就已经是中晚期。
[0003]如今主流的乳腺影像有B型超声图像和乳腺超声造影。B型超声影像难以反映血管血流变化。乳腺超声造影是通过静脉注射超声造影剂后，利用造影剂散射回声增强来提高超声诊断的分辨力和敏感性的技术，是一种安全、准确、乳腺诊断手段，是乳腺癌诊断领域最有效的技术之一。
[0004]实际乳腺癌诊断中，医生肉眼观察超声造影视频中病灶区域的动态影像变化，非常依赖医生临床经验，且单个医生阅片量有限，难以综合其他医生的临床诊断经验，因此，需要一种能根据患者乳腺超声造影视频，依据其视频自动对肿瘤进行良性和恶性分类的系统和方法，整个分类过程无需人为干预，可以减少医生工作量，为医生提供便捷。

技术实现思路

[0005]为解决现有技术中存在的问题，本专利技术提供了一种基于超声造影视频的乳腺癌影像分类系统及方法，基于特征工程结合深度神经网络模型架构，实现了自动提取超声造影视频中的视频特征信息，从大量造影视频中学习判定规则，能有效地对乳腺超声造影视频中乳腺肿瘤进行良恶性分类，解决了上述
技术介绍
中提到的问题。
[0006]为实现上述目的，本专利技术提供如下技术方案：一种基于超声造影视频的乳腺癌影像分类系统，所述系统包括：
[0007]数据采集及预处理模块：用于采集乳腺超声造影原始数据及数据预处理；
[0008]光流对齐及数据集构建模块：用于采用稠密光流对齐法对造影帧图像序列进行对齐，形成抗抖动帧图像序列并构建数据集；
[0009]像素亮度变化曲线生成模块：用于将抗抖动帧图像序列按像素点采样，采集每个像素的亮度变化，并将其与对数正态分布曲线进行拟合，生成像素亮度变化曲线；
[0010]关注帧权重训练模块：用于将像素亮度变化曲线送入基于Transformer的注意力神经网络进行关注帧权重训练，得到最佳像素亮度变化曲线；
[0011]亮度变化曲线特征提取模块：用于根据最佳像素亮度变化曲线，统计亮度变化曲线的亮度达到最大值所对应的帧数、曲线中值对应的帧数、曲线积分面积三个关键指标，得到像素亮度变化曲线特征向量，记为F1；
[0012]视频图像特征提取模块：用于利用图像特征进行提取网络获取造影特征，得到造
影视频每帧特征向量，记为F2；
[0013]特征融合及分类模块：用于将特征向量F1、F2使用concatenate方法对特征进行融合，然后送入已经进行约束后的ResNet18分类神经网络，将神经网络输出添加全连接层，使用Sigmoid函数对每个类型限制在0,1之间，得到分类结果。
[0014]优选的，数据采集及预处理模块中，以乳腺超声造影视频为单位，将视频按帧提取形成帧图像序列，并附带活检结果标签；所述数据预处理是将活检结果标签采用独热编码处理，良性[1,0]、恶性[0,1]。
[0015]优选的，光流对齐及数据集构建模块中，选取帧图像序列中第一帧作为参考帧，利用图像序列中像素在时间域上的变化以及与参考帧之间的相关性，逐帧计算出与参考帧之间的位移量，将视频中的关键点进行对齐，减少位移影响。
[0016]优选的，像素亮度变化曲线生成模块中，所述对数正态分布曲线表达式为：
[0017][0018]其中，x为自变量，表示视频帧编号，{0≤x≤n|x∈N}，n是像素个数。p(x)为x所对应帧的拟合像素亮度，μ，σ是待定参数，通过最小二乘法拟合得到，即：
[0019][0020]其中，p
true
(x
i
)为x
i
所对应的真实像素亮度。
[0021]优选的，视频图像特征提取模块中，将每帧视频传入ResNet18网络生成特征向量，再将每帧的特征向量送入基于注意力机制的Transformer编码器，得到Transformer网络的分类编码，将分类编码送入多层感知机进行分类，得到造影视频每帧特征向量。
[0022]优选的，特征融合及分类模块中，所述concatenate方法表达式为：
[0023][0024]优选的，特征融合及分类模块中，所述约束是使用交叉熵损失函数对模型进行约束，采用Adam对网络进行参数反向传播优化各层的参数，直至网络损失值收敛，所述交叉熵损失函数定义如下：
[0025][0026]其中，N代表样本个数，y
i
代表第i个视频的真实标签，p
i
代表第i个视频模型预测的标签。
[0027]另外，为实现上述目的，本专利技术还提供了如下技术方案：一种基于超声造影视频的乳腺癌影像分类方法，包括如下步骤：
[0028]S1、采集乳腺超声造影原始数据及数据预处理；
[0029]S2、使用稠密光流对齐法对造影帧图像序列进行对齐，形成抗抖动帧图像序列并构建数据集；
[0030]S3、将抗抖动帧图像序列按像素点采样，采集每个像素的亮度变化，并将其与对数
正态分布曲线进行拟合，生成像素亮度变化曲线；
[0031]S4、将像素亮度变化曲线送入基于Transformer的注意力神经网络进行关注帧权重训练，得到最佳像素亮度变化曲线；
[0032]S5、根据最佳像素亮度变化曲线，统计亮度变化曲线的亮度达到最大值所对应的帧数、曲线中值对应的帧数、曲线积分面积三个关键指标，得到像素亮度变化曲线特征向量，记为F1；
[0033]S6、利用图像特征进行提取网络获取造影特征，得到造影视频每帧特征向量，记为F2；
[0034]S7、将步骤S5和步骤S6所得的特征向量F1、F2使用concatenate方法对特征进行融合，然后送入已经进行约束后的ResNet18分类神经网络，将神经网络输出添加全连接层，使用Sigmoid函数对每个类型限制在0,1之间，得到分类结果。
[0035]本专利技术的有益效果是：本专利技术方法首先采用光流对齐的方式将视频中的关键点进行对齐，减少因位移导致的影响。然后将对齐后的超声视频进行逐帧采样，拟合亮度变化曲线，并统计若干关键指标。再利用深度神经网络学习造影视频的局部特征。最后将统计的指标和学习到的特征进行融合，送入到残差网络进行分类，即可得到乳腺肿瘤的良恶性分类结果，分类测试准确度高达86％。
附图说明
[0036]图1为本专利技术分类系统模块组成示意图；
[0037]图2为消除视频抖动示意图；
[0038]图3为生成像素亮度变化曲线示意图；
[0039]图4为多个像素生成多个像素本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于超声造影视频的乳腺癌影像分类系统，其特征在于，所述系统包括：数据采集及预处理模块：用于采集乳腺超声造影原始数据及数据预处理；光流对齐及数据集构建模块：用于采用稠密光流对齐法对造影帧图像序列进行对齐，形成抗抖动帧图像序列并构建数据集；像素亮度变化曲线生成模块：用于将抗抖动帧图像序列按像素点采样，采集每个像素的亮度变化，并将其与对数正态分布曲线进行拟合，生成像素亮度变化曲线；关注帧权重训练模块：用于将像素亮度变化曲线送入基于Transformer的注意力神经网络进行关注帧权重训练，得到最佳像素亮度变化曲线；亮度变化曲线特征提取模块：用于根据最佳像素亮度变化曲线，统计亮度变化曲线的亮度达到最大值所对应的帧数、曲线中值对应的帧数、曲线积分面积三个关键指标，得到像素亮度变化曲线特征向量，记为F1；视频图像特征提取模块：用于利用图像特征进行提取网络获取造影特征，得到造影视频每帧特征向量，记为F2；特征融合及分类模块：用于将特征向量F1、F2使用concatenate方法对特征进行融合，然后送入已经进行约束后的ResNet18分类神经网络，将神经网络输出添加全连接层，使用Sigmoid函数对每个类型限制在0,1之间，得到分类结果。2.根据权利要求1所述的基于超声造影视频的乳腺癌影像分类系统，其特征在于：数据采集及预处理模块中，以乳腺超声造影视频为单位，将视频按帧提取形成帧图像序列，并附带活检结果标签；所述数据预处理是将活检结果标签采用独热编码处理，良性[1,0]、恶性[0,1]。3.根据权利要求1所述的基于超声造影视频的乳腺癌影像分类系统，其特征在于：光流对齐及数据集构建模块中，选取帧图像序列中第一帧作为参考帧，利用图像序列中像素在时间域上的变化以及与参考帧之间的相关性，逐帧计算出与参考帧之间的位移量，将视频中的关键点进行对齐，减少位移影响。4.根据权利要求1所述的基于超声造影视频的乳腺癌影像分类系统，其特征在于：像素亮度变化曲线生成模块中，所述对数正态分布曲线表达式为：其中，x为自变量，表示视频帧编号，{0≤x≤n|x∈N}，n是像素个数；p(x)为x所对应帧的拟合像素亮度，μ，σ是待定参数，通过最小二乘法拟合得到，即：其中，p
true
(x
i<...

【专利技术属性】
技术研发人员：龚勋，袁帅，
申请(专利权)人：西南交通大学，
类型：发明
国别省市：