超声乳腺病灶的分类方法、装置及存储介质制造方法及图纸

本申请涉及一种超声乳腺病灶的分类方法、装置及存储介质，方法包括：获取待分类的目标超声乳腺信息；确定目标超声乳腺图像是否为乳腺切面所对应的乳腺图像；若是乳腺切面所对应的乳腺图像则识别病灶区域；将病灶区域分割为n

【技术实现步骤摘要】
超声乳腺病灶的分类方法、装置及存储介质
本申请涉及一种超声乳腺病灶的分类方法、装置及存储介质，属于深度学习

技术介绍
乳腺癌是女性疾病的致死率因素之一，早期筛查是防止乳腺疾病的延长生存期的重要因素之一。现有的筛查方式包括：在采集到人体的超声乳腺图像后，医疗人员对该超声乳腺图像进行分析，从而得到乳腺疾病类型。但是，人工对超声乳腺图像进行分析的速度较慢，且效率较低。
技术实现思路
本申请提供了一种超声乳腺病灶的分类方法、装置及存储介质，可以解决人工对超声乳腺图像进行分析的效率较低的问题。本申请提供如下技术方案：第一方面，提供一种超声乳腺病灶的分类方法，所述方法包括：获取待分类的目标超声乳腺信息，所述目标超声乳腺信息为目标超声乳腺图像或者目标超声乳腺视频，所述目标超声乳腺视频中包括至少两帧目标超声乳腺图像；对于每一帧目标超声乳腺图像，通过乳腺组织评估网络确定所述目标超声乳腺图像是否为乳腺切面所对应的乳腺图像；若所述目标超声乳腺图像是所述乳腺切面所对应的乳腺图像，则识别所述目标超声乳腺图像中的病灶区域；将识别到的乳腺病灶区域图像分割为n1*n2个数据块；其中，n1为图像高度方向分割的数据块数目，n2为图像宽度方向分割的数据块数目，所述n1，n2为正整数；将每个数据块转换为p1*p2*c维的向量数据；其中n1＝H/p1，n2＝W/p2；H为输入图像的高度，W为输入图像的宽度，p1为分割后数据块的高度，p2为分割后数据块的宽度；将n1*n2个数据块对应的向量数据合并，得到n1n2×p1p2c的二维数据矩阵；根据每个数据块在所述目标超声乳腺图像中的位置，生成所述位置对应的位置编码向量，并将所述位置编码向量添加至所述二维数据矩阵中，得到的待处理的数据矩阵；将所述待处理的数据矩阵输入预先训练的图像分类网络中，得到所述目标超声乳腺图像所对应的病灶性质分类。可选的，所述图像分类网络包括多头注意力模块、前馈神经模块和多层全连接分类模块；所述多头注意力模块包括三个全连接网络、激活函数层和多维逻辑回归层，每个全连接网络的输入为所述待处理的数据矩阵，输出为预设维度的特征数据；其中，预设两个全连接网络输出的特征数据相乘并除以预设比例因子后，经过多维逻辑回归层计算得到逻辑回归结果；所述逻辑回归结果与另一个全连接网络的特征数据相乘后，得到所述多头注意力模块的输出结果；所述另一个全连接网络是所述三个网络分中与所述预设两个全连接网络不同的全连接网络；所述前馈神经模块包括全连接网络、与所述全连接网络相连的线性整流激活函数和层归一化；所述多头注意力模块的输出结果经过全连接网络、与所述全连接网络相连的线性整流激活函数和层归一化后，得到所述前馈神经模块的输出结果；所述多层全连接分类模块接收到所述前馈神经模块的输出结果后，经过全连接层处理；将处理后的数据进行层归一化处理，得到所述病灶性质分类。可选的，若所述目标超声乳腺图像为所述目标超声乳腺视频中的图像，则所述方法还包括：在根据每帧目标超声乳腺图像得到病灶性质分类之后，根据所述目标超声乳腺视频中的各帧目标超声乳腺图像得到的病灶性质分类确定得到所述目标超声乳腺视频所对应的病灶性质分类。可选的，所述根据所述目标超声乳腺视频中的各帧目标超声乳腺图像得到的病灶性质分类确定得到所述目标超声乳腺视频所对应的病灶性质分类，包括：若所述目标超声乳腺视频的各帧目标超声乳腺图像中不存在病灶性质分类为恶性的图像，则统计各帧目标超声乳腺图像所对应的病灶性质分类中数量最多的病灶性质分类，并将统计得到的病灶性质分类确定为所述目标超声乳腺视频所对应的病灶性质分类；若所述目标超声乳腺视频的各帧目标超声乳腺图像中存在病灶性质分类为恶性的图像，则将所述目标超声乳腺视频所对应的病灶性质分类确定为恶性。可选地，所述病灶性质分类包括：良性类型和恶性类型；或者，包括良性类型、恶性类型、炎症类型、腺病类型、增生类型、导管扩张类型、早期浸润癌、浸润癌、非浸润性癌、小叶腺癌、导管腺癌、髓样癌、硬癌、单纯癌、原位癌、早期癌、浸润癌、未分化癌、低分化癌、中分化癌、高分化癌中的至少一种。可选地，所述多头注意力模块和所述前馈神经模块的数量为多个。可选地，所述目标超声乳腺图像为整张超声乳腺图像或乳腺病灶区域图像。可选地，所述图像分类网络是基于权重随机激活训练得到的。可选地，所述图像分类模型是通过多个乳腺分类模型融合而得，所述分类模型包括以上提到的由多头注意力模块、前馈神经模块和多层全连接分类模块组成的图像分类网络和基于临床经验的临床规则。所述临床规则包括区域纵横比、区域组织位置关系、区域组织声影关系等临床规则。第二方面，提供一种超声乳腺病灶的分类装置，所述装置包括：信息获取单元，用于获取待分类的目标超声乳腺信息，所述目标超声乳腺信息为目标超声乳腺图像或者目标超声乳腺视频，所述目标超声乳腺视频中包括至少两帧目标超声乳腺图像；图像判断单元，用于通过乳腺组织评估网络确定所述目标超声乳腺图像是否为乳腺切面所对应的乳腺图像；病灶识别单元，用于在所述图像判断单元的判断结果为所述目标超声乳腺图像是所述乳腺切面所对应的乳腺图像时，识别所述目标超声乳腺图像中的病灶区域；图像分割单元，用于将识别得到的病灶区域分割为n1*n2个数据块；其中，n1为图像高度方向分割的数据块数目，n2为图像宽度方向分割的数据块数目，所述n1，n2为正整数；数据转换单元，用于将每个数据块转换为p1*p2*c维的向量数据；其中n1＝H/p1，n2＝W/p2；H为输入图像的高度，W为输入图像的宽度，p1为分割后数据块的高度，p2为分割后数据块的宽度；向量合并单元，用于将n1*n2个数据块对应的向量数据合并，得到n1n2×p1p2c的二维数据矩阵；矩阵生成单元，用于根据每个数据块在所述目标超声乳腺图像中的位置，生成所述位置对应的位置编码向量，并将所述位置编码向量添加至所述二维数据矩阵中，得到的待处理的数据矩阵；病灶分类单元，用于将所述待处理的数据矩阵输入预先训练的图像分类网络中，得到所述目标超声乳腺图像所对应的病灶性质分类分割分割。可选的，所述图像分类网络包括多头注意力模块、前馈神经模块和多层全连接分类模块；所述多头注意力模块包括三个全连接网络、激活函数层和多维逻辑回归层，每个全连接网络的输入为所述待处理的数据矩阵，输出为预设维度的特征数据；其中，预设两个全连接网络输出的特征数据相乘并除以预设比例因子后，经过多层逻辑回归计算得到逻辑回归结果；所述逻辑回归结果与另一个全连接网络的特征数据相乘后，得到所述多头注意力模块的输出结果；所述另一个全连接网络是所述三个网络分中与所述预设两个全连接网络不同的全连接网络；所述多头注意力模块的输出如下：其中，Q，K,V分别为输入数据块过全连接后的结果，d为尺度因子。所述前馈神经模块本文档来自技高网...

【技术保护点】
1.一种超声乳腺病灶的分类方法，其特征在于，所述方法包括：/n获取待分类的目标超声乳腺信息，所述目标超声乳腺信息为目标超声乳腺图像或者目标超声乳腺视频，所述目标超声乳腺视频中包括至少两帧目标超声乳腺图像；/n通过乳腺组织评估网络确定所述目标超声乳腺图像是否为乳腺切面所对应的乳腺图像；/n若所述目标超声乳腺图像是所述乳腺切面所对应的乳腺图像，则识别所述目标超声乳腺图像中的病灶区域；/n将识别得到的所述病灶区域分割为n

【技术特征摘要】
1.一种超声乳腺病灶的分类方法，其特征在于，所述方法包括：
获取待分类的目标超声乳腺信息，所述目标超声乳腺信息为目标超声乳腺图像或者目标超声乳腺视频，所述目标超声乳腺视频中包括至少两帧目标超声乳腺图像；
通过乳腺组织评估网络确定所述目标超声乳腺图像是否为乳腺切面所对应的乳腺图像；
若所述目标超声乳腺图像是所述乳腺切面所对应的乳腺图像，则识别所述目标超声乳腺图像中的病灶区域；
将识别得到的所述病灶区域分割为n1*n2个数据块；其中，n1为图像高度方向分割的数据块数目，n2为图像宽度方向分割的数据块数目，所述n1，n2为正整数；
将每个数据块转换为p1*p2*c维的向量数据；其中n1＝H/p1，n2＝W/p2；H为输入图像的高度，W为输入图像的宽度，p1为分割后数据块的高度，p2为分割后数据块的宽度；
将n1*n2个数据块对应的向量数据合并，得到n1n2×p1p2c的二维数据矩阵；
根据每个数据块在所述目标超声乳腺图像中的位置，生成所述位置对应的位置编码向量，并将所述位置编码向量添加至所述二维数据矩阵中，得到的待处理的数据矩阵；
将所述待处理的数据矩阵输入预先训练的图像分类网络中，得到所述目标超声乳腺图像所对应的病灶性质分类。


2.根据权利要求1所述的方法，其特征在于，所述通过乳腺组织评估网络确定所述目标超声乳腺图像是否为乳腺切面所对应的乳腺图像，包括：
通过乳腺组织评估网络确定所述目标超声乳腺图像中的浅层组织特征信息和背景填充区域特征信息；
根据所述浅层组织特征信息和所述背景填充区域特征信息生成组织分类评分；
根据所述组织分类评分确定所述目标超声乳腺图像是否为乳腺切面所对应的乳腺图像。


3.根据权利要求2所述的方法，其特征在于，所述通过乳腺组织评估网络确定所述目标超声乳腺信息中的浅层组织特征信息和背景填充区域特征信息，包括：
对所述目标超声乳腺图像下采样，得到3个数据流路；
对于每个数据流路，通过乳腺组织评估网络将所述目标超声乳腺图像缩小为所述目标超声乳腺图像分辨率的预设尺度，不同数据流路所对应的尺度不同；
对于所述3个数据流路的处理结果进行合并，得到所述浅层组织特征信息和所述背景填充区域特征信息。


4.根据权利要求2所述的方法，其特征在于，所述根据所述组织分类评分确定所述目标超声乳腺图像是否为乳腺切面所对应的乳腺图像，包括：
根据所述组织分类评分获取判断参数，所述判断参数包括：各类组织区域所占比例、所有组织区域所占比例、各类组织区域的评分以及所有组织区域的评分中的至少一种；
若所述判断参数满足预设条件，则确定所述目标超声乳腺图像是乳腺切面所对应的乳腺图像。


5.根据权利要求1至4任一所述的方法，其特征在于，所述乳腺组织评估网络包括卷积层、池化层、线性整流层，所述卷积...

【专利技术属性】
技术研发人员：甘从贵，过易，赵明昌，
申请(专利权)人：无锡祥生医疗科技股份有限公司，
类型：发明
国别省市：江苏;32