使用超声图像利用计算机视觉进行病灶检测的方法与装置制造方法及图纸

本申请涉及一种使用超声图像利用计算机视觉技术进行病灶检测的方法与装置，包括从医用超声设备上直接采集视频信号获得超声图像；实时对每一帧超声图像进行的病灶检测，对超声图像做前景和背景的分离处理，将检测到的病灶区域进行标记；利用病灶检测获得的标记从原始超声图像上获取当前扫描产生的所有疑似病灶的截图，按扫描生成时间有序排列；判断疑似病灶的截图中的病灶是否为真实病灶，并对确认后的病灶进行分类；读取超声设备的扫描信息和患者的背景信息，并结合该次扫描获取的所有确认为病灶的图像进行综合判断处理。本发明专利技术能够适配当前超声诊断的场景，有效的辅助医生识别出视频帧图像中的病灶，提高诊断效率和准确性。

The method and device of detecting focus with ultrasonic image and computer vision

【技术实现步骤摘要】
使用超声图像利用计算机视觉进行病灶检测的方法与装置
本申请涉及超声图像分析
，特别是涉及一种使用超声图像利用计算机视觉技术进行病灶检测的方法与装置。
技术介绍
超声波检查(US检查)是利用人体对超声波的反射进行观察。一般称为US的超声波检查，是用弱超声波照射到身体上，将组织的反射波进行图像化处理。相关技术中，超声检查已成为一种重要且无创性显示人体脏器结构和运动功能的检测方法。医用超声设备造价低廉，在各级医院和体检中心均有使用。超声检查费用低廉，已成为多种疾病早期筛查诊断的重要手段。在整个医学图像领域，利用计算机进行辅助诊断的技术较多，例如：CN109222859A一种带有ai辅助诊断功能的智能内窥镜影像系统，其构建了一套内窥镜系统，能够将图像传递给计算机进行智能分析，并将分析返回给内窥镜系统供医生参考。目前，专门应用于超声检查场景的辅助诊断技术较少。例如：专利CN206365899U一种超声辅助诊断系统，其并不是采用计算机技术进行辅助诊断，而是描述了一套装置用于减轻医生的劳动强度，辅助医生进行诊断。在临床实践中，超声科医生误诊漏诊的一个因素为未注意到一闪而过的病灶图像。当扫描获得的视频仅有几帧图像包含病灶时，医生难以察觉。然而，受限于成像原理，超声图像本身对组织的成像做不到特别清晰，而且超声检查时，探头是否能够扫描到病灶完全依赖医生的手法。医生需要不断调整扫描角度，同时密切注视扫描屏幕，劳动强度较大，检查结果非常依赖于医生的经验。现有的方法与设备并没有适配超声诊断的场景，没有对现有的计算机技术进行充分利用，在临床实践中，超声科医生误诊漏诊的一个因素为未注意到一闪而过的病灶图像。当扫描获得的视频仅有几帧图像包含病灶时，医生难以察觉。现有的方式难以从根本上减轻医生的工作量，提高诊断效率和准确性。
技术实现思路
为至少在一定程度上克服相关技术中存在的问题，本申请提供一种使用超声图像利用计算机视觉进行病灶检测的方法与装置，本专利技术提供的方法和装置能够适配当前超声诊断的场景，有效的辅助医生识别出视频帧图像中的病灶，提高诊断效率和准确性。根据本申请实施例的第一方面，提供一种使用超声图像利用计算机视觉进行病灶检测的方法，包括如下步骤：从医用超声设备上直接采集视频信号获得超声图像；实时对每一帧超声图像进行的病灶检测，对超声图像做前景和背景的分离处理，将超声图像中的各类病灶视为前景，将正常组织视为背景；将检测到的病灶区域进行标记，标记的区域为疑似病灶区域；在进行实时视频信号处理的同时将处理后的含有标记的视频帧进行实时返回显示；利用病灶检测获得的标记从原始超声图像上获取当前扫描产生的所有疑似病灶的截图，按扫描生成时间有序排列；判断疑似病灶的截图中的病灶是否为真实病灶，并对确认后的病灶进行分类；读取超声设备的扫描信息和患者的背景信息，并结合该次扫描获取的所有确认为病灶的图像进行综合判断处理。进一步的，实时对每一帧超声图像进行的病灶检测的处理图像的速度快于实时视频数据的刷新速度；实时对每一帧超声图像进行的病灶检测的过程中，在同一张超声图像上，将检测到的最大前景数量设置为少于等于5。进一步的，在综合判断处理步骤中包括结节关键帧提取，其步骤如下：1)、将超声视频信号以连续帧的形式输入结节检测模块；2)、结节检测模块实时处理每一帧图像，检测该帧图像中是否含有结节，如果含有结节则记录结节的外接矩形的坐标；在这一过程中，记录对全部视频帧的处理结果；3)、根据处理结果，提取关键帧：首先根据连续外接矩形的坐标换算出的结节中心点坐标距离，得出视频中共检测到了几个结节；针对每一个结节的所有检测出的外接矩形，选择外接矩形对角线距离最大的帧作为关键帧。进一步的，在综合判断步骤中，需要对提取的关键帧进行结节性质判断，关键帧结节性质判断步骤如下：将关键帧中结节外接矩形之外的部分重置为黑色；将处理后的关键帧图像，对结节的性质进行判别；在关键帧图像中取得针对病灶的图像特征向量，其中，单个病灶能够提取出多个关键帧图像，通过单个图像能够提取出其图像特征向量；对于多个关键帧图像的特征向量取均值和标准差，并将其并联得到针对病灶的特征向量，进的得出针对该病灶的最终的图像特征向量。进一步的，对于单个病灶的情况，利用患者的结构化数据得到结构化数据的特征向量后，与单个图像提取的图像特征向量串联，进而得出针该患者的综合数据分析结论；对于多个病灶的情况，利用患者的结构化数据得到结构化数据的特征向量，将所有病灶的特征向量和标准差向量与结构化特征向量串联，得到针对患者的综合数据分析结论。进一步的，在关键帧图像中取得针对病灶的图像特征向量的步骤中，还包括：对输入的超声图像进行预处理，输入的超声图像是二维或者三维矩阵；关键帧结节性质判断步骤设置有特征提取与变换部分、图像特征向量部分和求解器部分；所述特征提取与变换部分为一个卷积神经网络模型，变化后，所述图像特征向量部分将超声图像矩阵数据生成一维向量，该向量为原始图像的特征向量；利用求解器部分以图像特征向量为输入，并结合患者的结构化数据的特征向量，得到最后的输出结果。根据本申请实施例的第二方面，提供一种使用超声图像利用计算机视觉技术进行病灶检测的装置，该装置用于实现上述的病灶检测的方法，该装置包括：超声视频信号获取模块，用于从医用超声设备上直接采集视频信号获得超声图像；病灶检测设备，用于实时对每一帧超声图像进行的病灶检测，将超声图像中的各类病灶视为前景，将正常组织视为背景；将检测到的病灶区域进行标记，标记的区域为疑似病灶区域，同时将处理后的含有标记的视频帧进行实时返回显示；综合诊断设备，该综合诊断设备利用病灶检测设备获得的标记，自动从病灶检测设备中的原始超声图像上获取当前扫描产生的所有疑似病灶的截图，按扫描生成时间有序排列；其中，所述综合诊断设备中运行有图像筛选分类模块，所述图像筛选分类模块，用于将病灶检测模块中检测出的疑似病灶进行二次确认，区分病灶是否为真实病灶，并对确认后的病灶进行分类；综合判断模块，用于读取超声设备的扫描信息和患者的背景信息，并结合该次扫描获取的所有确认为病灶的图像进行综合判断处理。进一步的，在所述综合判断模块中设置有结节关键帧提取模块和关键帧结节性质判断模块；其中结节检测模块实时处理每一帧图像，检测该帧图像中是否含有结节，如果含有结节则记录结节的外接矩形的坐标；在这一过程中，记录对全部视频帧的处理结果；根据处理结果，提取关键帧：首先根据连续外接矩形的坐标换算出的结节中心点坐标距离，得出视频中共检测到了几个结节；针对每一个结节的所有检测出的外接矩形，选择外接矩形对角线距离最大的帧作为关键帧；所述关键帧结节性质判断模块用于对提取的关键帧图像进行结节的性质进行判别，并提取出其图像特征向量；所述关键帧结节性质判断模块被配置为具有如下功能：将处理本文档来自技高网...

【技术保护点】
1.一种使用超声图像利用计算机视觉技术进行病灶检测的方法，其特征在于，包括如下步骤：/n从医用超声设备上直接采集视频信号获得超声图像；/n实时对每一帧超声图像进行的病灶检测，对超声图像做前景和背景的分离处理，将超声图像中的各类病灶视为前景，将正常组织视为背景；将检测到的病灶区域进行标记，标记的区域为疑似病灶区域；/n在进行实时视频信号处理的同时将处理后的含有标记的视频帧进行实时返回显示；/n利用病灶检测获得的标记从原始超声图像上获取当前扫描产生的所有疑似病灶的截图，按扫描生成时间有序排列；/n判断疑似病灶的截图中的病灶是否为真实病灶，并对确认后的病灶进行分类；/n读取超声设备的扫描信息和患者的背景信息，并结合该次扫描获取的所有确认为病灶的图像进行综合判断处理。/n

【技术特征摘要】
1.一种使用超声图像利用计算机视觉技术进行病灶检测的方法，其特征在于，包括如下步骤：
从医用超声设备上直接采集视频信号获得超声图像；
实时对每一帧超声图像进行的病灶检测，对超声图像做前景和背景的分离处理，将超声图像中的各类病灶视为前景，将正常组织视为背景；将检测到的病灶区域进行标记，标记的区域为疑似病灶区域；
在进行实时视频信号处理的同时将处理后的含有标记的视频帧进行实时返回显示；
利用病灶检测获得的标记从原始超声图像上获取当前扫描产生的所有疑似病灶的截图，按扫描生成时间有序排列；
判断疑似病灶的截图中的病灶是否为真实病灶，并对确认后的病灶进行分类；
读取超声设备的扫描信息和患者的背景信息，并结合该次扫描获取的所有确认为病灶的图像进行综合判断处理。


2.根据权利要求1所述的使用超声图像利用计算机视觉技术进行病灶检测的方法，其特征在于，还包括：
实时对每一帧超声图像进行的病灶检测的处理图像的速度快于实时视频数据的刷新速度；实时对每一帧超声图像进行的病灶检测的过程中，在同一张超声图像上，将检测到的最大前景数量设置为少于等于5。


3.根据权利要求1所述的使用超声图像利用计算机视觉技术进行病灶检测的方法，其特征在于，在综合判断处理步骤中包括结节关键帧提取，其步骤如下：
1)、将超声视频信号以连续帧的形式输入结节检测模块；
2)、结节检测模块实时处理每一帧图像，检测该帧图像中是否含有结节，如果含有结节则记录结节的外接矩形的坐标；在这一过程中，记录对全部视频帧的处理结果；
3)、根据处理结果，提取关键帧：
首先根据连续外接矩形的坐标换算出的结节中心点坐标距离，得出视频中共检测到了几个结节；针对每一个结节的所有检测出的外接矩形，选择外接矩形对角线距离最大的帧作为关键帧。


4.根据权利要求3所述的使用超声图像利用计算机视觉技术进行病灶检测的方法，其特征在于：在综合判断步骤中，需要对提取的关键帧进行结节性质判断，关键帧结节性质判断步骤如下：
将关键帧中结节外接矩形之外的部分重置为黑色；
将处理后的关键帧图像，对结节的性质进行判别；
在关键帧图像中取得针对病灶的图像特征向量，其中，
单个病灶能够提取出多个关键帧图像，通过单个图像能够提取出其图像特征向量；对于多个关键帧图像的特征向量取均值和标准差，并将其并联得到针对病灶的特征向量，进的得出针对该病灶的最终的图像特征向量。


5.根据权利要求4所述的使用超声图像利用计算机视觉技术进行病灶检测的方法，其特征在于：对于单个病灶的情况，利用患者的结构化数据得到结构化数据的特征向量后，与单个图像提取的图像特征向量串联，进而得出针该患者的综合数据分析结论；
对于多个病灶的情况，利用患者的结构化数据得到结构化数据的特征向量，将所有病灶的特征向量和标准差向量与结构化特征向量串联，得到针对患者的综合数据分析结论。


6.根据权利要求5所述的使用超声图像利用计算机视觉技术进行病灶检测的方法，其特征在于：在关键帧图像中取得针对病灶的图像特征向量的步骤中，还包括：
对输入的超声图像进行预处理，输入的超声图像是二维或者三维矩阵；
关键帧结节性质判断步骤设置有特征提取与变换部分、图像特征向量部分和求解器部分；
所述特征提取与变换部分为一个卷积神经网络模型，变化后，所述图像特征向量部分将超声图像矩阵数据生成一维向量，该向量为原始图像...

【专利技术属性】
技术研发人员：钱林学，卜云芸，庞浩，刘涛，
申请(专利权)人：刘涛，
类型：发明
国别省市：河北;13