乳房影像对位方法与影像处理装置制造方法及图纸

本发明专利技术提供一种乳房影像对位方法以及其影像处理装置。乳房影像对位方法包括下列步骤。取得以X光由不同的拍摄方向所拍摄的一组第一乳房影像。取得以超音波所扫描的第二乳房影像。在该组的第一乳房影像上，选取共同的第一关注区域。计算第一关注区域在每一第一乳房影像的距离参数与方位参数。通过跨模态对位模型，基于距离参数与方位参数，判断第一关注区域在第二乳房影像中的位置。

【技术实现步骤摘要】
乳房影像对位方法与影像处理装置
本专利技术涉及一种影像对位技术以及相关的装置，且特别是涉及一种乳房影像的对位方法以及相关的影像处理装置。
技术介绍
乳腺癌(mammarycarcinoma)是女性常见的恶性肿瘤之一，其主要症状包括乳房肿瘤(tumor)、异常分泌物或形状变异等。提早筛检出乳房的异常症状，将有助于尽早针对肿瘤进行治疗，以降低癌细胞恶化或扩散等问题。诸如临床或自我乳房检测、活体组织检查、乳房摄影术(mammography)、超音波(ultrasound)显像或磁共振(magneticresonance)显像等筛检方式已广泛在临床上使用或成为学术研究的重要议题。一般而言，不论是乳房摄影术(mammography)、超音波(ultrasound)显像或磁共振(magneticresonance)显像等显像技术，为了确保后续的乳房检查范围可以囊括整个乳房，每个乳房都需要由多个方向进行拍摄或扫描以取得多张乳房影像，而组成相对的三维立体影像更需要数百张的切片。当存在大量的乳房影像，特别是前述乳房影像分别由多种显像技术来取得时，不管是通过人眼或者是使用电脑辅助检测(ComputerAidedDetection；CADe)系统来逐一地对每张影像上是否存在肿瘤、肿块或钙化点进行检查，都是相当耗时且浪费人力资源或硬件资源。
技术实现思路
本专利技术实施例提供乳房影像对位方法以及其影像处理装置，可以有效地降低对一系列乳房影像进行查验的时间并提升查验的效能。本专利技术实施例提供一种乳房影像对位方法，包括下列步骤。取得以X光(X-ray)由不同的拍摄方向所拍摄的一组第一乳房影像，并且取得以超音波所扫描的第二乳房影像。在该组的第一乳房影像上，选取共同的第一关注区域(Regionofinterest,ROI)。计算第一关注区域在每一第一乳房影像的距离参数与方位参数。通过跨模态对位模型，基于前述距离参数与前述方位参数，判断第一关注区域在第二乳房影像中的位置。本专利技术实施例另提供一种影像处理装置。影像处理装置包括存储单元与处理单元。存储单元储存以X光由不同的拍摄方向所拍摄的一组第一乳房影像、以超音波所扫描的第二乳房影像以及记录多个模块。处理单元耦接存储单元，且存取并执行存储单元所记录的模块。前述模块包括影像输入模块、第一选取模块、第一计算模块与第一判断模块。影像输入模块取得该组的第一乳房影像与第二乳房影像。第一选取模块在该组的第一乳房影像上，选取共同的第一关注区域。第一计算模块计算第一关注区域在每一第一乳房影像的距离参数与方位参数。第一判断模块通过跨模态对位模型，基于前述距离参数与前述方位参数，判断第一关注区域在第二乳房影像中的位置。基于上述，本专利技术实施例所提供的乳房影像对位方法以及其影像处理装置，基于第一关注区域在第一乳房影像上的各项距离参数与方位参数，通过跨模态对位模型来判断第一关注区域在第二乳房影像中的位置。第一乳房影像与第二乳房影像例如是经由不同摄像技术所取得的乳房影像。换言之，前述乳房影像对位方法以及其影像处理装置，针对选定的关注区域，能自动地在其他相关的乳房影像上进行自动对位，藉以大幅度地降低对每张乳房影像进行查验所需花费的时间并提升查验效能。为让本专利技术的上述特征和优点能更明显易懂，下文特举实施例，并配合所附附图作详细说明如下。附图说明图1A为依据本专利技术一实施例所示出的影像处理装置的方块示意图。图1B为依据本专利技术另一实施例所示出的影像处理装置的方块示意图。图2为依据本专利技术一实施例所示出的乳房影像对位方法的流程图。图3为依据本专利技术一实施例所示出的第一乳房影像的拍摄示意图。图4为依据本专利技术一实施例所示出的距离参数与方位参数的拍摄示意图。图5为依据本专利技术一实施例所示出的第一关注区域在第二乳房影像上的示意图。图6为依据本专利技术另一实施例所示出的乳房影像对位方法的流程图。图7为依据本专利技术一实施例所示出的第二关注区域在目标乳房影像上的对应位置的示意图。附图标记说明100：影像处理装置120：处理单元140：存储单元142：影像输入模块144：第一选取模块146：第一计算模块148：第一判断模块150：第一训练模块152：第二选取模块154：第二计算模块156：目标选取模块158：目标计算模块160：差异计算模块162：第二判断模块164：第二训练模块R：第一关注区域H：水平延伸线r：中心点S：邻近点N：乳头特征I：水平点Mdist：距离Mori：方位角度PR：关注区域的对应位置S110、S115、S120、S125、S130：乳房影像对位方法的步骤S115、S135、S140、S145、S150、S155、S160、S165：乳房影像对位方法的步骤具体实施方式本专利技术的部分实施例接下来将会配合附图来详细描述，以下的描述所引用的元件符号，当不同附图出现相同的元件符号将视为相同或相似的元件。这些实施例只是本专利技术的一部份，并未揭示所有本专利技术的可实施方式。更确切的说，这些实施例只是本专利技术的专利申请范围中的装置与方法的范例。在本专利技术的实施例中所提出的乳房影像对位方法与其影像处理装置，可以针对不同摄像技术所取得的乳房影像进行影像对位。具体而言，针对一组第一乳房影像上的第一关注区域，通过前述乳房影像对位方法与其影像处理装置，能对应地取得第一关注区域在第二乳房影像上的位置。在本专利技术的一实施例中，该组的第一乳房影像例如是以X光由不同的拍摄方向所拍摄的乳房影像，而第二乳房影像例如是以超音波所扫描的乳房影像。更有甚者，在本专利技术的实施例中所提出的乳房影像对位方法与其影像处理装置，还可以针对同一摄像技术所取得的乳房影像进行影像对位。具体而言，针对第二乳房影像上的第二关注区域，通过前述乳房影像对位方法与其影像处理装置，能对应地取得第二关注区域在目标乳房影像上的对应位置。在本专利技术的一实施例中，第二乳房影像与目标乳房影像例如为超音波在相同的扫描时间但不同的扫描方向进行扫描而取得，或者是例如为超音波在不同的扫描时间但相同的扫描方向进行扫描而取得。图1A为依据本专利技术一实施例所示出的影像处理装置的方块示意图。参照图1A，影像处理装置100至少包括处理单元120以及存储单元140，并且处理单元120耦接至存储单元140，但本专利技术不限于此。影像处理装置100可以是服务器、台式电脑、笔记本电脑、工作站、个人数字助理(Personaldigitalassistant,PDA)、平板个人电脑(Personalcomputer,PC)、电脑辅助检测(CADe)系统等电子装置，但不以此为限。影像处理装置100例如是连接乳房X光摄影机与自动乳房超声波系统(Automatedbreastultrasoundsystem,ABUS)。在本专利技术的一实施例中，处理单元120例如是以中央处理单元(Centralprocessingunit,CPU)、数字信号处理(Digitalsignalprocessing,DSP)芯片、场可程序化逻辑门阵列(Fieldprogrammablegatearray,FPGA)、微处理器、微控制器等可程序化单元来实施，但本专利技术不限于此。处理单元120也可以独立电子装置或集成电路(Integratedcircuit,IC)来实施。在本专利技术的一实施例中，存储单元1本文档来自技高网...

【技术保护点】
一种乳房影像对位方法，包括：取得以X光由不同的拍摄方向所拍摄的一组第一乳房影像；取得以超音波所扫描的第二乳房影像；在该组的多个所述第一乳房影像上，选取共同的第一关注区域；计算所述第一关注区域在每一所述第一乳房影像的距离参数与方位参数；以及通过跨模态对位模型，基于多个所述距离参数与多个所述方位参数，判断所述第一关注区域在所述第二乳房影像中的位置；其中透过所述跨模态对位模型判断所述第一关注区域在所述第二乳房影像的所述位置的步骤，包括：依据该组的多个所述第一乳房影像的多个所述距离参数，利用所述跨模态对位模型的距离预测模型，计算所述第一关注区域在所述第二乳房影像上相对于乳头特征的距离；以及依据该组的多个所述第一乳房影像的多个所述方位参数，利用所述跨模态对位模型的方位预测模型，计算所述第一关注区域在所述第二乳房影像上相对于所述乳头特征的方位角度，其中所述第一关注区域与乳房皮肤在每一多个所述第一乳房影像上具有相距最近的一个邻近点，所述第一关注区域的水平延伸线与所述乳房皮肤在每一多个所述第一乳房影像上相交于一个水平点，每一多个所述第一乳房影像的多个所述距离参数包括所述第一关注区域与所述邻近点的距离、所述邻近点与乳头特征的距离以及所述水平点与所述乳头特征的距离，而每一多个所述第一乳房影像的所述方位参数为所述第一关注区域在所述第一乳房影像相对于所述乳头特征的方位角度。...

【技术特征摘要】
2016.05.12 TW 1051146791.一种乳房影像对位方法，包括：取得以X光由不同的拍摄方向所拍摄的一组第一乳房影像；取得以超音波所扫描的第二乳房影像；在该组的多个所述第一乳房影像上，选取共同的第一关注区域；计算所述第一关注区域在每一所述第一乳房影像的距离参数与方位参数；以及通过跨模态对位模型，基于多个所述距离参数与多个所述方位参数，判断所述第一关注区域在所述第二乳房影像中的位置；其中透过所述跨模态对位模型判断所述第一关注区域在所述第二乳房影像的所述位置的步骤，包括：依据该组的多个所述第一乳房影像的多个所述距离参数，利用所述跨模态对位模型的距离预测模型，计算所述第一关注区域在所述第二乳房影像上相对于乳头特征的距离；以及依据该组的多个所述第一乳房影像的多个所述方位参数，利用所述跨模态对位模型的方位预测模型，计算所述第一关注区域在所述第二乳房影像上相对于所述乳头特征的方位角度，其中所述第一关注区域与乳房皮肤在每一多个所述第一乳房影像上具有相距最近的一个邻近点，所述第一关注区域的水平延伸线与所述乳房皮肤在每一多个所述第一乳房影像上相交于一个水平点，每一多个所述第一乳房影像的多个所述距离参数包括所述第一关注区域与所述邻近点的距离、所述邻近点与乳头特征的距离以及所述水平点与所述乳头特征的距离，而每一多个所述第一乳房影像的所述方位参数为所述第一关注区域在所述第一乳房影像相对于所述乳头特征的方位角度。2.根据权利要求1所述的方法，其中通过所述跨模态对位模型判断所述第一关注区域在所述第二乳房影像的所述位置的步骤之前，还包括：取得以所述X光由不同的多个所述拍摄方向所拍摄的多组第一训练乳房影像，其中每一组的多个所述第一训练乳房影像分别包括斜位向训练乳房影像与头脚向训练乳房影像；以多个所述斜位向训练乳房影像，训练所述跨模态对位模型的距离预测模型的一组第一权重；以多个所述头脚向训练乳房影像，训练所述跨模态对位模型的所述距离预测模型的一组第二权重；以及以多个所述斜位向训练乳房影像与多个所述头脚向训练乳房影像，训练所述跨模态对位模型的方位预测模型的一组第三权重。3.根据权利要求1所述的方法，还包括：取得以所述超音波所扫描的目标乳房影像；在所述第二乳房影像上，选取第二关注区域；取得所述第二关注区域在所述第二乳房影像上的特征参数；基于所述第二关注区域在所述第二乳房影像上相对于乳头特征的位置信息，在所述目标乳房影像选定一目标范围；取得所述目标范围在所述目标乳房影像上的目标特征参数；计算多个所述特征参数与多个所述目标特征参数的特征差值；以及通过同模态对位模型，基于多个所述特征差值，判断所述目标范围是否为所述第二关注区域在所述目标乳房影像上的对应位置。4.根据权利要求3所述的方法，其中通过所述同模态对位模型判断所述目标范围是否为所述第二关注区域在所述目标乳房影像上的所述对应位置的步骤之前，包括：取得以所述超音波所扫描的多张第二训练乳房影像；由多张所述第二训练乳房影像中的多个匹配影像对，计算多组匹配特征差值；以及以多组所述匹配特征差值，训练所述同模态对位模型。5.根据权利要求3所述的方法，其中所述第二乳房影像与所述目标乳房影像为所述超音波在相同的扫描时间但不同的扫描方向进行扫描而取得，或者所述第二乳房影像与所述目标乳房影像为所述超音波在不同的多个所述扫描时间但相同的多个所述扫描方向进行扫描而取得。6.一种影像处理装置，包括：存储单元，储存以X光不同的拍摄方向所拍摄的一组第一乳房影像与以超音波所扫描的第二乳房影像，且记录多个模块；以及处理单元，耦接所述存储...

【专利技术属性】
技术研发人员：张瑞峰，陈荣泰，陈鸿豪，徐振峰，赖信宏，张元严，
申请(专利权)人：太豪生医股份有限公司，
类型：发明
国别省市：中国台湾,71