图像处理方法、装置、设备及存储介质制造方法及图纸

本公开提供了一种图像处理方法、装置、设备及存储介质，通过获取患者当次检查的第一影像以及数据库的第二影像；分别通过位移场模型和多模态特征提取网络，确定第一影像对应的第一组标准化坐标和所有异常组织对应的第一特征组，以及获取第二影像对应的第二组标准化坐标和所有异常组织对应的第二特征组；通过第一组标准化坐标、第二组标准化坐标以及第一特征组和第二特征组，将第一影像内的所有异常组织和第二影像内的所有异常组织进行两两组合计算配对关系，得到多组与第一影像内的各个异常组织相对应的潜在匹配关系；并通过二分图匹配法，确定第一影像的随访匹配图，实现了跨模态影像的病灶随访配准，且配准精准度高。且配准精准度高。且配准精准度高。

【技术实现步骤摘要】
图像处理方法、装置、设备及存储介质


[0001]本公开涉及医学图像
，尤其涉及一种图像处理方法、装置、设备及存储介质。

技术介绍

[0002]随访(Follow Up)是一种定期了解患者身体状态发展情况的方法。目前医院中对于患者历史状况的了解主要通过患者口述或以文字描述为主的病历本等随访系统实现。在没有影像辅助的情况下，文字描述的位置不够清晰，很容易出现错判等情况。因此，针对同一个身体组织的多模态、多时间点的随访影像的支持，对于医学领域具有很大价值。
[0003]现有技术常见的是同模态图像配准以及病灶随访技术的研究，无法解决跨模态病灶图像的随访问题。跨模态的医疗影像目前研究较多的是配准方案，即对整个医学影像进行坐标系的对齐。但是由于不同模态的医学影像成像维度不同，例如CT扫描是三维影像，而X光平片则是二维影像，仅依赖配准后的坐标无法准确实现病灶的随访，也即无法实现跨模态病灶的随访。同时现有的跨模态配准技术无法解决超声扫描影像和X光影像这样的二维影像的配准问题。

技术实现思路

[0004]本公开提供了一种图像处理方法、装置、设备及存储介质，以至少解决现有技术中存在的以上技术问题。
[0005]根据本公开的第一方面，提供了一种图像处理方法，其特征在于，所述方法包括：
[0006]获取患者当次检查的第一影像以及数据库的第二影像；
[0007]分别通过位移场模型和多模态特征提取网络，确定所述第一影像对应的第一组标准化坐标和所有异常组织对应的第一特征组，以及获取所述第二影像对应的第二组标准化坐标和所有异常组织对应的第二特征组；
[0008]通过所述第一组标准化坐标、第二组标准化坐标以及所述第一特征组和所述第二特征组，将所述第一影像内的所有异常组织和所述第二影像内的所有异常组织进行两两组合计算配对关系，得到多组与所述第一影像内的各个异常组织相对应的潜在匹配关系；
[0009]通过二分图匹配法，计算多组与所述第一影像内的各个异常组织相对应的潜在匹配关系，将满足匹配关系数量最多的第二影像内异常组织的组合，作为所述第一影像的随访匹配图。
[0010]在一可实施方式中，所述分别通过位移场模型和多模态特征提取网络，确定所述第一影像对应的第一组标准化坐标和所有异常组织对应的第一特征组，以及获取所述第二影像对应的第二组标准化坐标和所有异常组织对应的第二特征组，包括：
[0011]根据所述第一影像和所述第二影像所对应的模态，分别通过位移场模型确定所述第一影像内所有异常组织中心点和所述第二影像内所有异常组织中心点在标准模型中所对应的坐标，得到所述第一影像对应的第一组标准化坐标和所述第二影像对应的第二组标
准化坐标；其中，第一组标准化坐标包括至少一个第一标准化坐标，第二组标准化坐标包括至少一个第二标准化坐标；
[0012]分别将所述第一影像内所有异常组织区域图像与所述第二影像内所有异常组织区域图像输入多模态特征提取网络，获得与所述第一影像内所有异常组织对应的第一特征组以及与所述第二影像内所有异常组织对应的第二特征组；其中，所述第一特征组包括至少一个第一特征，所述第二特征组包括至少一个第二特征。
[0013]在一可实施方式中，所述根据所述第一影像和所述第二影像所对应的模态，分别通过位移场模型确定所述第一影像内所有异常组织中心点和所述第二影像内所有异常组织中心点在标准模型中所对应的坐标，得到所述第一影像对应的第一组标准化坐标和所述第二影像对应的第二组标准化坐标，包括：
[0014]根据所述第一影像和所述第二影像所对应的模态，分别通过位移场模型将所述第一影像与所述第二影像配准到标准模型上，得到第一坐标映射函数和第二坐标映射函数；
[0015]根据所述第一坐标映射函数，确定与所述第一影像内所有异常组织中心点所对应的坐标，作为第一组标准化坐标；以及根据所述第二坐标映射函数，确定与所述第二影像内所有异常织中心点所对应的坐标，作为第二组标准化坐标。
[0016]在一可实施方式中，所述根据所述第一影像和所述第二影像所对应的模态，分别通过位移场模型将所述第一影像与所述第二影像配准到标准模型上，得到第一坐标映射函数和第二坐标映射函数，包括：
[0017]分别将所述第一影像和所述第二影像作为待配准影像，根据所述待配准影像中所包含的器官种类，截取标准模型对应的器官区域作为初步配准区域；
[0018]将所述待配准影像和所述初步配准区域进行尺度统一，并分别转化为待配准掩码图和初步配准掩码图；
[0019]根据当前待配准掩码图的模态，采用相对应的位移场模型确定与所述初步配准掩码图相对应的坐标映射函数；
[0020]分别判断所述当前待配准掩码图属于第一影像还是第二影像，并根据判断结果分别将与所述初步配准掩码图相对应的坐标映射函数匹配为所述第一影像所对应的第一坐标映射函数以及第二影像所对应的第二坐标映射函数。
[0021]在一可实施方式中，所述根据当前待配准掩码图的模态，采用相对应的位移场模型确定与所述初步配准掩码图相对应的坐标映射函数，包括：
[0022]若判断所述当前待配准掩码图为三维影像，则采用三维位移场模型得到所述初步配准掩码图相对应的坐标映射函数；
[0023]若判断所述当前待配准掩码图为二维切片影像，则将所述初步配准掩码图按照所述当前待配准掩码图的扫描方位以预设层厚进行切片处理，并根据二维位移场模型确定所述初步配准掩码图相对应的坐标映射函数；
[0024]若判断所述当前待配准掩码图为二维投影影像，则将所述初步配准掩码图按照所述当前待配准掩码图的扫描方位以数字重建放射影像方式进行投影，并根据二维位移场模型确定所述初步配准掩码图相对应的坐标映射函数。
[0025]在一可实施方式中，所述将所述初步配准掩码图按照所述当前待配准掩码图的扫描方位以预设层厚进行切片处理，并根据二维位移场模型确定所述初步配准掩码图相对应
的坐标映射函数，包括：
[0026]将所述初步配准掩码图按照所述当前待配准掩码图的扫描方位以预设层厚进行切片处理，得到多个单层初步配准掩码图；
[0027]根据所述二维位移场模型，逐个确定每个单层初步配准掩码图对应的单层二维坐标映射函数，并通过所述当前待配准掩码图，确定误差最小的单层初步配准掩码图作为目标单层初步配准掩码图，将所述目标单层初步配准掩码图所对应的单层二维坐标映射函数以及第三维坐标，作为所述初步配准掩码图相对应的坐标映射函数。
[0028]在一可实施方式中，所述将所述初步配准掩码图按照所述当前待配准掩码图的扫描方位以数字重建放射影像方式进行投影，并根据二维位移场模型确定所述初步配准掩码图相对应的坐标映射函数，包括：
[0029]将所述初步配准掩码图按照所述当前待配准掩码图的扫描方位以数字重建放射影像方式进行投影，得到初步配准投影图；
[0030]根据所述二维位移场模型，确定与所述初步配准投影图所对应的二维坐标映射函数，并将第三维坐标设置为本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法包括：获取患者当次检查的第一影像以及数据库的第二影像；分别通过位移场模型和多模态特征提取网络，确定所述第一影像对应的第一组标准化坐标和所有异常组织对应的第一特征组，以及获取所述第二影像对应的第二组标准化坐标和所有异常组织对应的第二特征组；通过所述第一组标准化坐标、第二组标准化坐标以及所述第一特征组和所述第二特征组，将所述第一影像内的所有异常组织和所述第二影像内的所有异常组织进行两两组合计算配对关系，得到多组与所述第一影像内的各个异常组织相对应的潜在匹配关系；通过二分图匹配法，计算多组与所述第一影像内的各个异常组织相对应的潜在匹配关系，将满足匹配关系数量最多的第二影像内异常组织的组合，作为所述第一影像的随访匹配图。2.根据权利要求1所述的方法，其特征在于，所述分别通过位移场模型和多模态特征提取网络，确定所述第一影像对应的第一组标准化坐标和所有异常组织对应的第一特征组，以及获取所述第二影像对应的第二组标准化坐标和所有异常组织对应的第二特征组，包括：根据所述第一影像和所述第二影像所对应的模态，分别通过位移场模型确定所述第一影像内所有异常组织中心点和所述第二影像内所有异常组织中心点在标准模型中所对应的坐标，得到所述第一影像对应的第一组标准化坐标和所述第二影像对应的第二组标准化坐标；其中，第一组标准化坐标包括至少一个第一标准化坐标，第二组标准化坐标包括至少一个第二标准化坐标；分别将所述第一影像内所有异常组织区域图像与所述第二影像内所有异常组织区域图像输入多模态特征提取网络，获得与所述第一影像内所有异常组织对应的第一特征组以及与所述第二影像内所有异常组织对应的第二特征组；其中，所述第一特征组包括至少一个第一特征，所述第二特征组包括至少一个第二特征。3.根据权利要求2所述的方法，其特征在于，所述根据所述第一影像和所述第二影像所对应的模态，分别通过位移场模型确定所述第一影像内所有异常组织中心点和所述第二影像内所有异常组织中心点在标准模型中所对应的坐标，得到所述第一影像对应的第一组标准化坐标和所述第二影像对应的第二组标准化坐标，包括：根据所述第一影像和所述第二影像所对应的模态，分别通过位移场模型将所述第一影像与所述第二影像配准到标准模型上，得到第一坐标映射函数和第二坐标映射函数；根据所述第一坐标映射函数，确定与所述第一影像内所有异常组织中心点所对应的坐标，作为第一组标准化坐标；以及根据所述第二坐标映射函数，确定与所述第二影像内所有异常织中心点所对应的坐标，作为第二组标准化坐标。4.根据权利要求3所述的方法，其特征在于，所述根据所述第一影像和所述第二影像所对应的模态，分别通过位移场模型将所述第一影像与所述第二影像配准到标准模型上，得到第一坐标映射函数和第二坐标映射函数，包括：分别将所述第一影像和所述第二影像作为待配准影像，根据所述待配准影像中所包含的器官种类，截取标准模型对应的器官区域作为初步配准区域；将所述待配准影像和所述初步配准区域进行尺度统一，并分别转化为待配准掩码图和
初步配准掩码图；根据当前待配准掩码图的模态，采用相对应的位移场模型确定与所述初步配准掩码图相对应的坐标映射函数；分别判断所述当前待配准掩码图属于第一影像还是第二影像，并根据判断结果分别将与所述初步配准掩码图相对应的坐标映射函数匹配为所述第一影像所对应的第一坐标映射函数以及第二影像所对应的第二坐标映射函数。5.根据权利要求4所述的方法，其特征在于，所述根据当前待配准掩码图的模态，采用相对应的位移场模型确定与所述初步配准掩码图相对应的坐标映射函数，包括：若判断所述当前待配准掩码图为三维影像，则采用三维位移场模型得到所述初步配准掩码图相对应的坐标映射函数；若判断所述当前待配准掩码图为二维切片影像，则将所述初步配准掩码图按照所述当前待配准掩码图的扫描方位以预设层厚进行切片处理，并根据二维位移场模型确定所述初步配准掩码图相对应的坐标映射函数；若判断所述当前待配准掩码图为二维投影影像，则将所述初步配准掩码图按照所述当前待配准掩码图的扫描方位以数字重建放射影像方式进行投影，并根据二维位移场模型确定所述初步配准掩码图相对应的...

【专利技术属性】
技术研发人员：高飞，丁佳，
申请(专利权)人：北京医准智能科技有限公司，
类型：发明
国别省市：