生成医学影像报告的方法和电子设备技术

本申请涉及基于机器学习生成医学影像报告的方法、电子设备、计算机可读存储介质以及计算机程序产品，所述方法包括：将医学影像输入医学影像报告生成卷积神经网络；利用所述医学影像报告生成卷积神经网络获得所述医学影像的特征图；以及基于所述特征图生成医学影像报告，所述医学影像报告中以不同的显示属性示出预测分类的位置分布，其中，所述医学影像报告生成卷积神经网络至少包括：输入层，所述输入层包括分别对应不同通道的多个卷积核；以及输出层，与所述输入层连接以融合对应不同通道的特征。的特征。的特征。

【技术实现步骤摘要】
生成医学影像报告的方法和电子设备


[0001]本申请涉及医学影像报告生成，更具体地，涉及生成医学影像报告的方法、电子设备、计算机可读存储介质及计算机程序产品。

技术介绍

[0002]全膝关节置换术(TKA)是骨科领域最大型的手术方式之一，并且逐渐成为最常见的外科手术。现在，仅在美国每年就会进行120万个这样的手术，并且数量还在增加。由于一些常见的并发症(例如，松动和磨损)在多年后才会出现，因此，需要对经历过TKA的患者进行不断的随访，而这通常伴随患者的终生。由此，TKA数量的不断增加将使得待随访的TKA患者的数量呈指数增长。
[0003]以作为最常见术后问题的松动为例，通常通过闪烁扫描术、关节造影、MRI、FDG
‑
PET扫描等成像方法来辅助诊断。然而，这些方法通常是昂贵的、不敏感的，甚至是侵入性的，而所带来的在有效性和准确性上的提升通常是有限的，因此可能还需要进一步进行血液测试、成像或甚至手术来确认诊断。早期检测到松动对于患者是有益的，其允许较早地进行修正，避免松动晚期发生的骨块丢失，也可避免患者长时间的痛苦。
[0004]在医学领域中，机器学习已经被越来越多地应用，例如，在对中风、视网膜疾病和癌性组织等自动检测方面都取得了成功，并且展现出与相关领域专家相等或甚至更高的准确度。借助于目前计算设备先进的计算能力，机器学习能够通过读取大量相关的标记图像和/或数据来自我学习或自我开发模式识别，并且这样的学习可不必遵循先前人类开发的临床标准。
[0005]基于以上问题和机器学习的发展，需求一种基于机器学习生成医学影像报告的技术方案。
[0006]应当理解，本
技术介绍
部分旨在部分地为理解本技术提供有用的背景，而并不意味着这些内容在本申请之前已经必然是本领域技术人员已知的现有技术。

技术实现思路

[0007]根据本申请的一个方面，公开了一种基于机器学习生成医学影像报告的方法，所述方法包括：将医学影像输入医学影像报告生成卷积神经网络；利用所述医学影像报告生成卷积神经网络获得所述医学影像的特征图；以及基于所述特征图生成医学影像报告，所述医学影像报告中以不同的显示属性示出预测分类的位置分布，其中，所述医学影像报告生成卷积神经网络至少包括：输入层，所述输入层包括分别对应不同通道的多个卷积核；以及输出层，与所述输入层连接以融合对应不同通道的特征。
[0008]根据本申请的另一个方面，公开了一种基于机器学习生成医学影像报告的电子设备，所述电子设备包括：至少一个处理器；以及存储器，其与所述至少一个处理器通信连接；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行以下操作：将医学影像输入医学影像报告
生成卷积神经网络；利用所述医学影像报告生成卷积神经网络获得所述医学影像的特征图；以及基于所述特征图生成医学影像报告，所述医学影像报告中以不同的显示属性示出预测分类的位置分布，其中，所述医学影像报告生成卷积神经网络至少包括：输入层，所述输入层包括分别对应不同通道的多个卷积核；以及输出层，与所述输入层连接以融合对应不同通道的特征。
[0009]根据本申请的另一个方面，公开了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行上述方法。
[0010]根据本申请的另一个方面，公开了一种计算机程序产品，其包括计算机程序，所述计算机程序在被处理器执行时实现上述方法。
附图说明
[0011]通过参考附图详细描述本公开的示例性实施方式，本公开的以上和其他优点和特征将变得更加明显。
[0012]图1是示出根据本申请实施方式的基于机器学习生成医学影像报告的方法的流程图。
[0013]图2是示出根据本申请实施方式的医学影像报告生成卷积神经网络的示意图。
[0014]图3是示出根据本申请实施方式的医学影像报告的示意图。
[0015]图4是示出根据本申请实施方式的用决策树的示意图。
[0016]图5示出了适于用来实现本申请的终端设备或服务器的计算机系统的结构示意图。
具体实施方式
[0017]现在将在下文中参考附图更全面地描述本专利技术的示例性实施方式，在附图中示出了本专利技术的优选实施方式。然而，本专利技术可以以不同的形式来实施，并且不应被解释为限于本文中阐述的示例性实施方式。相反，提供这些实施方式使得本专利技术将是透彻的和完整的，并将向本领域技术人员充分传达本专利技术的范围。
[0018]还应当理解，应该理解，当元件或层被称为“在”另一元件或层“上”、“连接到”或者“联接到”另一元件或层时，其可以直接在另一元件或上或者直接连接到另一元件或层，或者在它们之间可以存在元件或层。而当元件或层被称为“直接在”另一元件或层“上”、“直接连接到”或“直接联接到”另一元件或层时，不存在介于中间的元件或层。为此，术语“连接”可以指具有或不具有居间元件的物理连接、电连接和/或流体连接。
[0019]在整个说明书中，相同的附图标记表示相同的组件。在附图中，为了清楚起见，夸大了层和区域的厚度。
[0020]虽然术语“第一”、“第二”等可以在本文中用来描述各种元件，但是这些元件不应该被这些术语限制。这些术语可用于将一个元件与另一元件区分开。因此，在不脱离一个或多个实施方式的教导的情况下，下面讨论的第一元件可以被称为第二元件。将元件描述为“第一”元件可以不需要或暗示第二元件或其他元件的存在。术语“第一”、“第二”等也可在本文中用于区分不同类或组的元件。为了简明起见，术语“第一”、“第二”等可以分别表示“第一类(或第一组)”、“第二类(或第二组)”等。
[0021]本文中所使用的术语仅用于描述特定实施方式的目的，并且不旨在进行限制。如本文中所使用的，术语“和/或”包括相关列出项目中的一个或多个的任何和所有组合。还应理解的是，当在本说明书中使用时，术语“包括”指定所阐述的特征、区域、步骤、操作、元件和/或组件的存在，但不排除一个或多个其他特征、区域、步骤、操作、元件、组件和/或其群组的存在或添加。
[0022]此外，可在本文中使用相对术语，诸如“下”或“底”以及“上”或“顶”来描述如图中所示的一个元件与另一元件的关系。应当理解，除了图中描绘的定向之外，相对术语旨在包含设备的不同定向。在示例性实施方式中，当图之一中的设备被翻转时，被描述为在其他元件的“下”侧上的元件将随之被定向在其他元件的“上”侧上。因此，取决于图的特定定向，示例性术语“下”可以包含“下”和“上”两种定向。类似地，当图之一中的设备被翻转时，被描述为在其他元件“下方”或“下面”的元件将随之被定向在其他元件“上方”。因此，示例性术语“下方”或“下面”可以包含上方和下方两种定向。
[0023]如本文中所使用的，“约”或“近似”包括所述值以及如由本领域普通技术人员在考虑到所讨论的测量和与特定量的测量相关的误差(即，测量系统的限制)时所确定的特定值的可接受偏差范围内的平均值。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于机器学习生成医学影像报告的方法，所述方法包括：将医学影像输入医学影像报告生成卷积神经网络；利用所述医学影像报告生成卷积神经网络获得所述医学影像的特征图；以及基于所述特征图生成医学影像报告，所述医学影像报告中以不同的显示属性示出预测分类的位置分布，其中，所述医学影像报告生成卷积神经网络至少包括：输入层，所述输入层包括分别对应不同通道的多个卷积核；以及输出层，与所述输入层连接以融合对应不同通道的特征。2.如权利要求1所述的方法，其中，所述显示属性包括显示颜色，以及在所述医学影像报告中，对所述预测分类贡献越大的区域，其显示颜色越深或越接近预定颜色。3.如权利要求1所述的方法，还包括：利用通用图像集对所述医学影像报告生成卷积神经网络进行预训练；以及利用医学影像集对所述医学影像报告生成卷积神经网络进行训练。4.如权利要求3所述的方法，其中，所述通用图像集为ImageNet。5.如权利要求3所述的方法，其中，所述预测分类为假体松动，并且医学影像集包括全膝关节置换术患者的X光片，所述X光片包括股骨远端区域和胫骨近端区域。6.如权利要求5所述的方法，其中，所述医学影像集包括显示假体松动的X光片和显示假体未松动的X光片。7.如权利要求1所述的方法，其中，在所述医学影像报告生成卷积神经网络的所述预训练和所述训练中使用随机梯度下降方法对所述医学影像报告生成卷积神经网络进行优化。8.如权利要求1所述的方法，还包括：利用决策树基于患者信息生成补充预测结果，其中，所述决策树中的每个包括多层节点，前一层节点与至少两个位于后一层的节点连接，且后一层节点是否参与决策由与之相连的前一层节点处的判断结果确定，其中，最后一层中被确定的节点处的判断结果为对应决策树的决策结果，以及其中，每个节点表示所述患者信息中的一个。9.如权利要求8所述的方法，其中，所述决策树为多个，且被多个决策树中的多数决策树所确定的决策结果作为所述多个决策树的共同的决策结果。10.如权利要求9所述的方法，其中，所述医学影像报告还包括与预测分类对应的预测概率，以及所述方法还包括基于所述决策结果调整预测概率。11.一种基于机器学习生成医学影像报告的电子设备，所述电子设备包括：至少一个处理器；以及存储器，与所述至少一个处理器通信连接；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行以下操作：将医学影像输入医学影像报告生成卷积神...

【专利技术属性】
技术研发人员：容树恒，刘振民，徐振星，
申请(专利权)人：香港中文大学，
类型：发明
国别省市：