图像处理制造技术

公开了成像方法、成像装置和计算机程序产品。一种成像方法，包括：接收三维对象的图像数据；并且使用机器学习算法将置信水平分配给图像数据的图像帧的至少一部分，该置信水平指示具有通过三维对象在指定平面上成像的指定元素的图像帧的可能性。以这种方式，可以从三维对象的图像数据识别以期望方式成像的特定元素。

【技术实现步骤摘要】
【国外来华专利技术】图像处理
本专利技术涉及成像方法、成像装置和计算机程序产品。
技术介绍
图像处理是已知的。通常，成像设备或传感器对对象成像并提供图像数据，该图像数据提供对象的表示。可以查看该图像数据以识别对象的元素。尽管存在图像处理技术以帮助识别对象的元素，但它们各自具有其自身的缺点。因此，期望提供改进的图像处理技术。
技术实现思路
根据第一方面，提供了一种成像方法，包括：接收三维对象的图像数据；并且使用机器学习算法将置信水平分配给图像数据的图像帧的至少一部分，该置信水平指示具有通过三维对象在指定平面上成像的指定元素的图像帧的可能性。第一方面认识到随着对象的复杂性增加，识别对象中的元素变得更加复杂。而且，已知提供三维对象的图像数据，这使得识别那些三维对象中的元素更加复杂。此外，找到三维对象的元素的特定视图增加了这种复杂性。因此，提供了一种图像处理方法。该方法可以包括接收图像数据的步骤。图像数据可以是或表示三维对象的图像。该方法可以包括分配或确定图像数据的图像帧的一部分(aportionorapart)的置信水平。可以使用机器学习算法确定置信水平。置信水平可以指示当通过三维对象在指定或特定平面上成像或观看时图像帧具有指定的、定义的或特定的元素或特征的可能性或概率。换句话说，机器学习算法可以在通过三维对象以特定方式成像或观看时识别三维对象的特定元素或特征的存在。以这种方式，可以从三维对象的图像数据识别以期望方式成像的特定元素。在一个实施例中，分配包括将多个置信水平分配给图像数据的图像帧，每个置信水平指示该图像帧具有通过三维对象在相应的指定平面上成像的相应指定元素的可能性。因此，可以分配或指定置信水平，其指示当通过三维对象在它们自己的相关平面上成像时，多个不同元素中的每一个是否存在于图像帧中。在一个实施例中，分配包括将置信水平分配给图像数据的多个图像帧中的每一个。因此，置信水平可以分配或指定给图像数据的一系列图像帧中的每一个，例如将由视频流或图像帧序列通过三维图像数据提供。在一个实施例中，图像数据由图像捕获装置的操作者捕获，并且该方法包括向操作者指示每个置信水平。因此，图像数据可以由图像捕获装置、传感器或设备的操作者获得。该方法可以向操作者指示每个置信水平以提供操作者反馈。在一个实施例中，该方法包括向操作者指示图像帧之间的每个置信水平的变化。因此，不仅可以向操作者指示绝对置信水平，而且还可以向操作者识别从图像帧到图像帧的置信水平的任何变化。在一个实施例中，该方法包括向操作者指示每个置信水平的增加和减少之一。因此，可以向操作者识别不同置信水平的增加和/或减少。在尝试获取特定元素时，这可能对操作者有帮助。在一个实施例中，该方法包括向操作者指示增加置信水平所需的图像捕获装置的移动。因此，可以向操作者提供如何移动图像捕获设备以便增加一个或多个置信水平的指示。在一个实施例中，该方法包括向操作者指示每个置信水平何时超过阈值量。可以设置阈值，使得当超过阈值时，可以假设已经获取了元素的合适图像，并且这可以识别给操作者。在一个实施例中，该方法包括当该图像帧的置信水平超过阈值量时，存储至少一个图像帧，和将该图像帧与其指定元素相关联。因此，可以存储置信水平超过阈值量的图像帧，并将其与在这些图像帧内成像的指定元素相关联，以供将来参考和/或选择。在一个实施例中，该方法包括当该图像帧的置信水平未能超过阈值量时，存储至少一个图像帧，和将该图像帧与其指定元素相关联。因此，还可以存储未达到阈值量的一个或多个图像帧以供将来参考和/或选择，因为这些在重新训练机器学习算法时可能是有用的。在一个实施例中，该方法包括利用其指定元素的指示来注释所存储的图像帧。因此，可以使用所存储的图像帧来注释或提供在该图像帧内成像哪个元素的指示。在一个实施例中，机器学习算法为每个指定元素生成特征图，该特征图具有图分量，并且该方法包括为该图像帧生成显著性图，该图像帧将激活的图分量从特征图映射到该图像帧中的像素上。在一个实施例中，机器学习算法为每个指定元素生成特征图，该特征图具有图分量，并且该方法包括，当置信水平超过该图像帧的阈值量时，为该图像帧生成显著性图，该图像帧将激活的图分量从特征图映射到该图像帧中的像素上。因此，可以为每个元素生成特征图。每个特征图可以具有图分量或神经元，其可以用于生成该图像帧的显著性图。显著性图可以在特征图上在空间上将激活的图分量映射到从其导出特征图的源图像帧的像素上，以帮助识别已经识别的图像帧中的元素。在一个实施例中，生成显著性图包括将所选百分比的最激活的图分量从特征图映射到该图像帧中的像素上。因此，可以忽略特征图上的那些最少激活的图分量或神经元，并且仅将更多激活的图分量在空间上映射到源图像帧中的像素上。在一个实施例中，该方法包括通过使用显著性图突出显示其指定元素来注释图像帧。因此，显著性图可用于在图像帧内在空间上突出显示元素，以帮助识别那些图像帧内的元素。在一个实施例中，突出显示包括覆盖围绕该指定元素的边界框。在一个实施例中，突出显示包括覆盖定义该指定元素的图像帧内的像素的颜色变化。在一个实施例中，突出显示包括覆盖指定元素的测量。在一个实施例中，该方法包括指示每个置信水平何时落入置信水平的不同范围内。这提供了向操作者指示置信水平的简单且直观的方式。在一个实施例中，该方法包括向操作者指示指定元素的列表。因此，可以向操作者指示要获取的所有元素。在一个实施例中，该方法包括在列表中指示何时存储了至少一个图像帧并将其与其指定元素相关联。在列表中指示在图像帧中识别了哪些元素以及存储的那些图像帧，帮助操作者保持跟踪哪些元素在图像帧中已经识别和尚未识别。在一个实施例中，该方法包括在列表中指示何时尚未存储至少一个图像帧并将其与其指定元素相关联。在一个实施例中，该方法包括，对于每个指定元素，呈现与该指定元素相关联的每个存储图像帧以供操作者选择。因此，提供了已经存储并与元素相关联的每个图像帧以供操作者选择。在一个实施例中，一旦为每个指定元素存储了至少一个图像帧，则发生呈现步骤。在一个实施例中，该方法包括丢弃与由操作者选择的图像帧之外的指定元素相关联的图像帧。因此，可以忽略那些未被操作者选择的图像。在一个实施例中，该方法包括使用所选择的图像帧来训练机器学习算法。因此，为每个元素的所选图像可以用于机器学习算法的后续训练。在一个实施例中，图像数据包括三维图像数据集，并且该方法包括从三维图像数据集生成图像帧。因此，可以从用于处理的三维图像数据集生成图像帧。在一个实施例中，生成包括通过三维图像数据集生成表示平行平面序列的图像帧。在一个实施例中，产生包括通过三维图像数据集生成表示第一平行平面序列的图像帧，以及通过与第一平行平面序列正交的三维图像数据集生成表示至少第二平行平面序列的图像帧。因此，三维图像数据集可以表示为例如x、y和z平面中的平行平面序列。在一个实施例中，该方法包括组合来自每个序列的显著性图并执行三维变换以获得具有通过三维对象在该指定平面上成像的指定元素的图像帧。因此，可以组合来自每个图像帧序列的显著性图，并且执行三维变换以通过包含最大显著性的三维图像数据获得平面的参数。然后可以通过机器学习算法处理平面上的图像帧并分配置信水平。在一个实施例中，该方法包括使用批量的源训练数据本文档来自技高网...

【技术保护点】
1.一种成像方法，包括：接收三维对象的图像数据；以及使用机器学习算法将置信水平分配给所述图像数据的图像帧的至少一部分，所述置信水平指示所述图像帧具有通过所述三维对象在指定平面上成像的指定元素的可能性。

【技术特征摘要】
【国外来华专利技术】2016.09.29 GB 1616536.71.一种成像方法，包括：接收三维对象的图像数据；以及使用机器学习算法将置信水平分配给所述图像数据的图像帧的至少一部分，所述置信水平指示所述图像帧具有通过所述三维对象在指定平面上成像的指定元素的可能性。2.根据权利要求1所述的方法，其中，所述分配包括向所述图像数据的所述图像帧分配多个置信水平，每个置信水平指示所述图像帧具有通过所述三维对象在相应的指定平面上成像的相应指定元素的可能性。3.根据权利要求1或2所述的方法，其中，所述分配包括为所述图像数据的多个图像帧中的每一个分配置信水平。4.根据前述权利要求中任一项所述的方法，其中，所述图像数据由图像捕获装置的操作者捕获，并且所述方法包括向所述操作者指示每个置信水平。5.根据前述权利要求中任一项所述的方法，包括向所述操作者指示图像帧之间的每个置信水平的变化。6.根据前述权利要求中任一项所述的方法，包括向所述操作者指示每个置信水平的增加和减少中的一个。7.根据前述权利要求中任一项所述的方法，包括向所述操作者指示所述图像捕获装置的移动以增加置信水平。8.根据前述权利要求中任一项所述的方法，包括当每个置信水平超过阈值量时向所述操作者指示。9.根据权利要求8所述的方法，包括当所述图像帧的置信水平超过所述阈值量时存储至少一个图像帧，并将所述图像帧与其指定元素相关联。10.根据权利要求8或9所述的方法，包括：当所述图像帧的置信水平未能超过所述阈值量时存储至少一个图像帧，并将所述图像帧与其指定元素相关联。11.根据权利要求10所述的方法，包括利用其指定元素的指示来注释所存储的图像帧。12.根据权利要求8-11中任一项所述的方法，其中，所述机器学习算法为每个指定元素生成特征图，所述特征映射具有图分量，并且所述方法包括，当所述置信水平超过所述图像帧的所述阈值量时，生成所述图像帧的显著性图，其将激活的图分量从所述特征图映射到所述图像帧中的像素上。13.根据权利要求12所述的方法，其中，所述生成所述显著性图包括将所选择的百分比最激活的图分量从所述特征图映射到所述图像帧中的像素上。14.根据权利要求12或13所述的方法，包括通过使用所述显著性图突出显示其指定元素来注释图像帧。15.根据权利要求14所述的方法，其中，所述突出显示包括覆盖围绕所述指定元素的边界框、定义所述指定元素的所述图像帧内的像素的颜色变化和所述指定元素的测量值中的至少一个。16.根据前述权利要求中任一项所述的方法，包括指示每个置信水平何时落入所述置信水平的不同范围内。17.根据前述权利要求中任一项所述的方法，包括向所述操作者指示所述指定元素的列表。18.根据权利要求17所述的方法，包括在所述列表中指示何时存储了至少一个图像帧并将其与其指定元素相关联。19.根据权利要求17或18所述的方法，包括在所述列表中指示何时尚未存储至少一个图像帧并将其与其指定元素相关联。20.根据权利要求10至19中任一项所述的方法，包括，对于每个指定元素，呈现与所述指定元素相关联的每个存储的图像帧以供所述操作者选择。21.根据权利要求20所述的方法，其中，一旦为每个指定元素存储了至少一个图像帧，则发生所述呈现步骤。22.根据权利要求20或21所述的方法，包括丢弃与由所述操作者选择的图像帧之外的与指定元素相关联的图像帧。23.根据权利要求20至22中任一项所述的方法，包括使用所述选择的图像帧来训练所述机器学习算法。24.根据前述权利要求中任一项所述的方法，其中，所述图像数据包括三维图像数据集，并且所述方法包括从所述三维图像数据集生成所述图像帧。25.根据权利要求24所述的方法，其中，所述生成包括通过所述三维图像数据集生成表示平行平面序列的图像帧。26.根据权利要求24或25所述的方法，其中所述生成包括通过所述三维图像数据集生成表示第一平行平面序列的图像帧以及通过与所述第一平行平面序列正交的所述三维图像数据集生成表示至少第二平行平面序列的图像帧。27.根据权利要求26所述的方法，包括组合来自每个序列的显著性图并执行三维变换以获得具有通过所述三维对象在所述指定平面上成像的指定元素的图像帧。28.根据前述权利要求中任一项所述的方法，包括使用批量的源训练数据训练所述机器学习算法，所述源训练数据包括通过所述三维对象在所述指定平面上成像的每个指定元素的图像帧，一个指定元素是不存在感兴趣项目的背景元素。29.根据权利要求28所述的方法，其中，每批训练数据包括用于包括所述背景元素的每个指定元素的相似数字的图像帧。30.根据权利要求28或29所述的方法，其中，用于所述背景元素的图像帧的格式与用于其他指定元素的图像帧的格式不同，所述方法包括调整用于其他指定元素的所述图像帧的格式以与所述背景元素的格式对齐。31.根据权利要求28至30中任一项所述的方法，包括：包括用于所述背景元素的所述图像帧，来自所述源训练数据的图像帧，其中在所述源训练数据的相邻图像帧之间发生大于阈值的移动量。32.根据权利要求28至31中任一项所述的方法，包括：在每批训练数据之间修改每个指定元素的图像帧。33.根据权利要求32所述的方法，其中，所述修改包括旋转、裁剪、缩放、平移、镜像、滤波、添加噪声和调整图像帧的亮度和对比度中的至少一个。34.根据前述权利要求中任一项所述的方法，其中，所述图像数据包括通过所述三维对象拍摄的超声波、磁共振成像、X射线计算机断层摄影、正电子发射断层摄影和单光子发射计算机断层摄影图像数据中的一个。35.根据前述权利要求中任一项所述的方法，其中，所述图像数据包括记录和实时图像数据之一。36.根据前述权利要求中任一项所述的方法，其中，所述三维对象包括有生命和无生命对象中的一个。37.根据前述权利要求中任一项所述的方法，其中，所述三维对象包括胎儿、器官和植入物中的一个。38.根据前述权利要求中任一项所述的方法，其中，所述机器学习算法包括卷积神经网络。39.一种成像装置，包括：接收逻辑，可操作以接收三维对象的图像数据；逻辑可操作以使用机器学习算法将置信水平分配给所述图像数据的图像帧的至少一部分，所述置信水平表示所述图像帧具有通过所述三维对象在指定平面上成像的指定元素的可能性。40.根据权利要求39所述的成像装置，其中，所述逻辑可操作以将多个置信水平分配给所述图像数据的所述图像帧，每个置信水平表示所述图像帧具有通过所述三维对象在相应的指定平面上成像的相应指定元素的可能性。41.根据权利要求39或40所述的成像装置，其中所述逻辑可操作以将置信水平分配给所述图像数据的多个图像帧中的每一个。42.根据权利要求39至41中任一项所述的成像装置，其中，所述图像数据由图像捕获装置的操作者捕获，并且所述逻辑可操作以向所述操作者指示每个置信水平。43.根据权利要求39至42中任一项所述的成像装置，其中，所述逻辑可操作以向所述操作者指示图像帧之间的每个置信水平的变化。44.根据权利要求39至43中任一项所述的成像装置，其中，所述逻辑可操作以向所述操作者指示每个置信水平的增加和减少中的一个。45.根据权利要求39至44中任一项所述的成像装置，其中，所述逻辑可操作以向所述操作者指示增加置信水平所需的所述图像捕获装置的移动。46.根据权利要求39至45中任一项所述的成像装置，其中，所述逻辑可操作以在每个置信水平超过阈值量时向所述操作者指示。47.根据权利要求46所述的成像装置，其中，当用于所述图像帧的所述置信水平超过所述阈值量时，所述逻辑可操作以存储至少一个图像帧，并将所述图像帧与其指定元素相关联。48.根据权利要求46或47所述的成像装置，其中，当用于所述图像帧的所述置信水平未能超过所述阈值量时，所述逻辑可操作以存储至少一个图像帧，并将所述图像帧与其指定元素相关联。49.根据权利要求47或48所述的成像装置，其中，所述逻辑可操作以利用其指定元素的指示来注释所存储的图像帧。50.根据权利要求39-49中任一项所述的成像装置，其中，所述机器学习算法为每个指定元素生成特征图，所述特征图具有图分量并且当所述置信水平超过用于所述图像帧的所述阈值量时，所述逻辑可操作，以产生所述图像帧的显著性图，其将激活的图分量从所述特征图映射到所述图像帧中的像素上。51.根据权利要求50所述的成像装置，其中，所述逻辑可操作以将所选择的百分比的最激活的图分量从所述特征图映射到所述图像帧中的像素上。52.根据权利要求50或51所述的成像装置，其中，所述逻辑可操作以通过使用所述显著性图突出显示其指定元素来注释图像帧。53.根据权利要求52所述的成像装置，其中，所述逻辑可操作以通过覆盖围绕所述指定元素的边界框，定义所述特定元素的所述图像帧内的像素的颜色变化和所述指定元素的测量值中的至少一个来突出显示其指定元素。54.根据权利要求39至53中任一项所述的成像装置，其中，所述逻辑可操作以指示每个置信水平何时落入所述置信水平的不同范围内。55.根据权利要求39至44中任一项所述的成像装置，其中，所述逻辑可操作以向所述操作者指示所述指定元素的列表。56.根据权利要求55所述的成像装置，其中，所述逻辑可操作以在所述列表中指示何时存储了至少一个图像帧并将其与其指定元素相关联。...

【专利技术属性】
技术研发人员：C·鲍姆加特纳，D·吕克特，
申请(专利权)人：伦敦国王学院，
类型：发明
国别省市：英国,GB