对图像进行分析的方法、装置和非暂时性计算机可读介质制造方法及图纸

本公开涉及一种对图像进行分析的方法、装置和非暂时性计算机可读介质。方法包括：由处理器将图像划分为图像块的阵列，每个图像块具有固定尺寸；由处理器基于每个图像块利用独立的编码器提取该图像块的特征信息；由处理器基于各个图像块的特征信息，利用与各个图像块一一对应的递归神经网络单元作为节点构成的递归神经网络，通过依据图像块之间的空间约束关系在所对应的各个递归神经网络单元之间传输信息，来确定各个图像块发生一定状况的概率。本公开的方法和装置不仅考虑各个图像块中的对象(例如但不限于肿瘤)呈现，还结合考虑各个图像块之间的空间约束关系，有助于提高各个图像块对于一定状况(例如是否发生肿瘤)的检出率和检测准确率。

Methods, devices and non temporary computer readable media for image analysis

The present disclosure relates to a method, apparatus and a non temporary computer readable medium for analyzing an image. The method includes: the image is divided into image block arrays by the processor, each image block has a fixed size; the processor extracts the feature information of the image block by using an independent encoder based on each image block; the processor uses the recursive neural network unit corresponding to each image block as the node based on the feature information of each image block According to the spatial constraints between image blocks, the probability of each image block occurrence is determined by transmitting information between the corresponding recurrent neural network units. The method and apparatus of the present disclosure not only consider the presentation of objects (e.g., but not limited to tumors) in each image block, but also consider the spatial constraint relationship between each image block, which is helpful to improve the detection rate and detection accuracy of each image block for a certain condition (e.g., whether a tumor occurs or not).

【技术实现步骤摘要】
对图像进行分析的方法、装置和非暂时性计算机可读介质相关申请的交叉引用本申请要求2018年8月26日提交的美国临时申请第62,722,957号的优先权，其全部内容通过引用结合在此。
本公开一般地涉及图像处理和分析。更具体地，本公开涉及对图像进行分析的方法、装置和非暂时性计算机可读介质。
技术介绍
对包括医学图像在内的各种图像进行分析的方法可分为人工分析、半自动分析和自动分析。以肺部的CT图像作为例子，肿瘤检测在癌症的诊断中起关键作用。考虑到结节是癌症可能转移的第一个位置，对于结节的肿瘤检测是协助早期诊断的最重要标准之一。全片图像已被广泛用于癌症的检测。然而，手动检测癌症需要病理学家进行详尽的检查和分析，这是劳动密集型和耗时的，并且检测结果可能是主观的。因此，引入和发展了计算机辅助检测，以提供更可靠和一致的肿瘤检测。但是，自动化的肿瘤检测是一个具有挑战性的问题，因为肿瘤在医学图像中的呈现差异很大。虽然目前已经采用深度神经网络和其他基于机器学习的算法来检测癌症转移，但是，通常只是将全片图像分成小图像块，再对这些图像块进行单独处理，而不考虑它们之间的空间结构关系。即便一些算法考虑到图像块之间的空间结构关系，也只是在得到各个图像块的独立预测结果之后的融合后处理中予以粗略考虑，例如对相邻图像块的独立预测结果进行平滑和平均处理等。但是，图像块的构造通常很复杂，针对各个图像块的独立预测会偏离真实结果，由此导致后处理中的空间依赖性总是次优的。提供本公开的方法和装置来解决现有技术中的以上问题。r>
技术实现思路
因此，需要一种对图像进行分析的方法、装置和非暂时性计算机可读介质，其不仅考虑到各个图像块中的对象(例如但不限于肿瘤)呈现，还结合考虑到各个图像块之间的空间约束关系，从而有助于提高各个图像块对于一定状况(例如是否发生肿瘤)的检出率和检测准确率。在一个方面，本公开提供了一种对图像进行分析的方法，所述方法包括：由处理器，将图像划分为图像块的阵列，每个图像块具有固定尺寸；由所述处理器，基于每个图像块利用独立的编码器提取该图像块的特征信息；由所述处理器，基于各个图像块的特征信息，利用与各个图像块一一对应的递归神经网络单元作为节点构成的递归神经网络，通过依据图像块之间的空间约束关系在所对应的各个递归神经网络单元之间传输信息，来确定各个图像块发生一定状况的概率。在另一方面，本公开涉及一种对图像进行分析的装置，所述装置包括处理器，其配置为执行上述的对图像进行分析的方法。在又一方面，本公开涉及一种对图像进行分析的装置，其中，所述装置包括：图像划分单元，其配置为将图像划分为图像块的阵列，每个图像块具有固定尺寸；特征提取单元，其配置为基于每个图像块利用独立的编码器提取该图像块的特征信息；状况确定单元，其配置为：基于各个图像块的特征信息，利用与各个图像块一一对应的递归神经网络单元作为节点构成的递归神经网络，通过依据各个图像块之间的空间约束关系在所对应的各个递归神经网络单元之间传输信息，来确定各个图像块发生一定状况的概率。在再一方面，本公开涉及一种非暂时性计算机可读介质，其上存储有指令，所述指令在由处理器执行时，执行根据本公开各个实施例的对图像进行分析的方法。根据本公开各个实施例的对图像进行分析的方法、装置和非暂时性计算机可读介质，不仅考虑到各个图像块中的对象呈现，还结合考虑到该空间约束关系在RNN单元之间进行信息传输，更符合现实中各个图像块的状况之间的空间依赖关系，可以无缝集成来自作为信息传输来源的其他图像块的信息来进行预测，从而有助于提高各个图像块对于一定状况(例如是否发生肿瘤)的检出率和检测准确率应当理解，前面的一般性描述和以下的详细描述仅是示例性和说明性的，并不是对要求保护的本专利技术的限制。附图说明在不一定按比例绘制的附图中，相同的附图标记可以描述不同视图中的类似部件。具有字母后缀或不同字母后缀的相同数字可表示类似部件的不同实例。附图通常通过示例而非通过限制的方式示出了各种实施例，并且与说明书以及权利要求书一起用于对所公开的实施例进行说明。这样的实施例是例证性的，而并非旨在作为本方法、装置、或其上存储有用于实现该方法的指令的非暂时性计算机可读介质的穷尽或排他实施例。图1示出了根据本公开的实施例的对图像进行分析的方法的分析流程；图2示出了根据本公开的实施例的对图像进行分析的学习网络的作用方式的示意图；图3示出了根据本公开的实施例的对图像进行分析的学习网络的作用方式的另一示意图；图4示出了根据本公开实施例的递归神经网络(RNN)单元之间的信息传输方式；图5示出了根据本公开的实施例的学习网络的训练过程；图6示出了根据本公开实施例的对图像进行分析的装置的示意性图示；以及图7示出了根据本公开实施例的对图像进行分析的装置的框图。具体实施方式图1示出了根据本公开的实施例的对图像进行分析的方法的分析流程100，该方法可以由计算机实现。在接收到例如肺部的全片图像的图像之后，首先可以在步骤101，由处理器，将图像划分为图像块的阵列，每个图像块具有固定尺寸，例如图2中所示的3×3的图像块201的阵列。以图2中的阵列为例，阵列中的各个图像块201之间具有空间关系，也就是说，各个图像块201在阵列中具有独有的空间位置。在步骤102，可以由所述处理器，基于每个图像块利用独立的编码器提取该图像块的特征信息。如图2所示，为每个图像块201设有独立的编码器202，以独立提取该图像块201的特征信息。接着，在步骤103，可以由所述处理器，基于各个图像块201的特征信息，利用与各个图像块201一一对应的递归神经网络(RNN)单元203作为节点构成的递归神经网络，通过依据图像块201之间的空间约束关系在所对应的各个RNN单元203之间传输信息，来确定各个图像块201发生一定状况的概率。注意，本文中的表述“图像块201之间的空间约束关系”并不限于当前图像块与其他每个图像块之间的空间约束关系，而是涵盖了所有图像块中的部分图像块(即图像块子集中的各个图像块)之间的空间约束关系。实际上，在步骤102和103，通过依序整合栅格状的编码器阵列和栅格状的RNN单元的阵列，并依据各个图像块201之间的空间约束关系在所对应的各个RNN单元203之间传输信息，构成了一种新的深度神经网络。如此，在作为预测模型的神经网络中考虑到了并模拟嵌入了在整幅图像中图像块201之间存在的各种空间约束关系。空间约束关系例如但不限于：在当前图像块201在肿瘤区域中时，其相邻图像块201很可能也被标记为肿瘤，因为肿瘤会扩展转移；在当前图像块201的附近的若干图像块201的独立预测结果相较远处的图像块201的独立预测结果对于当前图像块201的预测结果会有更大影响，等等。通过在作为预测模型的神经网络中，不仅考虑到各个图像块中的对象呈现，还结合考虑到该空间约束关系，更符合现实中各个图像块的状况之间的空间依赖关系，可以无缝集成来自作为信息传输来源的其他图像块201本文档来自技高网...

【技术保护点】
1.一种对图像进行分析的方法，所述方法包括：/n由处理器，将图像划分为图像块的阵列，每个图像块具有固定尺寸；/n由所述处理器，基于每个图像块利用独立的编码器提取该图像块的特征信息；/n由所述处理器，基于各个图像块的特征信息，利用与各个图像块一一对应的递归神经网络单元作为节点构成的递归神经网络，通过依据图像块之间的空间约束关系在所对应的各个递归神经网络单元之间传输信息，来确定各个图像块发生一定状况的概率。/n

【技术特征摘要】
20180826 US 62/722,9571.一种对图像进行分析的方法，所述方法包括：
由处理器，将图像划分为图像块的阵列，每个图像块具有固定尺寸；
由所述处理器，基于每个图像块利用独立的编码器提取该图像块的特征信息；
由所述处理器，基于各个图像块的特征信息，利用与各个图像块一一对应的递归神经网络单元作为节点构成的递归神经网络，通过依据图像块之间的空间约束关系在所对应的各个递归神经网络单元之间传输信息，来确定各个图像块发生一定状况的概率。


2.根据权利要求1所述的方法，其中，依据各个图像块之间的空间约束关系在所对应的各个递归神经网络单元之间传输信息包括：在每个图像块所对应的递归神经网络单元与该图像块的周围区域对应的多个递归神经网络单元中的至少一个之间双向或者单向地传输信息。


3.根据权利要求2所述的方法，其中，所述图像为标注有预先分割结果的图像，所述方法还包括：根据所述预先分割结果来确定每个图像块与之存在空间约束关系的周围区域。


4.根据权利要求2所述的方法，其中，依据各个图像块之间的空间约束关系在所对应的各个递归神经网络单元之间传输信息包括：
在所述图像为2D图像的情况下，在每个非边缘的图像块所对应的递归神经网络单元与其周围的4个图像块对应的递归神经网络单元之间传输信息；而
在所述图像为3D图像的情况下，在每个非边缘的图像块所对应的递归神经网络单元与其周围的8个图像块对应的递归神经网络单元之间传输信息。


5.根据权利要求1所述的方法，其中...

【专利技术属性】
技术研发人员：宋麒，王昕，孔斌，尹游兵，白军杰，陆易，曹坤琳，
申请(专利权)人：北京昆仑医云科技有限公司，
类型：发明
国别省市：北京;11