用于成像应用的数据处理管理方法技术

一种用于成像应用的计算机化的高效数据处理管理方法，首先通过计算装置使用至少一个图像数据和至少一个请求的任务执行数据流图生成，以生成数据流图。然后，该方法使用生成的数据流图、缓存系统配置、至少一个图像数据和至少一个请求的任务应用任务执行调度来调度至少一个请求的任务的执行以生成任务执行输出。此外，自适应数据处理方法执行缓存系统更新，最佳数据处理方法进一步执行数据流图更新。新。

【技术实现步骤摘要】
【国外来华专利技术】用于成像应用的数据处理管理方法
[0001]关于在联邦政府资助的研究和开发下做出的专利技术的权利声明
[0002]这项工作得到了美国国家神经疾病和中风研究所授予的美国政府拨款编号5R44NS097094
‑
04，国家心理健康研究所授予的美国政府拨款编号4R44MH121167
‑
02和国家综合医学研究所授予的美国政府拨款编号1U44GM136091
‑
01的部分支持。美国政府可能对本专利技术享有某些权利。

技术介绍

[0003]a.专利技术的领域
[0004]成像应用涵盖工业检测、自动化制造、自动驾驶汽车、遥感、机器人、过程自动化、药物筛选、科学研究等广泛领域。例如，显微成像实验中的图像可能需要一系列2D到6D(X、Y、Z、时间、通道)捕获，目的是将每个平台位置或其他配置装置的视图合成到所准备的样本的单个n维图像中。每次捕获通常具有相同的总尺寸，例如以XYZTC 1000
×
1000
×
1000
×
50
×
4。捕获可以在主题空间中重叠。随着对大数据管理的要求也越来越高，其他成像应用也有类似的数据格式。
[0005]在每次捕获中，检测器信号强度的样本通常会被格式化为简单的平面几何形状，通道序列要么在最里面，要么在最外面。这种格式虽然简单，但对计算机化图像和数据处理工具提出了挑战，因为从一个局部区域访问样本需要从更长的总扫描线中提取许多短扫描线，而这可能是一项昂贵的操作。因此，图像采集管道越来越多地包含一个重新格式化步骤，该步骤定义了一个规则的块网格，其中样本被排序，就好像它们本身就是一个完整的捕获。这会使访问数据变得更加复杂，但它的好处是局部访问从分布不广的源数据中提取扫描线，有时可以立即提取整个块并按原样使用，而无需进一步重新格式化。
[0006]图像采集的另一个趋势是对每次捕获的每个块应用压缩，以便更多数据可以适合一个应用的用户的可用存储空间。这也对图像软件提出了挑战，因为未察觉压缩的数据遍历会导致对同一源数据的重复解压缩，从而使访问非常慢。继续这个示例，单个图像可能包含一百个重叠的捕获，每个大小总计数百GB，具有以几个排序之一的四个或五个维度，并且内部格式化为100
×
100
×
100
×
50
×
4个块的10
×
10
×
10网格，网格和块维度也以几个可能独立的排序之一。由于图像边不能被块边整分割，分块还可能导致原始数据的填充，这是连续访问的另一个障碍。
[0007]如果足够小心，这个示例对于图像处理工具来说并不难正确读取。但是，很难以高速执行此操作，尤其是当渲染目标具有不同的格式或缩放比例(例如金字塔图像级别)时，或者当源数据被压缩或需要后期处理(例如重叠捕获的融合)时。在启发本专利技术的两个场景中，像这样的挑战变得特别棘手：(1)有效访问单个可能比工作存储器大得多的n维图像数据集；(2)高效生成派生数据集，包括图像和非图像。示例包括用于显示的合成、用于处理的过滤以及统计信息的生成、测量和分析。
[0008]b.现有技术是如何解决问题的？
[0009]支持大图像的典型软件工具保持与原始文件的开放连接，导致重复访问可能被压
缩的或由于其他原因访问较慢的文件中的数据。一个简单的存储器内缓存通常用于减少访问时间。
[0010]支持派生数据生成的典型软件工具要么立即导出到与原始文件相似或相同的文件，要么使用通用数据库来管理数据直到可以导出，或者以附带限制将所有派生数据保存在存储器中。数据生成通常是一个全有或全无的过程，要么阻塞整个系统，要么是并发的，但必须在使用之前完成。

技术实现思路

[0011]a.本专利技术的目的/优点
[0012]本专利技术的第一个目的是通过显式数据流图的固有异步性以及通过所有用户请求的完全异步入口点来减少数据处理延迟。本专利技术的第二个目的是由于调度器应用带来的并行性来执行数据流图遍历而增加的吞吐量。本专利技术的第三个目的是利用n维图像的专门域，在工作单元优化区域具有特殊优势，以基于关于公共外部和内部数据源的知识，减少空间开销和更可预测的时间开销，这些知识包括了解哪些数据遍历的精确排序和划分比其他方式更有效。本专利技术的第四个目的是基于过去、现在和预测的用户活动以及可用资源的总利用率的集中知识来协调子系统。本专利技术的第五个目的是动态更新自适应数据处理管理的应用知识。本专利技术的第六个目的是使用机器学习来生成和应用用于最佳数据处理管理的应用知识。
[0013]b.本专利技术如何解决问题
[0014]本专利技术提供了一种数据处理方法或系统，结合了以下内容：
[0015]·
针对大量内部和外部图像数据进行优化的缓存组件，由缓存节点和后备存储的灵活图组成，被设计为高效地利用异构资源，诸如SSD(固态驱动器)和HDD(硬盘驱动器)组合或网络图像服务器。
[0016]·
由格式特定图像节点和数据节点以及它们之间的有向非循环操作(函数)组成的数据流图。节点最初被配置为匹配现有数据和预期任务请求的格式化。当图像操作需要端点时添加节点。根据启发式和特定任务请求，随着数据在节点之间流动，操作以增量方式或并行方式应用，数据由缓存系统传递。
[0017]·
任务执行调度(调度程序)异步地为应用请求和管理任务提供服务，并通过利用已知的图像格式化和已知的数据流和缓存拓扑自动并行化图像操作。
附图说明
[0018]图1示出了根据本专利技术的用于成像应用的高效数据处理管理方法的处理流程。
[0019]图2示出了根据本专利技术的示例缓存系统配置，其包括缓存节点和后备存储的图。
[0020]图3示出了根据本专利技术的示例数据流图，其包括多个图像或数据节点以及节点之间的有向非循环操作。
[0021]图4示出了根据本专利技术的任务执行调度方法的处理流程。
[0022]图5示出了根据本专利技术的用于成像应用的自适应数据处理管理方法的处理流程。
[0023]图6示出了根据本专利技术的用于成像应用的最佳数据处理管理方法的处理流程。
[0024]图7示出了被配置为执行所描述的方法的系统的示意图。
具体实施方式
[0025]下面结合附图对本专利技术的构思和优选实施例进行详细说明。
[0026]1.用于成像应用的高效数据处理管理方法
[0027]图1示出了本专利技术的用于成像应用的高效数据处理管理方法的处理流程。缓存系统配置104、至少一个图像数据100和至少一个请求的任务102被输入电子存储装置，例如计算机存储器、磁盘或网络图像服务器。数据流图生成106由计算装置使用至少一个图像数据100和至少一个请求的任务102来执行，以生成数据流图108。计算装置包括中央处理单元(CPU)、图形处理单元(GPU)、本地和/或云平台和/或移动装置的数字信号处理器(DSP)。它们可以通过电子器件、量子计算或光本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于成像应用的计算机化的高效数据处理管理方法，所述方法包括以下步骤：a)将缓存系统配置、至少一个图像数据和至少一个请求的任务输入至电子存储装置；b)通过计算装置使用所述至少一个图像数据和所述至少一个请求的任务来执行数据流图生成，以生成数据流图；以及c)使用所述数据流图、所述缓存系统配置、所述至少一个图像数据和所述至少一个请求的任务执行任务执行调度，来调度所述至少一个请求的任务的执行以生成至少一个任务执行输出。2.根据权利要求1所述的计算机化的高效数据处理管理方法，其中，所述缓存系统配置包括缓存节点和后备存储的图。3.根据前述权利要求中任一项所述的计算机化的高效数据处理管理方法，其中，所述数据流图包括多个格式特定图像节点、多个数据节点和多个有向非循环操作，每个操作在所述节点中的两个之间。4.根据前述权利要求中任一项所述的计算机化的高效数据处理管理方法，其中，所述任务执行调度包括以下步骤：a)执行任务划分以将所述至少一个请求的任务划分为可并行的任务批次；b)执行任务分类以将活动任务批次分为可运行批次和阻塞批次；c)执行任务执行以将可运行批次分配给可用的执行单元以供执行或在执行完成时释放执行单元；d)如果任务完成检查返回未完成状态，则执行所述任务完成检查并重复步骤b)和c)；以及e)重复步骤b)到d)直到所有任务批次都被执行。5.根据权利要求4所述的计算机化的高效数据处理管理方法，其中，所述任务执行调度的任务分类遍历所述数据流图。6.一种用于成像应用的计算机化的自适应数据处理管理方法，所述方法包括以下步骤：a)将初始缓存系统配置、至少一个图像数据和至少一个请求的任务输入至电子存储装置；b)通过计算装置使用所述至少一个图像数据和所述至少一个请求的任务来执行数据流图生成，以生成数据流图；c)通过计算装置使用所述初始缓存系统配置、所述至少一个图像数据和所述至少一个请求的任务来执行缓存系统更新以生成更新的缓存系统配置；以及d)使用所述数据流图、所述更新的缓存系统配置、所述至少一个图像数据和所述至少一个请求的任务执行任务执行调度以调度所述至少一个请求的任务的执行以生成至少一个任务执行输出。7.根据权利要求6所述的计算机化的自适应数据处理管理方法，其中，所述数据流图包括多个格式特定图像节点、多个数据节点和多个有向非循环操作，每个操作在所述节点中的两个之间。8.根据权利要求6或7所述的计算机化的自适应数据处理管理方法，其中，所述初始缓存系统配置包括缓存节点和后备存储的图。
9.根据权利要求8所述的计算机化的自适应数据处理管理方法，其中，所述初始缓存系统配置的缓存节点和后备存储的图基于应用活动的模型执行不同子系统的协调。10.根据权利要求9所述的计算机化的自适应数据处理管理方法，其中，所述应用活动的模型是使用应用数据通过机器学习生成的。11.根据权利要求9或10所述的计算机自适应数据处理管理方法，其中，所述缓存系统更新使用所述至少一个图像数据和所述至少一个请求的任务来更新所述应用活动的模型。12.根据权利要求6
‑
11中任一项所述的计算机化的自适应数据处理管理方法，其中，所述任务执行调度包括以下步骤：a)执行任务划分以将所述至少一个请求的任务划分为可并行化的任务批次；b)执行任务分类以将活动任务批次分为可运行批次和阻塞批次；c)执行任务执行以将可运行批次分配给可用的执行单元以供执行或在执行完成时释放执行单元；d)如果任务完成检查返回未完成状态，则执行所述任务完成检查并重复步骤b)和c)；以及e)重复步骤b)到d)直到所有任务批次都...

【专利技术属性】
技术研发人员：C，
申请(专利权)人：徕卡显微系统复合显微镜有限公司，
类型：发明
国别省市：