训练用于放射疗法的人工智能模型制造技术

本文公开了使用强化学习技术来迭代地训练人工智能模型的系统和方法。随着每次迭代，当指示人工智能模型的探索和开发训练的可能性的ε值满足阈值时，训练代理应用对应于与先前执行的放射疗法治疗相关联的放射疗法治疗属性的随机放射疗法治疗属性。当ε值不满足阈值时，代理使用现有策略生成(242)第一预测放射疗法治疗属性，并且使用预定义模型生成(244)第二预测放射疗法治疗属性。代理应用(246)第一预测放射疗法治疗属性或第二预测放射疗法治疗属性中与更高奖励相关联的一个预测放射疗法治疗属性。代理迭代地重复(248)训练人工智能模型，直到现有策略满足准确度阈值。值。值。

【技术实现步骤摘要】
【国外来华专利技术】训练用于放射疗法的人工智能模型


[0001]本申请总体上涉及生成、训练和运行人工智能(AI)计算机模型，以预测放射疗法治疗程序。

技术介绍

[0002]放射疗法治疗规划(RTTP)是一个复杂的过程，其包含如临床医生、医疗设备制造商、治疗医生等不同医疗专业人员所采用的特定指南、协议和说明。由于放射治疗机所发出的辐射的极端性质，必须精确地计算和遵循治疗属性。如在RTTP的范畴中所使用的治疗属性是指当患者接受处方规定的放射疗法剂量时如何实施患者治疗以及如何将剂量输送到患者的器官的各种属性(包括放射治疗机的属性)。例如，开处方的医生可以识别来源位置(例如待治疗的患者器官或待根除的肿瘤)和相应的剂量。因此，其他方(例如临床医生或机器制造商)可以确定机架和卧榻上的患者的定位属性(例如角度)以及应该如何将剂量输送给患者以接受最佳治疗。
[0003]按照惯例，识别和应用用于实施放射疗法的指南由临床医生/技术人员执行。例如，为患者选择治疗属性(例如优化剂量体积直方图(DVH)目标和剂量分布规划)已经委托给使用其主观理解和技能的临床医生。例如，人类规划者可以与IMRT治疗的规划生成界面交互，并且可手动修改规划(例如由不同器官接收的剂量)，直到达到可接受的规划。然而，这种传统的方法效率低下，因为其耗时、繁琐、容易出错，并且严重依赖于临床医生的主观理解和技能。
[0004]为了解决上述问题，许多医疗专业人员使用AI软件解决方案。例如，医疗专业人员可以使用这些软件解决方案来确定治疗属性和不同器官接收的剂量。这些软件解决方案使用基于先前执行的放射疗法治疗所训练的AI模型，如RTTP和患者治疗的实施方式(有时称为训练数据集和/或基准真值数据)。AI模型可以发现隐藏的模式/解决方案，并重新配置自己。然而，传统的AI训练方法面临着技术上的不足。例如，传统的训练方法需要大量的训练数据点且计算密集、成本高昂，并且需要较长的训练周期。

技术实现思路

[0005]由于上述原因，期望计算机模型使用不再依赖于技术人员的主观解读或传统AI训练方法的方法和系统来生成治疗属性。由于上述原因，需要一种改进的AI建模/训练技术，其不需要大量的训练数据集，并且是及时的、计算高效的且成本高效的。所期望的是一种更高效、产生更准确结果而不需要大型训练数据集的AI建模/训练技术。
[0006]在一个方面，本专利技术提供了一种如权利要求1中所定义的使用强化学习来训练人工智能模型的方法。在另一方面，本专利技术提供了一种如权利要求11所定义的用于使用强化学习来训练人工智能模型的系统。在从属权利要求中指定了可选的特征。
[0007]本文所述的方法和系统通过提供一种不需要大量基准真值数据集并提供准确结果的训练系统来解决上述技术缺点。所述AI训练方法/系统允许服务器使用更少的数据点
来训练AI模型，使得训练后的AI模型可摄取RTTP数据并预测治疗属性。
[0008]在一个实施例中，一种使用强化学习来训练人工智能模型的方法包括由服务器使用包括与先前执行的放射疗法治疗相关联的一组放射疗法治疗属性的训练数据集来迭代地训练人工智能模型，以预测对应的一组放射疗法治疗属性，其中随着每次迭代，服务器：当指示人工智能模型的探索和开发训练的可能性的ε值满足阈值时，应用对应于与先前执行的放射疗法治疗相关联的放射疗法治疗属性的随机放射疗法治疗属性；当ε值不满足阈值时，服务器使用现有策略生成第一预测放射疗法治疗属性，并且使用预定义的计算机模型生成第二预测放射疗法治疗属性，其中服务器应用第一预测放射疗法治疗属性或第二预测放射疗法治疗属性中与更高奖励相关联的一个预测放射疗法治疗属性，其中服务器迭代地重复训练人工智能模型，直到现有策略满足准确度阈值。
[0009]在另一个实施例中，一种用于使用强化学习来训练人工智能模型的系统包括一个或多个处理器；以及非暂时性存储器，用于存储计算机代码指令，计算机代码指令在被执行时使得该一个或多个处理器：使用包括与先前执行的放射疗法治疗相关联的一组放射疗法治疗属性的训练数据集来迭代地训练人工智能模型，以预测对应的一组放射疗法治疗属性，其中随着每次迭代，该一个或多个处理器：当指示人工智能模型的探索和开发训练的可能性的ε值满足阈值时，应用对应于与先前执行的放射疗法治疗相关联的放射疗法治疗属性的随机放射疗法治疗属性；并且当ε值不满足所述阈值时，该一个或多个处理器使用现有策略生成第一预测放射疗法治疗属性，并且使用预定义的计算机模型生成第二预测放射疗法治疗属性，其中该一个或多个处理器应用第一预测放射疗法治疗属性或第二预测放射疗法治疗属性中与更高奖励相关联的一个预测放射疗法治疗属性，其中服务器迭代地重复训练人工智能模型，直到现有策略满足准确度阈值。
附图说明
[0010]本公开的非限制性实施例通过参考附图以示例的方式说明，附图是示意性的且并非按比例绘制。除非指明为代表
技术介绍
，否则附图代表本公开的各方面。
[0011]图1根据一个实施例示出了启用AI的RTTP优化系统的组件。
[0012]图2A
‑
B根据一个实施例示出了在启用AI的RTTP优化系统中执行的过程的流程图。
[0013]图3根据一个实施例示出了在启用AI的RTTP优化系统中执行的过程的流程图。
[0014]图4A
‑
4D示出了描绘患者不同器官之间的剂量分布的示例的图表。
[0015]图5示出了分析服务器在用户计算机上显示的图形用户界面(GUI)上的结果的示例。
具体实施方式
[0016]现在将参考附图中所示的说明性实施例，在此将使用特定语言来说明这些实施例。然而，应当理解的是，权利要求或本公开的范围在此不受限制。本文所示专利技术特征的更改和进一步修改，以及本文所示主题的原理的附加应用，对于相关领域的技术人员和拥有本公开的技术人员而言将被视为在本文所公开的主题的范围内。在不脱离本公开的精神或范围的情况下，可使用其他实施例和/或可进行其他改变。在详细说明中所述的说明性实施例并不旨在限制所呈现的主题。
[0017]如下所述，中央服务器(本文称为分析服务器)可使用本文所述的各种方法来检索和训练AI模型，以识别患者治疗的属性。图1是分析服务器在其中运行的系统的组件的非限制性示例。分析服务器可以利用图1中所述的特征来检索数据，训练AI模型，并执行训练后的模型以生成/显示治疗属性，例如场几何形状。
[0018]图1示出了启用AI的RTTP优化系统100的组件。系统100可以包括分析服务器110a、系统数据库110b、电子数据源120a
‑
d(统称为电子数据源120)、终端用户设备140a
‑
e(统称为终端用户设备140)和管理员计算设备150。上述组件可以通过网络130彼此连接。网络130的示例可以包括但不限于专用或公共LAN、WLAN、MAN、WAN和因特网。网络130可以包括根据一个或多个标准和/或经由一个或多个传输介质的有线和无线通信。
[0019]网络1本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种使用强化学习来训练人工智能模型的方法，所述方法包括：由服务器使用包括与先前执行的放射疗法治疗相关联的一组放射疗法治疗属性的训练数据集来迭代地训练所述人工智能模型，以预测对应的一组放射疗法治疗属性，其中随着每次迭代，所述服务器：当指示所述人工智能模型的探索和开发训练的可能性的ε值满足阈值时，应用对应于与先前执行的放射疗法治疗相关联的所述放射疗法治疗属性的随机放射疗法治疗属性；并且当所述ε值不满足所述阈值时，所述服务器：使用现有策略生成第一预测放射疗法治疗属性，并且使用预定义的计算机模型生成第二预测放射疗法治疗属性，其中所述服务器应用所述第一预测放射疗法治疗属性或所述第二预测放射疗法治疗属性中与更高奖励相关联的一个预测放射疗法治疗属性，其中所述服务器迭代地重复训练所述人工智能模型，直到所述现有策略满足准确度阈值。2.根据权利要求1所述的方法，进一步包括：由所述服务器执行经过训练的所述人工智能模型。3.根据权利要求1或2所述的方法，其中所述ε值是从系统管理员接收的。4.根据权利要求1、2或3所述的方法，其中所述服务器将所述第一预测放射疗法治疗属性与所述第二预测放射疗法治疗属性进行比较。5.根据权利要求1至4中任一项所述的方法，包括：使用监督训练方法基于所述预定义的计算机模型来训练所述现有策略。6.根据权利要求1至5中任一项所述的方法，其中所述服务器修正所述ε值，使得生成所述第一预测放射疗法治疗属性或所述第二预测放射疗法治疗属性的可能性高于生成所述随机放射疗法治疗属性的可能性。7.根据权利要求1至6中任一项所述的方法，其中所述服务器修正所述ε值，使得生成所述第一预测放射疗法治疗属性或所述第二预测放射疗法治疗属性的可能性低于生成所述随机放射疗法治疗属性的可能性。8.根据权利要求1至7中任一项所述的方法，其中所述预定义的计算机模型是从系统管理员接收的。9.根据权利要求1至8中任一项所述的方法，其中所述预定义的计算机模型是特定于诊所的。10.根据权利要求1至9中任一项所述的方法，其中所述预定义的计算机模型是特定于优化剂量直方图体积计算的。11.一种用于使用强化学习来训练人工智能模型的系统，包括：一个或多个处理器；以及一个非暂时性存储器，用于存储计算机代码指令，所述计算机代码指令在被执行时...

【专利技术属性】
技术研发人员：S，
申请(专利权)人：西门子医疗国际股份有限公司，
类型：发明
国别省市：