基于体表点云数据直接预测肿瘤呼吸运动的方法及系统技术方案

本发明专利技术公开了一种基于体表点云数据直接预测肿瘤呼吸运动的方法、系统及放疗机器人，包括，采集人体呼吸过程中体表点云数据，根据所述体表点云数据建立体素模型；根据所述体素模型分块分析时间序列上体表点云数据的变化特性，划分胸腹部呼吸运动显著区域；对所述显著区域内的点云数据进行处理得到数据集；对预设的延迟过后的肿瘤位置标签集和分类后的点云数据进行训练，得到当前时刻呼吸特征与一段时间后肿瘤位置的映射关系；根据所述映射关系预测肿瘤位置并对预测肿瘤位置进行处理。本发明专利技术简化了肿瘤预测的复杂流程，解决了肿瘤位置预测的迟滞问题，可以实现对肿瘤位置的实时直接预测。接预测。接预测。

【技术实现步骤摘要】
基于体表点云数据直接预测肿瘤呼吸运动的方法及系统


[0001]本专利技术属于肿瘤定位领域，特别涉及一种基于体表点云数据直接预测肿瘤呼吸运动的方法及系统。

技术介绍

[0002]放射治疗作为目前治疗肿瘤的主要手段之一，治疗时需要引入呼吸运动补偿措施来针对人体呼吸所导致的肿瘤运动，其射线投递的精度直接影响到治疗效果和患者的安危。因此，肿瘤呼吸运动的预测对于确保放疗机器人的治疗精度有着十分重要的影响。
[0003]目前通过直接预测和间接预测两类方法获取体内肿瘤位置。在直接预测肿瘤位置方面，通常使用植入肿瘤内部金标的方法，根据当前时刻和上一时刻的X射线图像估计放射治疗期间目标肿瘤的三维姿态。该方法能够有效并直观的获得肿瘤实时位置，但频繁的X射线照射和植入体内金标都会对人体造成不同程度的损害。在间接预测肿瘤位置方面，由于体内肿瘤运动轨迹与体表呼吸起伏变化表现出强相关性，所以通常可以使用便于观测的外部呼吸替代信号间接预测肿瘤位置。当前主流方法是在患者胸腹部放置红外标记点捕获呼吸信号，通过建立标记点与肿瘤运动的关联函数间接预测肿瘤的位置。标记点不能全面表征人体胸腹部三维变化特征，预测精度受标记点个数和放置位置的影响较大，同时需要人为手动提取呼吸特征和建立关联模型，不仅增加了预测方法的复杂程度，而且很容易在繁杂的步骤中引入更多的误差因素。
[0004]如今随着深度学习技术的发展，肿瘤患者的数据的特征信息可以通过神经网络自主学习和提取，并且神经网络可以高效地区分数据信息中的特征差异，出色地完成分类或预测任务，因此，研究一种能够自主提取呼吸过程中人体胸腹部三维变化特征并预测肿瘤位置的深度学习方法尤为关键，对于提高放疗机器人的精度有着重要意义。

技术实现思路

[0005]为此，本专利技术所要解决的技术问题在于克服现有技术中肿瘤预测的复杂流程，预测精度低的问题，从而提供一种方法简单，有效提高肿瘤位置预测精度的基于体表点云数据直接预测肿瘤呼吸运动的方法及系统。
[0006]为了实现上述目的，本专利技术所采取的技术方案，包括如下步骤：
[0007]步骤S1：采集人体呼吸过程中体表点云数据，根据所述体表点云数据建立体素模型；
[0008]步骤S2：根据所述体素模型分块分析时间序列上体表点云数据的变化特性，划分胸腹部呼吸运动显著区域；
[0009]步骤S3：对所述显著区域内的点云数据进行处理得到数据集；
[0010]步骤S4：对预设的延迟过后的肿瘤位置标签集和所述数据集中的点云数据进行训练，得到当前时刻呼吸特征与一段时间后肿瘤位置的映射关系；
[0011]步骤S5：根据所述映射关系预测肿瘤位置并对预测肿瘤位置进行处理。
[0012]所述步骤S1中，通过多台深度相机采集体表信息，将多台深度相机采集的体表的点云数据进行分割、融合和平滑处理，得到人体呼吸过程中胸腹部变化的包含深度特征的点云数据，该数据能够充分表征人体呼吸的三维动态信息。
[0013]将处理过后的点云数据通过Octomap库转化成体素模型，其将由许多小体素块表示的，取每个体素块的中心点坐标作为新的点云坐标，可以将密度不均匀的点云数据转化成密度均匀的，而且可以将乱序的点云数据重新排列整齐；另一方面，通过选择不同大小的体素块，可以控制点云数据的分布密度。
[0014]所述步骤S2中，将胸腹部点云数据划分成多块区域，把每块的体素数据插入到一个最小包围盒中，按顺序将包围盒中的体素占有特征映射成一个超高维向量，通过LLE(局部线性嵌入)算法将时间序列上该高维向量降至1维，该低维数据能够描述体素模型的变化性质，然后分析每块体素数据降维后在时间序列上与肿瘤的关联性，选取关联性最好区域作为显著区域。(点云数据可以划分16块、25块、50块或更多，划分方法没有具体的规定，通过实验分析得出该应用场景划分16块取6块作显著区域最终预测结果比其他分块情况更优。)
[0015]所述步骤S3中，对所述显著区域内的点云数据在时间序列上进行处理得到数据集。
[0016]所述步骤S4中，在进行深度网络学习训练之前，需要对点云深度学习网络PointNet++进行改进，搭建肿瘤位置预测的网络框架。搭建肿瘤位置预测的网络框架方法为:通过采样层(sampling layer)和分组层(grouping layer)将显著区域的点云划分为多个局部子区域；再利用PointNet网络将每个局部子区域的特征提取到一个向量中；然后将所有子区域的特征向量通过PointNet再次编码为一个向量；最后通过全连接层预测特征向量所属全部肿瘤位置的概率，其中概率最大的为最终预测结果。通过仅使用一层抽象降采样(set abstraction)层的方法，增加采样点数，从而减少点云局部特征信息的损失。
[0017]其中，PointNet++网络不仅直接以点云序列作为输入集，而且可以提取点云局部特征。该网络包含了两个抽象降采样层，该层会将N
×
(d+C)的点云数据通过采样层划分成数干个局部特征区域；然后提取每个子区域特征，输出新的N'
×
(d+C')特征矩阵，其中N是点数，d是维度(只采用xyz坐标，d＝3)，C是特征维度，N'和C'是输出新的点数和特征维度；再使用多层感知机(MLP)将经过两次set abstraction层提取的特征矩阵整合成特征向量；最终将提取的特征向量通过一个全连接层映射为所有类的可能性概率，从而预测最有可能的结果。
[0018]所属步骤S4中，对预设的延迟过后的肿瘤位置标签集和所述数据集中的点云数据进行训练之前，需要对点云数据进行分类，点云数据分类的方法为：根据肿瘤运动的周期性，对单个维度的肿瘤位置精确到亚毫米级进行分类，归属同一肿瘤位置所对应的体表点云数据分为同一类。
[0019]所述步骤S4中，将每帧点云的标签集对应为延迟特定时长过后的肿瘤位置解决系统通信和机械延迟导致的肿瘤位置预测迟滞问题。监督训练时，训练集中一帧点云数据会对应一个肿瘤位置的标签，将每帧点云的标签集对应为延迟特定时长过后的肿瘤位置，而我们这样做的目的是：将每个时刻的点云特征与一段时间过后(延时)的肿瘤位置对应，从而找到当前时刻呼吸特征与一段时间后肿瘤位置的映射关系，这样就可以利用当前时刻呼
吸特征预测一段时间后的肿瘤位置。这样的好处：在实际放疗应用中，计算机在预测肿瘤位置的时候需要反应时间，当预测结果出来实际肿瘤已经移动到其他位置，所以需要预测延迟一段时间后的肿瘤位置，从而减小系统反应带来的延迟误差。
[0020]所述步骤S5中，在预测某个时刻肿瘤位置时，将预测结果与相邻之前时间段的历史预测结果互相关联并做平滑处理，将平滑过后的结果作为最终预测值输出。考虑到肿瘤变化曲线特性，使用平滑的方法是对滑动窗口内的数据基于最小二乘法进行k阶多项式拟合，通过该拟合平滑处理，可以将相邻时间的肿瘤位置进行关联，消除时间序列上肿瘤预测结果中的震荡点，从而提高预测网络的鲁棒性和精度。
[0021]本专利技术与现有技术相比的优点在本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于体表点云数据直接预测肿瘤呼吸运动的方法，其特征在于，所述方法包括以下步骤：步骤S1：采集人体呼吸过程中体表点云数据，根据所述体表点云数据建立体素模型；步骤S2：根据所述体素模型分块分析时间序列上体表点云数据的变化特性，划分胸腹部呼吸运动显著区域；步骤S3：对所述显著区域内的点云数据进行处理得到数据集；步骤S4：对预设的延迟过后的肿瘤位置标签集和所述数据集中的点云数据进行训练，得到当前时刻呼吸特征与一段时间后肿瘤位置的映射关系；步骤S5：根据所述映射关系预测肿瘤位置并对预测肿瘤位置进行处理。2.根据权利要求1所述的基于体表点云数据直接预测肿瘤呼吸运动的方法，其特征在于，所述步骤S1根据所述体表点云数据建立体素模型的方法为：将采集的体表点云数据进行分割、融合和平滑处理，提取得到人体呼吸过程中胸腹部变化的包含深度特征的点云数据，根据所述包含深度特征的点云数据建立体素模型。3.根据权利要求2所述的的基于体表点云数据直接预测肿瘤呼吸运动的方法，其特征在于，所述步骤S1中对处理过后的胸腹部点云数据通过Octomap库转化成体素模型，其中所述胸腹部点云数据由许多小体素块表示。4.根据权利要求1所述的基于体表点云数据直接预测肿瘤呼吸运动的方法，其特征在于，所述步骤S2划分胸腹部呼吸运动显著区域的方法为：首先，将胸腹部点云数据划分成多块；接着，把每一块的体素数据插入到一个最小包围盒中；其次，按顺序将包围盒中的体素占有特征映射成一个超高维向量；然后，将时间序列上该高维向量降至1维；最后，分析每一块体素数据降维后在时间序列上与肿瘤的关联性，取关联性最好的块区域作为显著区域。5.根据权利要求1所述的基于体表点云数据直接预测肿瘤呼吸运动的方法，其特征在于，所述步骤S4对预设的延迟过后的肿瘤位置标签集和所述数据集中的点云数据进行训练之前，搭建肿瘤位置预测的网络框架，其中搭建肿瘤位置预测的网络框架方法为：首先，通过采样层和分组层将显著区域的点云划分为多个局部...

【专利技术属性】
技术研发人员：郁树梅，李波，孙荣川，孙立宁，
申请(专利权)人：苏州大学，
类型：发明
国别省市：