一种基于点云补全的软骨修复方法技术

本发明专利技术公开了一种基于点云补全的软骨修复方法，该方法通过对软骨模型进行预处理，构造软骨点云修复数据集；采用了点云补全Transformer，首先对输入的部分点云进行下采样以获得中心点；然后使用轻量级DGCNN来提取中心点周围的局部特征；在将位置嵌入添加到局部特征之后，使用变压器编码器

【技术实现步骤摘要】
一种基于点云补全的软骨修复方法


[0001]本专利技术涉及一种基于点云补全的软骨修复方法。

技术介绍

[0002]现阶段，由机械创伤、年龄退化或先天性疾病引起损伤病情正在逐年增加。由于软骨组织的自我修复能力十分有限,即使是很小的伤口也可能使得关节在运动中慢慢磨损退化。而现有的临床治疗手段只能缓解疼痛,延缓软骨进一步退化,不能有效促进损伤软骨再生。新生软骨组织的生化性质和力学性能也与正常软骨相差较大,远远满足不了机体的运动需求。
[0003]因此，需要对软骨进行软骨修复手术，进行软骨移植。软骨修复手术高度依赖于术者，尤其软骨健康形态复原问题，这需要具备丰富临床经验的外科医生才能完成。人工智能(AI)具有通过提高解释性和非解释性任务的效率和准确性来彻底改变放射学领域的潜力，从而解决“要修成什么样”的问题，协助医生更好的完成软骨修复手术。
[0004]软骨健康形态预测复原旨在修补缺损的病变软骨，从缺失点云出发估计完整点云，从而获得健康形态的软骨点云，即点云补全。现阶段，绝大多数点云补全研究集中在对象上，他们更注重学习属/类的一般特征，而不是特定对象的局部细节。因此，他们可能会改变位置已知点，并遇到类属扭曲，从而导致噪声和详细的几何损失。针对生物骨骼的3D形状补全应该使用现有方法无法捕获的关系结构信息(如几何对称性、规则排列和表面平滑度)来重建合理的细粒度完整点云。此外，由于三维形状的点云是高度非结构化的。通常，在三维形状上训练的模型会产生具有显著不均匀性的点云。这种不均匀性会导致形状上出现不需要的孔洞，破坏我们预测的完整性，这在骨骼补全任务中是不可接受的。
[0005]另外，由于复杂的点分布和深度学习网络的训练难度，当前的网络模型只能产生较小规模的点集合，无法生产大规模点集，从而无法对精确形貌的生物骨骼进行精细补全。

技术实现思路

[0006]本专利技术的目的是提供一种基于点云补全的软骨修复方法，以解决现有软骨缺损修复方法无法对精确形貌的生物骨骼进行精细补全的问题。
[0007]为解决上述技术问题，本专利技术提供一种基于点云补全的软骨修复方法，包括：
[0008]S1：对膝关节软骨模型进行预处理，获取膝关节软骨的残缺点云集；
[0009]S2：首先对的待修复残缺点云进行下采样以获得中心点；然后提取中心点周围的局部特征，再在局部特征中加入位置嵌入得到的局部特征点代理；
[0010]S3：利用点云补全模型根据局部特征点代理预测缺失代理点，然后根据预测出的缺失代理点由粗到细地进行恢复得到缺失代理点对应的缺失点云；
[0011]S4：将步骤S3得到的缺失点云与所述股骨残缺点云进行拼接；
[0012]S5：提取缺失点云的边界点；
[0013]S6：利用RANSAC进行三维点云空间3D圆拟合，获取球面方程；
[0014]S7：判断缺失点云中的所有点是否在球内，删除不在球内点，留下在在球内的点构成待修复区域点云，将待修复区域点云与缺损点云结合，得到健康软骨点云。
[0015]进一步地，步骤S1具体包括：
[0016]S11：获取膝关节股骨stl模型，将所述膝关节股骨stl模型转化为点云格式，得到膝关节股骨点云模型；
[0017]S12：利用直通滤波过滤掉Z轴维度上所有不在给定值域内的点，对所述膝关节股骨点云模型进行分割；
[0018]S13：对分割后的膝关节股骨点云模型进行随机采样，得到原始股骨点云集；
[0019]S14：将原始点云集按照真实手术中的软骨缺损位置和大小对股骨上表面点云进行切割，将每个原始股骨点云切割成若干个残缺股骨点云，得到残缺点云集。
[0020]进一步地，步骤S2具体包括：
[0021]S21：对股骨残缺点云进行最远点采样，得到固定的N个中心点{q1,
…
,q
i
,
…
,q
N
}；
[0022]S22：使用轻量化的DGCNN对中心点周围的局部区域进行特征提取，得到N个局部区域特征{F1′
,
…
,F
i
,
…
,F
N
′
}，其中F
i
′
对应了以q
i
为中心点的局部区域特征；
[0023]S23：通过MLP网络提取每一个局部特征F
i
′
的位置嵌入，相加后得到点代理，即
[0024]进一步地，点云补全模型为Transformer编码器
‑
解码器架构，包括：
[0025]编码器，用于对步骤S2得到的局部特征点代理进行编码；
[0026]几何感知机，用于利用kNN模型来捕捉点云中的几何关系；给定查询坐标p
Q
，根据键坐标p
k
查询最近键的特征，空间中相邻的点代理拼接在一起；然后通过使用线性层的特征聚合，进行最大池化操作，学习局部几何结构；最后将几何特征和自注意力机制的语义特征连接并映射到原始维度以形成输出；
[0027]Query生成器，用于首先通过编码器的输出特征得到全局特征f
g
，并通过一个线性层预测粗略的缺失点云中心点坐标{c1,
…
，c
i
，
…
c
M
}，将缺失点云中心点坐标与全局特征拼接后，利用软骨修复网络模型生成query特征，即
[0028][0029]多尺度点云生成模块，将query特征翻译为缺失代理点利用Query生成器将缺失点云中心点坐标{c1,
…
，c
i
，
…
c
M
}作为缺失点云的局部中心，利用FoldingNet恢复缺失代理点为中心的详细局部形状：
[0030][0031]其中，C
i
是以缺失点云中心点坐标c
i
为中心的相邻点的集合，即为缺失代理点对应的缺失点云。
[0032]进一步地，所述软骨修复网络模型构建方法包括：
[0033]利用现有点云补全数据集预训练一个软骨修复网络模型作为源模型；
[0034]创建一个新的软骨修复网络模型作为目标模型，将源模型的所有模型设计及其参数迁移到目标模型；
[0035]利用膝关节软骨数据集训练目标模型，并基于源模型的参数对目标模型进行微调，得到基于软骨细粒度结构的软骨修复网络模型。
[0036]进一步地，软骨修复网络模型采用倒角距离损失函数作为其损失函数。
[0037]进一步地，步骤S5具体包括：
[0038]S51：对点云P中任意点P
i
设定搜索半径r，并将搜索半径r内的邻域点记为集合N(P
i
)，即
[0039]N(P
i
)＝{P
j
|P
j
∈P,‖P本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于点云补全的软骨修复方法，其特征在于，包括：S1：对系统中的膝关节软骨模型进行预处理，构建膝关节软骨数据集；S2：首先对修复膝关节软骨的待修复残缺点云进行下采样以获得中心点；然后提取中心点周围的局部特征，再在局部特征中加入位置嵌入得到的局部特征点代理；S3：利用点云补全模型根据局部特征点代理预测缺失代理点，然后根据预测出的缺失代理点由粗到细地进行恢复得到缺失代理点对应的缺失点云；S4：将步骤S3得到的缺失点云与所述股骨残缺点云进行拼接；S5：提取缺失点云的边界点；S6：利用RANSAC进行三维点云空间3D圆拟合，获取球面方程；S7：判断缺失点云中的所有点是否在球内，删除不在球内点，留下在在球内的点构成待修复区域点云，将待修复区域点云与缺损点云结合，得到健康软骨点云。2.根据权利要求1所述的基于点云补全的软骨修复方法，其特征在于，步骤S1具体包括：S11：获取膝关节股骨stl模型，将所述膝关节股骨stl模型转化为点云格式，得到膝关节股骨点云模型；S12：利用直通滤波过滤掉Z轴维度上所有不在给定值域内的点，对所述膝关节股骨点云模型进行分割；S13：对分割后的膝关节股骨点云模型进行随机采样，得到原始股骨点云集；S14：将原始点云集按照真实手术中的软骨缺损位置和大小对股骨上表面点云进行切割，将每个原始股骨点云切割成若干个残缺股骨点云，得到残缺点云集。3.根据权利要求2所述的基于点云补全的软骨修复方法，其特征在于，步骤S2具体包括：S21：对股骨残缺点云进行最远点采样，得到固定的N个中心点{q1,
…
,q
i
,
…
,q
N
}；S22：使用轻量化的DGCNN对中心点周围的局部区域进行特征提取，得到N个局部区域特征{F1′
,
…
,F
i
,
…
,F
N
′
}，其中F
i
′
对应了以q
i
为中心点的局部区域特征；S23：通过MLP网络提取每一个局部特征F
i
′
的位置嵌入，相加后得到点代理，即4.根据权利要求3所述的基于点云补全的软骨修复方法，其特征在于，所述点云补全模型为Transformer编码器
‑
解码器架构，包括：编码器，用于对步骤S2得到的局部特征点代理进行编码；几何感知机，用于利用kNN模型来捕捉点云中的几何关系；给定查询坐标p
Q
，根据键坐标p
k
查询最近键的特征，空间中相邻的点代理拼接在一起；然后通过使用线性层的特征聚合，进行最大池化操作，学习局部几何结构；最后将几何特征和自注意力机制的语义特征连接并映射到原始维度以形成输出；Query生成器，用于首先通过编码器的输出特征得到全局特征f
g
，并通过一个线性层预测粗略的缺失点云中心点坐标{c1,
…
，c
i
，
…
c
M
}，将缺失点云中心点坐标与全局特征拼接后，利用软骨修复网络模型生成query特征，即
多尺度点云生成模块，将query特征翻译为缺失代理点利用Query生成器将缺失点云中心点坐标{c1,
…
，c
i
，
…
c
M
}作为缺失点云的局部中心，利用FoldingNet恢复缺失代理点为中心的详细局部形状：其中，C
i
是以缺失点云中心点坐标c
i
为中心的相邻点的集合，即为缺失代理点对应的缺失点云。5.根据权利要求4所述的基于点云补全的软骨修复方法，其特征在于，所述软骨修复网络模型构建方法包括：利用现有点云补全数据集预训练一个软骨修复网络模型作为源模型；创建一个新的软骨修复网络模型作为目标模型，将源模型的所有模型设计及其参数迁移到目标模型；利用膝关节软骨数据...

【专利技术属性】
技术研发人员：唐倩，陈佳伟，郭伏雨，
申请(专利权)人：重庆大学，
类型：发明
国别省市：