【技术实现步骤摘要】
本专利技术一种基于条件生成对抗网络将背部照片转换成脊柱x光的方法，属于计算机和医学交叉的领域，将计算机技术应用到医学问题上，有望实现脊柱畸形的远程诊疗及随访，加强医生对脊柱畸形患者的健康监测；减少患者对立位全脊柱x光影像检查的依赖，避免不必要的放射暴露；节省医疗资源，减少患者的就诊成本，增加脊柱畸形患者的筛查效率和质量。
技术介绍
1、青少年特发性脊柱侧凸（adolescentidiopathic scoliosis，ais）是一种发生于10 至 18 岁人群且脊柱侧弯度数达到 10° 或以上的三维脊柱畸形。ais是青少年最常见的脊柱疾病，在青少年人群中的发病率为1%~4%，对女性青少年影响更大，其发病原因尚未完全明了。轻度侧凸往往无明显症状，而进展后的中、重度侧凸会引起背部外观畸形、呼吸功能障碍、瘫痪，严重者甚至有生命危险。因此，早期筛查及治疗随访对患者至关重要，它能帮助医生及时干预以控制侧弯的快速进展。
2、目前，临床上主要通过拍摄立位全脊柱x光影像评估ais，然而这种检查方式存在诸多弊端：①可能会对青少年产生射线暴露损伤；②在大部分医疗资源匮乏的地区只能拍摄胸片或无法进行影像学检查，可能导致漏诊；③受限于交通、疫情等因素，患者无法接受筛查或规律随访。如果能使用一种便捷的方法使得患者在家中也能快速、无创、准确地获取脊柱的健康状况，便能够解决以上问题。既往学者采取了多种方法定量观测脊柱畸形患者的背部外观，如观测法、脊柱侧弯测量尺法、云纹图法等，但是由于患者背部较厚的肌肉和脂肪组织的覆盖，导致背部外观观测的严重程度与
3、现有的专利申请如专利号为202110584759.9的专利，其创新点在于可以自动分析获取到的背部照片，提取二维背部照片和三维影像信息的特征进行分类，判断是否存在脊柱侧凸。然而，这种方法存在局限性，例如不够直观，侧凸严重程度的分类准确率不高等。相比之下，我们的方法更加直观，从背部照片生成与之对应的x光影像，从而提供了更多的判断依据。
4、目前，深度学习技术已在医学影像分析等多个领域展示了其强劲的潜力和优势，为了解决以上问题，我们提出了一种基于深度学习技术的解决方案——一种基于条件生成对抗网络将背部照片转换成脊柱x光的方法。生成对抗网络（gan）是一种基于对抗学习的深度神经网络模型，能够从随机噪声中生成具有高质量和多样性的图像。gan由一个生成器（generator）和一个判别器（discriminator）组成，生成器负责将噪声分布映射为目标图像分布，判别器负责区分输入的图像是真实的还是生成的，并给出反馈信号指导生成器的优化。gan在图像生成任务中表现出了令人难以置信的性能，能够生成逼真的人脸、风景、艺术作品等图像。我们提出的方法利用了条件gan（conditional gan）——pix2pix的思想，将背部照片作为生成器和判别器的条件输入，从而提高了生成图像的相关性和质量。我们的方法能够从背部照片生成与真实x光影像对应的虚拟x光影像，从而为ais侧凸严重程度的评估提供更多信息和依据，避免了不必要的辐射和经济成本，提高了检测效率和质量。
技术实现思路
1、本专利技术的目的在于提供一种基于条件生成对抗网络将背部照片转换成脊柱x光的方法，以解决上述
技术介绍
中提出的问题。本专利技术将背部可见光图像和x光骨骼图像收集到数据库中，对其进行标注和预处理，提取感兴趣区域，进行目标检测和实例分割，对数据集进行处理，对齐两种图像，最后使用条件生成对抗网络生成与背部可见光图像相匹配的输出。
2、为实现上述目的，本专利技术提供如下技术方案：一种基于条件生成对抗网络将背部照片转换成脊柱x光的方法，包括以下步骤：
3、步骤一：训练数据的采集、标注和预处理：采集1947例青少年特发性脊柱侧凸（adolescent idiopathic scoliosis，ais）患者的背部外观和脊柱x光影像，建成数据库，对数据库中的图像进行标注和预处理，分别提取配对的背部外观和脊柱x光影像中的脊柱畸形感兴趣区域。
4、步骤二：训练数据的图像对齐：训练基于yolov8的x光影像目标检测模型和背部照片实例分割模型。对预处理后的x光影像进行目标检测，截取x光影像中全脊柱到骨盆的区域，对预处理后的背部照片进行实例分割，截取对应x光影像的全脊柱到骨盆的区域，处理所有的数据集，对截取后的背部照片和x光影像进行图像对齐，使两种图像在空间位置上一致。
5、步骤三：构建转换模型：在pix2pix网络的基础上构建一种基于滑动窗口自注意力机制的条件生成对抗网络，将患者对齐后的背部照片作为输入，将转换成的虚拟x光影像作为输出，将生成的虚拟x光影像与对齐后的真实x光影像进行对比训练迭代。使用本院的内部数据集（102例ais患者）及其他三家医疗机构的外部数据集（180例ais患者）对模型的转换性能进行测试，得出虚拟x光影像的侧凸主弯cobb角比真实x光影像小5.9°。
6、更进一步的，步骤一中，采集到的背部照片导入labelme，对背部使用polygons工具进行描点标注，然后将用labelme产生的json文件载入，然后读取json字典中图像的标注点，并按照该点相对于整张图像的位置进行转换，之后将点位相对位置和类别信息存储到txt文件中，作为深度学习模型的输入。
7、更进一步的，步骤一中，采集到的x光影像导入labelme，使用rectangle工具框出主要躯体，将用labelme产生的json文件载入，然后读取json字典中图像的标注点，并按照该点相对于整张图像的位置进行转换，之后将点位相对位置和类别信息存储到txt文件中，作为深度学习模型的输入。
8、更进一步的，步骤二中，网络模型采用了yolov8深度学习框架进行对背部照片进行实例分割，将步骤一中处理好的图像输入到网络模型中，经过训练迭代，网络模型根据深度学习的结果自动识别图形的特征，对图像进行分割，分割出背部照片中全脊柱和骨盆的部分。
9、更进一步的，步骤二中，网络模型采用了yolov8深度学习框架进行对x光影像进行目标检测，将步骤一中处理好的图像输入到网络模型中，经过训练迭代，网络模型根据深度学习的结果自动识别图像的特征，对图像进行检测，截取x光影像中对应的全脊柱和骨盆的部分。
10、更进一步的，步骤二中，通过训练好的两个yolov8模型，处理所有的数据集，对截取后的背部照片和x光影像进行图像对齐，使两种图像在空间位置上一致。
11、更进一步的，步骤三中，将患者对齐后的背部照片作为条件生成对抗网络模型swin-pix2pix的输入，生成与真实x光影像相匹配的输出，预测脊柱侧凸的病情。该模型由两个部分组成：一个生成器g和一个判别器d。生成器g的任务是根据输入的背部照片，生成与真实x光影像相匹配的本文档来自技高网...
【技术保护点】
1.一种基于条件生成对抗网络将背部照片转换成脊柱X光的方法，其特征在于：包括以下步骤：
2.根据权利要求1所述基于条件生成对抗网络将背部照片转换成脊柱X光的方法，其特征在于： 所述步骤一中，采集到的背部照片导入LabelMe，对背部使用Polygons工具进行描点标注，然后将用LabelMe产生的json文件载入，然后读取json字典中图像的标注点，并按照该点相对于整张图像的位置进行转换，之后将点位相对位置和类别信息存储到txt文件中，作为深度学习模型的输入；
3.根据权利要求2所述基于条件生成对抗网络将背部照片转换成脊柱X光的方法，其特征在于：所述步骤二中，网络模型采用了YOLOv8深度学习框架进行对背部照片进行实例分割，将步骤一中处理好的图像输入到网络模型中，经过训练迭代，网络模型根据深度学习的结果自动识别图形的特征，对图像进行分割，分割出背部照片中全脊柱和骨盆的部分；
4.根据权利要求3所述基于条件生成对抗网络将背部照片转换成脊柱X光的方法，其特征在于：所述步骤三中，将患者对齐后的背部照片作为条件生成对抗网络模型Swin-pix2pix的
...【技术特征摘要】
1.一种基于条件生成对抗网络将背部照片转换成脊柱x光的方法，其特征在于：包括以下步骤：
2.根据权利要求1所述基于条件生成对抗网络将背部照片转换成脊柱x光的方法，其特征在于： 所述步骤一中，采集到的背部照片导入labelme，对背部使用polygons工具进行描点标注，然后将用labelme产生的json文件载入，然后读取json字典中图像的标注点，并按照该点相对于整张图像的位置进行转换，之后将点位相对位置和类别信息存储到txt文件中，作为深度学习模型的输入；
3.根据权利要求2所述基于条件生成对抗网络将背部照片转换成脊柱...
【专利技术属性】
技术研发人员：何中，朱泽章，李武军，鲁能，刘臻，秦晓东，
申请(专利权)人：南京鼓楼医院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。