基于2DRGB图像的脊柱侧弯筛查方法技术

本发明专利技术公开了一种基于2D RGB图像的脊柱侧弯筛查方法，包括以下步骤：S1、获取人体背部的2D RGB图像；S2、利用RVM人体分割模型分割出人体；S3、使用Yolo V5背部检测模型得到人体背部图像；S4、使用SEResNet进行关键点识别；S5、通过关键点形成四区域；拟合出脊柱线，计算拟合的脊椎线与正常脊柱线之间的最大偏移距离；两个内肩点中点与尾椎点之间的连线将每个区域分成左右两个子区域，计算两个子区域的面积差并归一化，作为左右区域之间的对比度；S6、将对比度和最大偏移距离输入鉴别器网络，鉴别器输出背部类型。本发明专利技术利用背部关键点关于脊柱的对称性来确定脊柱的大致形状；通过深度神经网络来学习正常姿态与脊柱侧弯之间的区别，能够保证鉴别器网络的准确性。够保证鉴别器网络的准确性。够保证鉴别器网络的准确性。

【技术实现步骤摘要】
基于2D RGB图像的脊柱侧弯筛查方法


[0001]本专利技术属于图像处理
，特别涉及一种基于2D RGB图像的脊柱侧弯筛查方法。

技术介绍

[0002]脊柱侧弯是一种3D脊柱肌肉骨骼疾病，极大地影响了患者的健康。据悉，全球0.47
‑
5.20％的人患有脊柱侧弯，且大多数脊柱侧弯的病因尚不清楚。青少年特发性脊柱侧凸(AIS)在医学上定义为脊柱Cobb角有超过10度的变形。
[0003]传统的X射线检测方法有很多缺点。例如，为了跟踪病情，多次对患者进行X光照射，会对患者的身体造成伤害，增加患者患恶性肿瘤的概率。此外，拍摄X光的设备非常难以部署，这使得患者检测非常麻烦和昂贵。
[0004]近年来，有学者提出了依据2D图来判断脊柱情况的方法来减少患者暴露于辐射的次数。与射线检测或CAT扫描等传统方法相比，它能够实现快速数据捕获并能很快得出结果。该方法通过拍摄与计算机视觉技术处理背部身体表面的图像，最终对患者进行Lenke 1型和其他类型进行分类。但是这种方法对输入数据的要求很高，拍摄区域必须只有患者的背面区域，而且不能有很多噪声。同时这种方法的检测精度也很低。
[0005]最近的发展表明，深度卷积神经网络已经实现了最先进的性能。基于深度学习的人体姿态估计算法包括自下而上和自上而下的方法。自下而上的方法首先检测每个人的关节关键点，然后使用图结构、条件随机场等算法对每个人的姿势进行分组。它的缺点是很难将关键点关联起来形成一个人，并且受遮挡影响很大。自上而下的方法首先检测整个人的存在，然后具体找到每个节点的位置。

技术实现思路

[0006]本专利技术的目的在于克服现有技术的不足，提供一种通过图像预处理来极大的降低了环境噪音的影响，同时利用背部关键点关于脊柱的对称性，来确定脊柱的大致形状；通过深度神经网络来学习正常姿态与脊柱侧弯之间的区别，能够保证鉴别器网络的准确性的基于2D RGB图像的脊柱侧弯筛查方法。
[0007]本专利技术的目的是通过以下技术方案来实现的：基于2D RGB图像的脊柱侧弯筛查方法，包括以下步骤：
[0008]S1、从网络设备中获取人体背部的2D RGB图像，并对图像进行去噪处理；
[0009]S2、利用RVM人体分割模型从图像中分割出人体；
[0010]S3、使用Yolo V5背部检测模型得到人体背部图像；
[0011]S4、对于背部图像，使用SEResNet进行背部关键点识别，找出人体背部图像的9处关键点，分别为两个内肩点、两个外肩点、两个腋窝点、两个腰点以及尾椎点；
[0012]S5、对SEResNet识别出的关键点进行如下处理：两个內肩点与两个外肩点连线形成第一区域，两个外肩点与两个腋窝点连线形成第二区域，两个腋窝点与两个腰点连线形
成第三区域，两个腰点与尾椎点连线形成第四区域；两个内肩点、两个外肩点、两个腋窝点、两个腰点理论上关于脊柱对称，因此将两个内肩点、两个外肩点、两个腋窝点、两个腰点的中间点作为拟合脊柱上的位置点，然后结合尾椎点，得到五个拟合点；
[0013]利用五个拟合点，通过多次拉格朗日插值法，利用二次曲线拟合出脊柱线；计算拟合出的脊椎线与正常脊柱线之间的最大偏移距离；
[0014]两个内肩点中点与尾椎点之间的连线将每个区域分成左右两个子区域，分别计算同一个区域里面两个子区域的面积，并计算两个子区域的面积差；再将面积差进行归一化处理，作为背部左右区域之间的对比度；归一化方法为：将左右区域面积相减，取绝对值，然后除以两区域相加的面积；
[0015]S6、将对比度和最大偏移距离输入鉴别器网络，鉴别器输出背部类型：0代表状态正常、1代表其他姿态异常，2代表脊柱侧弯。
[0016]进一步地，所述步骤S4中，SEResNet的训练过程如下：
[0017]S41、对原始图片进行人工标注，标注出关键点；
[0018]S42、对原始图片利用SEResNet提取特征图，得到SEResNet识别出的关键点；
[0019]S43、将特征图输入3层反卷积网络，得到与真实图像大小相同的特征图；
[0020]S44、通过人工标注的关键点的真实位置以及2D高斯方法来生成9个关键点的真实位置特征图；
[0021]S45、计算人工标注的关键点和SEResNet识别出的关键点之间的损失函数：
[0022][0023]其中y和分别是真实位置特征图和SEResNet提取的特征图上的像素值；ω、θ、κ和β是超参数，A是权重矩阵，C是偏移量；
[0024]利用损失函数进行反向传播，训练达到100次后停止训练，得到最终的SEResNet模型。
[0025]本专利技术的有益效果是：本专利技术的方法建立了一个全自动的基于2D RGB图像的脊柱侧弯筛查方法，能够在移动端上部署，并在极短的时间能够判断目标是否有疑似脊柱侧弯的情况。首先从移动端设备中获取输入图像，通过图像预处理来极大的降低了环境噪音的影响，极大的扩大了该系统适用范围，让该系统能够适用于现实生活中的绝大部分情况；同时，利用背部关键点关于脊柱的对称性，来确定脊柱的大致形状；通过深度神经网络来学习正常姿态与脊柱侧弯之间的区别，能够保证鉴别器网络的准确性。
附图说明
[0026]图1为本专利技术的基于2D RGB图像的脊柱侧弯筛查方法的流程图；
[0027]图2为本专利技术背部区域划分示意图；
[0028]图3为拟合脊柱线示意图。
具体实施方式
[0029]下面结合附图进一步说明本专利技术的技术方案。
[0030]如图1所示，本专利技术的基于2D RGB图像的脊柱侧弯筛查方法，包括以下步骤：
[0031]S1、从网络设备中获取人体背部的2D RGB图像，并对图像进行去噪处理；
[0032]S2、利用RVM人体分割模型从图像中分割出人体；
[0033]S3、使用Yolo V5背部检测模型得到人体背部图像；
[0034]S4、对于背部图像，使用SEResNet进行背部关键点识别，找出人体背部图像的9处关键点，分别为两个内肩点、两个外肩点、两个腋窝点、两个腰点以及尾椎点；
[0035]SEResNet的训练过程如下：
[0036]S41、对原始图片进行人工标注，标注出关键点；
[0037]S42、对原始图片利用SEResNet提取特征图，得到SEResNet识别出的关键点；
[0038]分别对本专利技术中一共需要识别9个关键点，因此SEResNet共有9个通道，。实特征图中标注了对应点，以此从输入的图像中去利用SEResNet与反卷积网络去预测相应点的位置。
[0039]S43、将特征图输入3层反卷积网络，得到与真实图像大小相同的特征图；
[0040]S44、通过人工标注的关键点的真实位置以及2D高斯方法来生成9个关键点的真实位置特征图；
[0041]S45、计算人工标注的关键点和SEResNet识别出的关键点本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于2D RGB图像的脊柱侧弯筛查方法，其特征在于，包括以下步骤：S1、从网络设备中获取人体背部的2D RGB图像，并对图像进行去噪处理；S2、利用RVM人体分割模型从图像中分割出人体；S3、使用Yolo V5背部检测模型得到人体背部图像；S4、对于背部图像，使用SEResNet进行背部关键点识别，找出人体背部图像的9处关键点，分别为两个内肩点、两个外肩点、两个腋窝点、两个腰点以及尾椎点；S5、对SEResNet识别出的关键点进行如下处理：两个內肩点与两个外肩点连线形成第一区域，两个外肩点与两个腋窝点连线形成第二区域，两个腋窝点与两个腰点连线形成第三区域，两个腰点与尾椎点连线形成第四区域；两个内肩点、两个外肩点、两个腋窝点、两个腰点理论上关于脊柱对称，因此将两个内肩点、两个外肩点、两个腋窝点、两个腰点的中间点作为拟合脊柱上的位置点，然后结合尾椎点，得到五个拟合点；利用五个拟合点，通过多次拉格朗日插值法，利用二次曲线拟合出脊柱线；计算拟合出的脊椎线与正常脊柱线之间的最大偏移距离；两个内肩点中点与尾椎点之间的连线将每个区域分成左右两个子区域，分别计算同一个区域里面两个子区...

【专利技术属性】
技术研发人员：许真达，胡嘉豪，
申请(专利权)人：深圳零动医疗科技有限公司，
类型：发明
国别省市：