一种基于时空自注意力的骨骼疾病筛查方法技术

本发明专利技术公开了一种基于时空自注意力的骨骼疾病筛查方法，包括：获取待测者运动状态下的视频流，存储为图像序列；使用目标检测网络在图像序列中进行人体检测，得到时序的人体图像；使用人体姿态估计网络对人体图像进行人体关键点的识别，得到人体关键点的2D坐标，构成2D人体姿态骨架关键点序列；使用多层全连接神经网络将2D人体姿态转换为3D人体姿态；利用基于时空自注意力机制的骨架异常检测网络对待测者进行行为分析，回归得到其为异常的概率值，实现对待测者是否患有骨骼疾病的判断。本发明专利技术相较于传统使用X光片或者CT检查的方法，大大节约了成本，减少了对待测者的射线影响。减少了对待测者的射线影响。减少了对待测者的射线影响。

【技术实现步骤摘要】
一种基于时空自注意力的骨骼疾病筛查方法


[0001]本专利技术涉及计算机视觉
，特别涉及一种基于时空自注意力的骨骼疾病筛查方法。

技术介绍

[0002]骨骼系统疾病是一组涵盖颈胸背、腰骨盆、上下肢的涉及关节、长骨和脊柱的疾病，往往在婴幼儿或青少年起病并伴随终生。青少年骨骼系统疾病可由先天性和后天性原因导致，包括斜颈、脊柱畸形、髋膝肘关节疾病、足部疾病等，以最为多见的脊柱畸形(包括脊柱侧凸和脊柱后凸畸形)为例，发病率高达10％。而传统使用X光片或者CT检查的方法，成本较高，且有射线影响。

技术实现思路

[0003]本专利技术提供了一种基于时空自注意力的骨骼疾病筛查方法，以解决传统使用X光片或者CT检查的方法，成本较高，且有射线影响的技术问题。
[0004]为解决上述技术问题，本专利技术提供了如下技术方案：
[0005]一方面，本专利技术提供了一种基于时空自注意力的骨骼疾病筛查方法，包括：
[0006]获取待测者运动状态下的视频流，将所述视频流存储为预设格式的图像序列；
[0007]使用目标检测本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于时空自注意力的骨骼疾病筛查方法，其特征在于，包括：获取待测者运动状态下的视频流，将所述视频流存储为预设格式的图像序列；使用目标检测网络在所述图像序列中进行人体检测，得到时序的人体图像；使用人体姿态估计网络对所述时序的人体图像进行人体关键点的识别，得到预设类型的人体关键点的2D坐标，构成2D人体姿态骨架关键点序列；使用多层全连接神经网络将所述2D人体姿态骨架关键点序列转换为3D人体姿态骨架关键点序列；利用基于时空自注意力机制的骨架异常检测网络，根据所述3D人体姿态骨架关键点序列，对待测者进行行为分析，回归得到待测者行为异常的概率值，实现对待测者是否患有骨骼疾病的判断。2.如权利要求1所述的基于时空自注意力的骨骼疾病筛查方法，其特征在于，所述获取待测者运动状态下的视频流，将所述视频流存储为预设格式的图像序列，包括：通过单目摄像头获取待测者运动状态下的视频流，将视频流传输到计算机；计算机将所述视频流使用OpenCV开源图像工具进行预处理，即将视频存储为帧率不低于30FPS和图像分辨率不低于640*480的RGB编码格式。3.如权利要求1所述的基于时空自注意力的骨骼疾病筛查方法，其特征在于，所述目标检测网络为Yolov3网络；所述目标检测网络首先对输入的图像进行特征提取，得到三个尺度的特征图，根据特征图回归得到人体在图像上的包围框坐标，根据包围框坐标将人体图像从图像序列中提取出来；其中，特征图的尺度包括13*13、26*26以及52*52。4.如权利要求1所述的基于时空自注意力的骨骼疾病筛查方法，其特征在于，所述人体姿态估计网络采用AlphaPose人体姿态估计网络；所述人体姿态估计网络在人体图像上首先使用卷积网络进行特征提取，得到关键点的热力图，在热力图上回归得到的2D人体关键点；其中，所述2D人体关键点包括：脊柱基部、脊柱中位、脖子、头、左肩、左肘、左腕、左手、右肩、右肘、右腕、右手、左臀部、左膝、左脚踝、左脚、右臀部、右膝、右脚踝、...

【专利技术属性】
技术研发人员：丁大伟，谢俊杰，高宇，赵宇，翟吉良，李嘉浩，高晨郜，王峻晨，
申请(专利权)人：北京科技大学，
类型：发明
国别省市：