一种基于深度学习的自闭症刻板行为分析方法及系统技术方案

技术编号:22566826 阅读:57 留言:0更新日期:2019-11-16 12:47
本发明专利技术提出的提供的一种基于深度学习的自闭症刻板行为分析系统,包括虚刻板行为综合分析装置,刻板行为动作识别装置和刻板行为动作分类装置,能够在早期自闭症患者年幼时通过刻板行为的发现与分析,及早筛查患者并进行早期干预治疗,过深度学习多个动作识别算法的融合,在自建的刻板行为数据模型和已有视频资料的基础上,仅需要监控或录像视频,便可在复杂、多人等场景中识别并分析自闭症患者的刻板行为,使得其成本及其低廉,也不需要进行额外配置或固定场景搭设。

An analysis method and system of autism stereotype behavior based on deep learning

The present invention provides an autism stereotyped behavior analysis system based on deep learning, which includes a virtual stereotyped behavior comprehensive analysis device, a stereotyped behavior action recognition device and a stereotyped behavior action classification device. It is able to screen patients as early as possible and carry out early intervention treatment through the discovery and analysis of stereotyped behavior when early autism patients are young, and learn multiple actions in depth For the fusion of recognition algorithm, on the basis of self built stereotyped behavior data model and existing video data, only monitoring or video recording is needed to recognize and analyze the stereotyped behavior of autistic patients in complex and multi person scenes, making its cost extremely low, and no additional configuration or fixed scene setup is required.

【技术实现步骤摘要】
一种基于深度学习的自闭症刻板行为分析方法及系统
本专利技术涉及辅助康复训练领域,具体涉及一种基于深度学习的自闭症刻板行为分析方法及系统。
技术介绍
自闭症,又称儿童孤独症,是广泛性发育障碍的一种精神疾病。自闭症没有已知的治愈的方法,只能通过早期的干预训练,提高自闭症患者社交沟通和独立生活的能力。因而对于早期自闭症患者进行筛查、及早发现显得尤为重要。自闭症孩子普遍存在着兴趣狭隘和有重复刻板行为的现象,重复刻板行具体为三类:身体动作的重复和刻板;对物体施加的重复、刻板和仪式行为;重复学习行为和强迫性思维。因此通过动作识别技术,对疑似自闭症孩子的重复刻板行为进行分析,可以有助于实现对早期自闭症患者的筛查和分析。
技术实现思路
本专利技术的目的是提供一种基于深度学习的自闭症刻板行为分析方法及系统,能够在早期自闭症患者年幼时通过刻板行为的发现与分析,及早筛查患者并进行早期干预治疗。为了达到上述目的,本专利技术一方面提供一种基于深度学习的自闭症刻板行为分析方法,包括以下步骤:分析人体动作的视频序列并提取人体骨架模型,获得人体动作信息;将人体动作信息输入刻板行为分析模型,获得自闭症患者典型刻板行为的判断结果;将判断结果输入刻板行为分类模型,获得自闭症患者刻板行为的综合分析和评估。具体的,所述人体动作的视频序列包括学校、家庭、医院等多人场景。具体的,对所述人体动作的视频序列进行采样、修改帧率和宽高比,形成所述视频序列的统一格式化数据。具体的,所述人体骨架模型包括患者五官、手指、脖子、臀部、四肢、脊椎和肩膀的动作。具体的,所述刻板行为分析模型包括经过深度学习的第一神经网络;所述第一神经网络根据经过训练的典型自闭症刻板行为类型对患者动作进行识别,根据识别结果对患者动作进行分类标签;以典型自闭症刻板行为类型作为权重,根据分类标签对患者动作进行识别准确度的加权平均值计算。具体的,所述刻板行为分析模型还包括:所述第一神经网络经过训练的典型自闭症刻板行为类型对患者动作进行识别,根据识别结果将未被识别的患者动作形成一个新的典型自闭症刻板行为类型。具体的,所述刻板行为分类模型包括经过深度学习的第二神经网络;所述第二神经网络根据经过训练的刻板行为的严重等级和频率,对所述刻板行为分析模型判断的患者行为进行量化评估;根据患者行为的量化评估结果,完成对早期自闭症患者的筛查。具体的,所述刻板行为分类模型还包括:根据自闭症刻板行为的严重等级和频率,建立患者行为的量化评估标准。另一方面,本专利技术还一种基于深度学习的自闭症刻板行为分析系统,包括:刻板行为综合分析装置,分析人体动作的视频序列并提取人体骨架模型,获得人体动作信息;刻板行为动作识别装置,将人体动作信息输入刻板行为分析模型,获得自闭症患者典型刻板行为的判断结果;刻板行为动作分类装置,将判断结果输入刻板行为分类模型,获得自闭症患者刻板行为的综合分析和评估。具体的,所述刻板行为综合分析装置,刻板行为动作识别装置和刻板行为动作分类装置均包括至少一个处理器及至少一个存储介质,所述存储介质存储有计算机程序,使得所述处理器执行权利要求上述方法的步骤。本专利技术与现有技术相比具有以下技术改进和优点:1)本专利技术相比传统问卷打分形式的自闭症筛查摒除了其根深蒂固的主观性,无需人为观测,通过对自闭症刻板行为视频的分析更加客观。2)本专利技术可以在多人复杂场景中基于视频进行大规模筛查,无需逐个患者长时间观察,成本更低廉,更能在未来为每个早期患者提供帮助。3)可以对刻板行为严重程度以及频率进行量化分析,更能判断患者位于孤独症谱系中的哪一段。4)本专利技术对于行为分析的计算接近实时,方便快捷。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本专利技术的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。图1是本专利技术一个实施例的一种基于深度学习的自闭症刻板行为分析方法的流程图;图2为本专利技术一个实施例的一种基于深度学习的自闭症刻板行为分析系统的系统架构图。具体实施方式下面将结合本专利技术实施例中的附图,对本专利技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本专利技术一部分实施例,而不是全部的实施例。基于本专利技术中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本专利技术保护的范围。下面参照附图描述根据本专利技术实施例提出的一种基于深度学习的自闭症刻板行为分析方法及系统,首先将参照附图描述根据本专利技术实施例提出的一种基于深度学习的自闭症刻板行为分析方法。图1是本专利技术一个实施例的一种基于深度学习的自闭症刻板行为分析方法的流程图。如图1所示,该自闭症患者的刻板行为分析方法包括步骤:S101,分析人体动作的视频序列并提取人体骨架模型,获得人体动作信息。在本专利技术的一个实施例中,刻板行为综合分析系统通过输入学校、家庭、医院监控/录像视频等监控视频,对复杂多人场景进行分析。具体的,在获得包括多人场景的视频序列之后,首先对长视频进行采样成近10秒或更短的短视频,调整帧率和宽高比进行归一化,或对视频进行反转拉升等增强效果,以形成格式化数据。在本专利技术的一个实施例中,通过对人体骨骼,RGB,光流以及基于LSTM等算法提取动作特征,结合算法对刻板行为动作进行识别。其中,所述人体骨架模型包括患者五官、手指、脖子、臀部、四肢、脊椎和肩膀的动作。S102,刻板行为分析装置将人体动作信息输入刻板行为分析模型,获得自闭症患者典型刻板行为的判断结果。在本专利技术的一个实施例中,所述刻板行为分析模型包括经过深度学习的第一神经网络。第一神经网络根据经过训练的典型自闭症刻板行为类型对患者动作进行识别,根据识别结果对患者动作进行分类标签。以典型自闭症刻板行为类型作为权重,根据分类标签对患者动作进行识别准确度的加权平均值计算。根据加权平均值计算结果判断患者的动作是否为典型的自闭症刻版行为。第一神经网络经过训练的典型自闭症刻板行为类型对患者动作进行识别,根据识别结果将未被识别的患者动作形成一个新的典型自闭症刻板行为类型。其中,典型自闭症刻板行为类型包括身体动作的重复和刻板:经常看自己的手;经常仰头看灯;无意义地双手或单手扭动等怪异动作;无聊时玩手指,兴奋时挥舞或扑动双手;前后或左右摇晃身体;原地转圈或围着圈跑;在客厅直线来回跑;反复上下楼梯;斜眼睛看线条或朝某个方向看;经常踮脚尖走路;接触任何东西都要嗅一嗅、舔一舔或咬一咬。进一步的,典型自闭症刻板行为类型还包括对物体施加的重复、刻板和仪式行为、反复开门、窗或抽屉;观察不断开关的自动门;旋转圆形的物品,例如球、车轮、盘子本文档来自技高网...

【技术保护点】
1.一种基于深度学习的自闭症刻板行为分析方法,其特征在于,包括以下步骤:/n分析人体动作的视频序列并提取人体骨架模型,获得人体动作信息;/n将人体动作信息输入刻板行为分析模型,获得自闭症患者典型刻板行为的判断结果;/n将判断结果输入刻板行为分类模型,获得自闭症患者刻板行为的综合分析和评估。/n

【技术特征摘要】
1.一种基于深度学习的自闭症刻板行为分析方法,其特征在于,包括以下步骤:
分析人体动作的视频序列并提取人体骨架模型,获得人体动作信息;
将人体动作信息输入刻板行为分析模型,获得自闭症患者典型刻板行为的判断结果;
将判断结果输入刻板行为分类模型,获得自闭症患者刻板行为的综合分析和评估。


2.如权利要求1所述的一种基于深度学习的自闭症刻板行为分析方法,其特征在于,所述人体动作的视频序列包括学校、家庭、医院等多人场景。


3.如权利要求2所述的一种基于深度学习的自闭症刻板行为分析方法,其特征在于,对所述人体动作的视频序列进行采样、修改帧率和宽高比,形成所述视频序列的统一格式化数据。


4.如权利要求1所述的一种基于深度学习的自闭症刻板行为分析方法,其特征在于,所述人体骨架模型包括患者五官、手指、脖子、臀部、四肢、脊椎和肩膀的动作。


5.如权利要求1所述的一种基于深度学习的自闭症刻板行为分析方法,其特征在于,所述刻板行为分析模型包括经过深度学习的第一神经网络;
所述第一神经网络根据经过训练的典型自闭症刻板行为类型对患者动作进行识别,根据识别结果对患者动作进行分类标签;
以典型自闭症刻板行为类型作为权重,根据分类标签对患者动作进行识别准确度的加权平均值计算。


6.如权利要求5所述的一种基于深度学习的自闭症刻板行为分析方法,其特征在于,所述刻板行为分析模型还包括:
所述第一神经...

【专利技术属性】
技术研发人员:杜亚松陈静翟广涛赵晓鑫祖燕飞
申请(专利权)人:上海市精神卫生中心上海市心理咨询培训中心
类型:发明
国别省市:上海;31

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1