一种基于目标感知的标志行为检测方法及其应用技术

本发明专利技术公开了一种基于目标感知的标志行为检测方法，包括：步骤一

【技术实现步骤摘要】
一种基于目标感知的标志行为检测方法及其应用


[0001]本专利技术涉及图像领域，尤其涉及一种基于目标感知的标志行为检测方法及其应用
。

技术介绍

[0002]孤独症谱系障碍
(Autism spectrum disorder,ASD)
，又称自闭症，是儿童时期最常见的神经发育障碍疾病之一，其临床表现主要为社交沟通障碍
、
刻板行为和兴趣狭隘
。
迄今为止，自闭症病因不明，亦无特效药进行针对性治疗
。
[0003]经研究以及多年临床经验表明，通过早期行为干预，孤独症患儿的学习
、
生活能力能够得到极大地改善，并且干预越早，效果越好
。
然而，目前孤独症早期行为干预大多依赖于临床医师和专业人员通过行为学观察并制定相应的干预方案，这种诊疗模式以临床医师和临床专业人员为主导，其耗时较长，在现阶段该医疗资源非常短缺的形势下，非常不利于该病的治疗
。
面对大量的孤独症病患人群，亟需引入高效的孤独症筛查和预警手段，减少医疗专业人员重复性操作的工作负担，提高针对孤独症患儿的早期诊疗水平
。
近几年，考虑将计算机视觉技术引入自闭症儿童筛查过程成为新的研究热潮，其所具备的快速性
、
客观性
、
稳定性对于自闭症儿童早期筛查过程有较大辅助作用
。
[0004]目标检测和跟踪任务作为计算机视觉研究中的基础性任务，其检测结果直接影响整个孤独症早期标志行为检测过程的效果
。
孤独症早期标志行为检测任务中，参与任务人员的动作判断成为检测任务的重点问题，直接关系到最终检测效果
。
由于孤独症儿童诊疗工作的伦理性，大量涉及孤独症儿童诊断的资料不公开，孤独症儿童早期标志行为数据量不足
。
国内专家已就孤独症早期标志行为达成了初步共识，简称“五不”行为：不
(
少
)
看
、
不
(
少
)
应
、
不
(
少
)
指
、
不
(
少
)
语
、
不当
。
通过对“五不”行为的检测，可以实现孤独症早期预警和筛查，也可以为后续的干预提供辅助
。
[0005]现有的目标跟踪和检测方法检测孤独症患儿早期标志行为中涉及的多尺度目标时，存在准确性不足的问题
。
现有的目标检测任务均是基于先检测后跟踪的框架，不仅效率低，而且很难对检测和跟踪任务进行同时优化；光照和遮挡问题也是影响目标检测准确度的一大问题
。
且对于参与筛查过程人员
(
儿童
、
医生
、
家长
)
的动作判断存在方法性不适
、
准确度不足的问题
。
孤独症儿童早期标志行为数据量不足导致各种孤独症早期标志行为检测模型性能不佳
。
[0006]因此，本领域的技术人员致力于开发一种基于目标感知的标志行为检测方法及其应用，有效地解决了传统的目标检测任务应用于孤独症早期标志行为检测时遇到的准确性不高和时效性不佳的问题
。

技术实现思路

[0007]为实现上述目的，本专利技术提供了一种基于目标感知的标志行为检测方法，包括如下步骤：
[0008]步骤一
、
建立检测场景下的目标检测与多目标跟踪模型；
[0009]步骤二
、
建立拥有目标感知能力的动作分割模型；
[0010]步骤三
、
建立基于迁移学习的动作分割增强模型；
[0011]步骤四
、
基于动作分割融合分析进行标志行为检测；
[0012]其中，所述步骤一包括建立多层深度聚合特征提取器
、
建立基于目标计数约束的多目标检测
、
跟踪模型；所述多层深度聚合特征提取器使用多层深度聚合结构对所述检测场景中的多个目标在不同的特征尺度输出目标热力图
、
尺寸偏移和目标得分，然后通过融合解决多尺度目标检测；所述多目标检测
、
跟踪模型利用所述多层深度聚合特征提取器将检测和跟踪任务建立在相同的深度学习框架之下
。
[0013]进一步地，所述建立多层深度聚合特征提取器包括：
[0014]将输入的图像经过多层卷积降采样到原始输入的
1/4
尺度；
[0015]所述
1/4
尺度的特征在随后的卷积中不断融入更低尺度的特征
。
[0016]进一步地，所述更低尺度的特征包括
1/8
尺度的特征
、1/16
尺度的特征和
1/32
尺度的特征
。
[0017]进一步地，所述建立基于目标计数约束的多目标检测
、
跟踪模型包括：
[0018]将目标计数作为辅助任务加入到检测和跟踪任务中；
[0019]每一个尺度的特征图有多个输出，所述多个结果包括目标检测
、
目标计数和目标重识别特征；其中，所述目标检测包括目标热力图
、
尺寸偏移和目标得分；所述目标计数输出目标密度图，所述目标密度图中所有高亮点数目之和等于所述检测场景中的目标个数
。
[0020]进一步地，所述步骤二包括：
[0021]利用所述目标检测与多目标跟踪模型，对每个范式中的核心交互物体进行检测跟踪，生成每一帧图像的前景作为辅助特征，与原始视频特征共同送入动作模型主干网络进行进一步的融合，然后输出分割结果
。
[0022]进一步地，所述步骤二还包括：
[0023]对
RGB
原始特征进行全局的时空特征提取，对多目标跟踪结果进行目标感知时空特征提取，计算全局特征与局部目标感知之间的差异：
[0024]L
c
＝
f
g
‑
f
t
[0025]其中，
f
g
为全局特征，
f
t
为局部目标特征，
L
c
为全局特征与局部目标感知之间的差异损失；
[0026]将所述全局特征与所述局部目标特征进行连接，随后送入双分支多阶段级联动作分割网络，其中，所述双分支多阶段级联动作分割网络包括动作转换分支和多阶段级联分割分支；
[0027]所述双分支多阶段级联动作分割网络产生多阶段的全局特征与局部目标感知之间的差异损失之和：
[0028][0029]其中，
L
i
为第
i
个级联阶段的损失，
w
i
为第...

【技术保护点】

【技术特征摘要】
1.
一种基于目标感知的标志行为检测方法，其特征在于，包括以下步骤：步骤一
、
建立检测场景下的目标检测与多目标跟踪模型；步骤二
、
建立拥有目标感知能力的动作分割模型；步骤三
、
建立基于迁移学习的动作分割增强模型；步骤四
、
基于动作分割融合分析进行标志行为检测；其中，所述步骤一包括建立多层深度聚合特征提取器
、
建立基于目标计数约束的多目标检测
、
跟踪模型；所述多层深度聚合特征提取器使用多层深度聚合结构对所述检测场景中的多个目标在不同的特征尺度输出目标热力图
、
尺寸偏移和目标得分，然后通过融合解决多尺度目标检测；所述多目标检测
、
跟踪模型利用所述多层深度聚合特征提取器将检测和跟踪任务建立在相同的深度学习框架之下
。2.
如权利要求1所述的标志行为检测方法，其特征在于，所述建立多层深度聚合特征提取器包括：将输入的图像经过多层卷积降采样到原始输入的
1/4
尺度；所述
1/4
尺度的特征在随后的卷积中不断融入更低尺度的特征
。3.
如权利要求2所述的标志行为检测方法，其特征在于，所述更低尺度的特征包括
1/8
尺度的特征
、1/16
尺度的特征和
1/32
尺度的特征
。4.
如权利要求1所述的标志行为检测方法，其特征在于，所述建立基于目标计数约束的多目标检测
、
跟踪模型包括：将目标计数作为辅助任务加入到检测和跟踪任务中；每一个尺度的特征图有多个输出，所述多个结果包括目标检测
、
目标计数和目标重识别特征；其中，所述目标检测包括目标热力图
、
尺寸偏移和目标得分；所述目标计数输出目标密度图，所述目标密度图中所有高亮点数目之和等于所述检测场景中的目标个数
。5.
如权利要求1所述的标志行为检测方法，其特征在于，所述步骤二包括：利用所述目标检测与多目标跟踪模型，对每个范式中的核心交互物体进行检测跟踪，生成每一帧图像的前景作为辅助特征，与原始视频特征共同送入动作模型主干网络进行进一步的融合，然后输出分割结果
。6.
如权利要求6所述的标志行为检测方法，其特征在于，所述步骤二还包括：对
RGB
原始特征进行全局的时空特征提取，对多目标跟踪结果进行目标感知时空特征提取，计算全局特征与局部目标感知之间的差异：
L
c
＝
f
g
‑
f
t

【专利技术属性】
技术研发人员：刘洪海，任卫红，姜渭博，陈博文，
申请(专利权)人：交浦科技深圳有限公司，
类型：发明
国别省市：