孤独症干预训练元宇宙系统技术方案

本发明专利技术公开孤独症干预训练元宇宙系统

【技术实现步骤摘要】
孤独症干预训练元宇宙系统、学习监测和个性化推荐方法


[0001]本专利技术属于元宇宙教育
，更具体地，涉及孤独症干预训练元宇宙系统
、
学习监测和个性化推荐方法
。

技术介绍

[0002]孤独症儿童是一种广泛性神经发育障碍，社会互动障碍是其核心症状之一，目前尚无有效药物可以治愈孤独症，只能靠传统的干预训练辅助治疗
。
随着孤独症发病率越来越高，对教育康复的需求也不断增加
。
元宇宙为孤独症儿童提供了一种路径
。
[0003]目前孤独症儿童社交干预技术都存在以下问题：首先，缺乏对虚实相融社会互动场景的一种仿真与个性化活动的智能切换和推荐，来帮助他们提前或直接面对与适应不同的生活场景以及发展社交技能；其次，在现有技术解决方案上，基于元宇宙的方法没有考虑到孤独症儿童在社交干预过程中的学习状态监控，缺少通过模式识别和智能推荐技术实时跟踪与监控孤独症儿童在教育干预中的多模态社交表现，致使不能根据其状态来自适应调节学习内容以满足不同儿童个体的核心需求
。

技术实现思路

[0004]针对现有技术的缺陷，本专利技术的目的在于提供孤独症干预训练元宇宙系统
、
学习监测和个性化推荐方法，旨在解决现有方法无法根据用户状态自适应调节学习内容的问题
。
[0005]为实现上述目的，第一方面，本专利技术提供了一种孤独症干预训练元宇宙中学习状态实时监测方法，包括：
[0006]获取用户在与元宇宙仿真资源互动过程中产生的多模态行为数据；
[0007]从多模态行为数据中提取多模态特征数据；
[0008]对多模态特征数据进行多维度指标评分计算，得到的各维度指标评分用于实时反映用户学习状态
。
[0009]优选地，所述元宇宙仿真资源包括：虚拟角色模型库
、
虚拟角色语料库
、
多主题社交互动场景库
、
多场域互动切换模式和标准姿态库；
[0010]所述虚拟角色模型库包括不同虚拟角色，以供用户自由选择，选中的虚拟角色参与社交互动；
[0011]所述虚拟角色语料库包括不同年龄段的角色配音，以供用户自由选择，选中的配音配合选中的虚拟角色；
[0012]所述多主题社交互动场景库包括用户日常生活中不同主题下不同场景的模拟，按照学习内容推荐结果来更新干预主题和场景，以使用户在不同的主题中训练社交能力；
[0013]所述多场域互动切换模式包括单面墙交互
、
地面交互
、L
型墙面交互
、
三面以上墙面交互，与更新的干预主题和场景适配，实现多场域社交情景的切换或更替；
[0014]所述标准姿态库包括社会交流中行为举止的标准姿态，用于比对用户所产生的行
为是否规范，以从比对结果获得用户的行为状态
。
[0015]需要说明的是，通过元宇宙理念下的虚实相融技术，实现孤独症儿童在完全沉浸式的社会互动情境下的干预训练
。
[0016]优选地，所述多模态行为数据包括：一次干预训练中用户在元宇宙中的头部旋转角度
、
注意力脱离目标物体的时间戳
、
一次形成注视或凝视时的时间戳
、HandRight/Left、HeadRight/Left、FootRight/Left
六个骨骼节点的三维坐标
、
漫游总时长
、
移动总距离
、
移动总步数
、
站立总时长
、
面部情绪特征类型
、
在无帮助和有帮助下的用户在当前活动中各任务的得分
。
[0017]优选地，所述从多模态行为数据中提取多模态特征数据，具体为：
[0018]①
一次活动中用户的专注效率
T
：
[0019]T
＝
∑1*(H
t
＜
30
°
)/T
all
，
t∈[1
，
T
all
][0020]其中，1表示产生有效注视，
H
t
为用户头部在垂直方向上的旋转角度，当小于
30
度时括号内值取1，若大于
30
度时括号内值取0，
T
all
为当前活动中注视和未注视次数，
t
为用户活动中头部旋转次数；
[0021]②
一次活动中用户手眼脚协调能力
C
：
[0022]c
＝
∑
α
j
[0023][0024][0025][0026]其中，
P
为当前采集的姿态集合，
P
j
为采集到的第
j
个姿态，
m
为采集姿态数量，
Q
为标准姿态库，
Q
i
为标准姿态库中第
i
个姿态，
n
为标准姿态数量，
α
为姿态是否符合标准的标识，
D(P
j
，
Q
i
)
为判定
P
j
和
Q
i
的一致性，
Z
为预设阈值；
[0027]③
一次活动中用户面部情绪和移动行为综合值
P
：
[0028]P
＝
M*∑E
i
[0029]M
＝
ASL*ASS
[0030][0031][0032]F
i
＝
argmax
c∈{
正向，负向，中性
}
f
c
(KPCA(x
i
))
[0033][0034]其中
M
为移动行为，
E
为各种情绪标识，
ASL
为元宇宙中用户移动的平均步幅长度，
ASS
为元宇宙中用户移动的平均步幅速度，
MRoute
为移动总距离，
MRouteB
为移动总步数，
MDuration
为漫游总时长，
StanceDuration
为站立总时长，
F
为决策出的情绪类型，
f
c
为类别
c
的
SVM
分类器决策函数，
KPCA
为降维算法，
x
i
为一次活动中第
i
个用户面部图像，下标
i
表示与
x
i
对应的量；
[0035]④
一次本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种孤独症干预训练元宇宙中学习状态实时监测方法，其特征在于，包括：获取用户在与元宇宙仿真资源互动过程中产生的多模态行为数据；从多模态行为数据中提取多模态特征数据；对多模态特征数据进行多维度指标评分计算，得到的各维度指标评分用于实时反映用户学习状态
。2.
如权利要求1所述的方法，其特征在于，所述元宇宙仿真资源包括：虚拟角色模型库
、
虚拟角色语料库
、
多主题社交互动场景库
、
多场域互动切换模式和标准姿态库；所述虚拟角色模型库包括不同虚拟角色，以供用户自由选择，选中的虚拟角色参与社交互动；所述虚拟角色语料库包括不同年龄段的角色配音，以供用户自由选择，选中的配音配合选中的虚拟角色；所述多主题社交互动场景库包括用户日常生活中不同主题下不同场景的模拟，按照学习内容推荐结果来更新干预主题和场景，以使用户在不同的主题中训练社交能力；所述多场域互动切换模式包括单面墙交互
、
地面交互
、L
型墙面交互
、
三面以上墙面交互，与更新的干预主题和场景适配，实现多场域社交情景的切换或更替；所述标准姿态库包括社会交流中行为举止的标准姿态，用于比对用户所产生的行为是否规范，以从比对结果获得用户的行为状态
。3.
如权利要求1所述的方法，其特征在于，所述多模态行为数据包括：一次干预训练中用户在元宇宙中的头部旋转角度
、
注意力脱离目标物体的时间戳
、
一次形成注视或凝视时的时间戳
、HandRight/Left、HeadRight/Left、FootRight/Left
六个骨骼节点的三维坐标
、
漫游总时长
、
移动总距离
、
移动总步数
、
站立总时长
、
面部情绪特征类型
、
在无帮助和有帮助下的用户在当前活动中各任务的得分
。4.
如权利要求3所述的方法，其特征在于，所述从多模态行为数据中提取多模态特征数据，具体为：
①
一次活动中用户的专注效率
T
：
T
＝
∑1*(H
t
<30
°
)/T
all
，
t∈[1,T
all
]
其中，1表示产生有效注视，
H
t
为用户头部在垂直方向上的旋转角度，当小于
30
度时括号内值取1，若大于
30
度时括号内值取0，
T
all
为当前活动中注视和未注视次数，
t
为用户活动中头部旋转次数；
②
一次活动中用户手眼脚协调能力
C
：
C
＝
∑
α
jjj
其中，
P
为当前采集的姿态集合
,P
j
为采集到的第
j
个姿态，
m
为采集姿态数量，
Q
为标准姿态库，
Q
i
为标准姿态库中第
i
个姿态，
n
为标准姿态数量，
α
为姿态是否符合标准的标识，
D(P
j
，
Q
i
)
为判定
P
j
和
Q
i
的一致性，
Z
为预设阈值；
③
一次活动中用户面部情绪和移动行为综合值
P
：
P
＝
M*∑E
i
M
＝
ASL*ASSASL*ASSF
i
＝
argmax
c∈{
正向
,
负向
,
中性
}
f
c
(KPCA(x
i
))
其中
M
为移动行为，
E
为各种情绪标识，
ASL
为元宇宙中用户移动的平均步幅长度，
ASS
为元宇宙中用户移动的平均步幅速度，
MRoute
为移动总距离，
MRouteB
为移动总步数，
MDuration
为漫游总时长，
StanceDuration
为站立总时长，
F
为决策出的情绪类型，
f
c
为类别
c
的
SVM
分类器决策函数，
KPCA
...

【专利技术属性】
技术研发人员：陈靓影，张凯，刘乐元，徐如意，杨宗凯，
申请(专利权)人：华中师范大学，
类型：发明
国别省市：