一种基于机器学习的交互意图识别方法技术

本发明专利技术公开了一种基于机器学习的交互意图识别方法，通过摄像头采集图像数据，并提取图像数据中潜在交互对象的特征信息，对特征信息进行降维处理得到特征集；将交互意图按照强度逐级分类，并按照分类给特征集样本增加标签；建立模型训练的数据集；将数据集分为训练集和测试集，利用机器学习方法训练交互意图分类模型；训练后，利用测试集对训练后的交互意图分类模型进行测试与评估，完成交互意图分类模型的训练。采用交互意图分类模型对图像数据中的潜在交互对象进行交互意图识别。本发明专利技术具有能够利用视觉信息识别交互意图，提高服务机器人与人交互的自然性与智能性等优点。器人与人交互的自然性与智能性等优点。器人与人交互的自然性与智能性等优点。

【技术实现步骤摘要】
一种基于机器学习的交互意图识别方法


[0001]本专利技术涉及人机交互
，特别的涉及一种基于机器学习的交互意图识别方法。

技术介绍

[0002]仿人服务机器人现已在社会中各领域扮演着重要角色，而其想要融入于人类的社会生活中，并和人们进行智能自然交互，需具备类人的社会环境感知能力，即学习、理解和推理多模态信息的能力，识别出社交环境下人类的交互意图，并能进行自主行为决策。人
‑
机器人交互系统中交互意图的检测和识别有助于提高仿人机器人与人交互的自然性与智能性。交互意图识别即判断视线范围内人员是否有主动交流的意愿并推测出该人员的意愿强度。
[0003]视觉信息是人类获取外部信息的主要途径，人类大脑处理信息的80％以上来自视觉系统。视觉信息的研究在人机交互领域非常流行，之前已有研究分析了人类的视觉特征信息如情绪、面部表情、肢体动作等与社会交互的关联。因此，如何利用视觉信息让仿人服务机器人更好的理解人的交互意图，并与人进行自然交互成为亟待解决的问题。

技术实现思路

[0004]针对上述现有技术的不足，本专利技术所要解决的技术问题是：如何提供一种能够利用视觉信息识别交互意图，有利于提高仿人机器人与人交互的自然性与智能性的基于机器学习的交互意图识别方法。
[0005]为了解决上述技术问题，本专利技术采用了如下的技术方案：
[0006]一种基于机器学习的交互意图识别方法，其特征在于，先通过摄像头采集图像数据，再采用基于机器学习的交互意图分类模型对图像数据中的潜在交互对象进行交互意图识别；所述交互意图分类模型的训练步骤如下：
[0007]S1、通过摄像头采集图像数据，并提取图像数据中潜在交互对象的视线、面部朝向、交互距离以及面部表情的特征信息，对特征信息进行降维处理得到特征集；
[0008]S2、将交互意图按照强度逐级分类，并按照分类给特征集样本增加标签；
[0009]S3、重复步骤S1和S2，获取包含所述特征集的数据集；
[0010]S4、将数据集分为训练集和测试集，基于机器学习方法，利用训练集训练交互意图分类模型；训练后，利用测试集对训练后的交互意图分类模型进行测试，完成交互意图分类模型的训练。
[0011]进一步的，所述特征集包含的视觉特征数据{R
g
,R
p
,D,E}，R
g
为视线注意力偏移系数，R
p
为面部朝向注意力偏移系数，D为社交距离，E为表情交互意图量化参考值。
[0012]作为优化，所述视线注意力偏移系数R
g
为交互对象的视线落点与摄像头竖直平面中心的偏移距离，并满足下式：
[0013][0014]式中，(p
xl
,p
yl
,p
zl
)、(p
xr
,p
yr
,p
zr
)别为相机坐标系下潜在交互对象的左右眼瞳孔坐标，V
GL
＝[v
xl v
yl v
zl
]和V
GR
＝[v
xr v
yr v
zr
]分别为潜在交互对象的左眼视线和右眼视线的方向向量。
[0015]作为优化，所述面部朝向的注意力偏移系数R
p
为交互对象的面部朝向落点与摄像头竖直平面中心的偏移距离，并满足下式：
[0016][0017]式中，(f
x
,f
y
,f
z
)为潜在交互对象在相机坐标系下的面部中心坐标，[α,β,γ]为面部朝向的方位角。
[0018]作为优化，所述社交距离D满足下式：
[0019][0020]式中，(d
x
,d
y
,d
z
)相机坐标系下潜在目标对象人脸中心点的坐标。
[0021]作为优化，所述面部表情包括高兴、愤怒、自然、惊讶、伤心、厌恶和恐惧，并根据交互意图划分为接近型、中立型和回避型，所述表情交互意图量化参考值E为各面部表情所对应的交互意图的量化值，并满足下表：
[0022][0023]作为优化，所述步骤S4中，还包括如下步骤：
[0024]对训练后的交互意图分类模型进行SHAP可解释性分析，分别统计数据集中的视线和面部朝向的SHAP值分布，拟合面部朝向的SHAP值的分布曲线和视线的SHAP值的分布曲线，并根据专家经验对分布曲线进行调整，得到面部朝向与视线的交互意图隶属度曲线，根据隶属度曲线将面部朝向和视线的特征数据归一化至[0,1]区间，得到特征数据A
p
和A
g
；合并视线特征与面部朝向特征，得到视觉注意力特征A
pg
＝A
g
+A
p
‑
A
g
A
p
；
[0025]将特征集的参数更新为{A
p
,A
g
,D,E}、{A
pg
,D,E}或{A
p
,A
g
,A
pg
,D,E}，用更新后的数据集对交互意图分类模型进行二次训练和测试，完成交互意图分类模型的优化。
[0026]作为进一步优化，根据社交距离D划分对应的交互意图隶属度A
d
，并满足下表：
[0027][0028]在进行二次训练前，将特征集的参数更新为{A
p
,A
g
,A
d
,E}、{A
pg
,A
d
,E}或{A
p
,A
g
,A
pg
,A
d
,E}。
[0029]作为优化，采用训练好的交互意图分类模型做分类预测时，t时刻交互意图强度的稳定分类结果Y
s
满足下式：
[0030]Y
s
＝f(Ω
t
‑
n
)
[0031]其中，Ω
t
‑
n
＝{Y
t
‑1,Y
t
‑2,...,Y
t
‑
n
}为t时刻前n帧图像中的潜在交互对象的交互意图分类结果，f(Ω
t
‑
n
)为Ω
t
‑
n
的众数；
[0032]以稳定识别结果Y
s
作为t时刻的交互意图分类结果输出。
[0033]进一步的，识别时，t时刻的交互意图识别结果Y为：
[0034][0035]式中，i表示帧数，Y
t
‑
i
为t时刻之前的第i帧图像中潜在交互对象的交互意图分类结果，max{x
t
‑本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于机器学习的交互意图识别方法，其特征在于，先通过摄像头采集图像数据，再采用基于机器学习的交互意图分类模型对图像数据中的潜在交互对象进行交互意图识别；所述交互意图分类模型的训练步骤如下：S1、通过摄像头采集图像数据，并提取图像数据中潜在交互对象的视线、面部朝向、交互距离以及面部表情的特征信息，对特征信息进行降维处理得到特征集；S2、将交互意图按照强度逐级分类，并按照分类给特征集样本增加标签；S3、重复步骤S1和S2，获取包含所述特征集的数据集；S4、将数据集分为训练集和测试集，基于机器学习方法，利用训练集训练交互意图分类模型；训练后，利用测试集对训练后的交互意图分类模型进行测试，完成交互意图分类模型的训练。2.如权利要求1所述的基于机器学习的交互意图识别方法，其特征在于，所述特征集包含的视觉特征数据{R
g
,R
p
,D,E}，R
g
为视线注意力偏移系数，R
p
为面部朝向注意力偏移系数，D为社交距离，E为表情交互意图量化参考值。3.如权利要求2所述的基于机器学习的交互意图识别方法，其特征在于，所述视线注意力偏移系数R
g
为交互对象的视线落点与摄像头竖直平面中心的偏移距离，并满足下式：式中，(p
xl
,p
yl
,p
zl
)、(p
xr
,p
yr
,p
zr
)别为相机坐标系下潜在交互对象的左右眼瞳孔坐标，V
GL
＝[v
xl v
yl v
zl
]和V
GR
＝[v
xr v
yr v
zr
]分别为潜在交互对象的左眼视线和右眼视线的方向向量。4.如权利要求2所述的基于机器学习的交互意图识别方法，其特征在于，所述面部朝向的注意力偏移系数R
p
为交互对象的面部朝向落点与摄像头竖直平面中心的偏移距离，并满足下式：式中，(f
x
,f
y
,f
z
)为潜在交互对象在相机坐标系下的面部中心坐标，[α,β,γ]为面部朝向的方位角。5.如权利要求2所述的基于机器学习的交互意图识别方法，其特征在于，所述社交距离D满足下式：式中，(d
x
,d
y
,d
z
)相机坐标系下潜在目标对象人脸中心点的坐标。6.如权利要求2所述的基于机器学习的交互意图识别方法，其特征在于，所述面部表情包括高兴、愤怒、自然、惊讶、伤心、厌恶和恐惧，并根据交互意图划分为接近型、中立型和回避型，所述表情交互意图量化参考值E为各面部表情所对应的交互意图的量化值，并满足下表：
7.如权利要求2所述的基于机器学习的交互意图识别方法，其特征在于，所述步骤S4中，还包括如下步骤：对训练后的交互意图分类模型进行...

【专利技术属性】
技术研发人员：何苗，毕健，胡方超，丁军，王玉金，
申请(专利权)人：重庆理工大学，
类型：发明
国别省市：