一种基于仿生原理的机器人眼-头协同注视行为控制方法技术

本发明专利技术公开了一种基于仿生原理的机器人眼

【技术实现步骤摘要】
一种基于仿生原理的机器人眼
‑
头协同注视行为控制方法


[0001]本专利技术属于机器人控制
，具体涉及一种基于仿生原理的机器人眼
‑ꢀ
头协同注视行为控制方法。属于机器人控制技术，通过在给定方向上将机器人的眼
‑
头协调注视行为建模为一个包含异构执行器的双自由度系统。通过设定注视行为的最小神经传导噪声这一条件，求解出机器人眼
‑
头系统运动的最优运动时间和执行器状态序列。该控制算法能够较好地反映人眼
‑
头协调注视行为的主要特征，实现机器人与人之间和谐自然的交互。

技术介绍

[0002]如今，设计用于社交互动的机器人已应用于广泛的场景中，而机器人的注视行为是机器人与人进行社会交互中的关键组成部分。但就目前的研究而言，无论是通过训练深度学习来生成机器人的面部表情，还是使用大量观测数据集的拟合人的视线转移行为模型，都存在着缺乏实际模型支持与过度拟合等问题。很多市面上可见的机器人装备有模仿人类的眼睛构造的机械眼或者其他部件，但是实际表现出的注视行为却仍显得生硬乃至惊悚。造成这种现象的原因有两个，首先人类在社交过程中包含大量的细微动作或者微表情，这些都是机械部件难以模仿的；其次，人类的注视行为是由眼睛、颈部乃至躯干共同参与完成的，这种由多种异构执行部件参与的动态过程必然遵循某种底层的生理机制。违背这种底层生理机制产生的注视行为，肯定会显得不自然，进而影响机器人的观感乃至交互效果。除此之外，对于如何将注视行为应用于实际的社交场景，大多数研究通常是针对一个人和一个机器人之间的相互作用，这显然无法满足多用户社交场景中机器人的社交需求。基于上述背景，本专利将重点放在对机器人注视行为中眼头协同机制的建模和求解上，从神经传导的角度来模拟人类的注视行为和眼头协同机制，最终得到机器人在多目标交互场景下的注视行为的控制方法。

技术实现思路

[0003]本专利技术的目的是在机器人多目标社会交互场景下，本着最小化神经传导噪声这一原则，协调并预测机器人的眼
‑
头运动，这包括预测眼
‑
头移动的持续时间，得出眼睛
‑
头部的角度划分并确定注视转移行为与初始位置的关系。
[0004]为了实现上述目的，本专利技术采用以下技术方案：
[0005]一种基于仿生原理的机器人眼
‑
头协同注视行为控制方法，包括静态注视场景控制方法和注视转移场景控制方法，
[0006]所述静态注视场景控制方法，具体为：
[0007]首先机器人通过摄像头实时获取社交对象A的空间坐标P＝(d，w，h)，然后机器人通过以下公式求解静态注视场景中机器人对社交对象的眼部运动焦线的偏转角β
Hor
和β
Ver
以及眼球旋转角度[α
R
，θ
R
，α
L
，θ
L
]，依据偏转角和眼球旋转角度使机器人的眼球视线能够实时跟随社交对象A移动，
[0008]β
Hor
＝tan
‑1(d/w)
[0009][0010][0011]α
R
＝tan
‑1(2d/(W+2w))
[0012][0013][0014]其中，W瞳孔距离，社交对象的空间坐标P＝(d，w，h)；
[0015]所述注视转移场景控制方法，具体为：
[0016]首先，机器人通过摄像头实时获取社交对象A的空间坐标P＝(d，w，h)以及社交对象B的空间坐标P
′
＝(d
′
，w
′
，h
′
)，然后机器人按照步骤(1)
‑
(5)求解从社交对象A看向社交对象B机器人眼
‑
头系统运动的最优运动时间和最优状态序列：
[0017](1)建立单独运动状态下，眼部运动的最优控制时间方程：
[0018][0019][0020][0021][0022][0023][0024][0025][0026]式中，其中x
eye
分别为双目焦线的加速度、速度和位置，u
e
为驱动眼肌运动的神经控制信号，A为系数，h
E
(x
e
，u
e
，t)表示单独运动状态下眼部运动的最优控制时间方程J
SDN
对应的哈密顿函数，是拉格朗日乘数的向量，A
e
、B
e
为眼球自身运动特征方程的参数，L
e
为眼球的神经信号传导时伴随着噪声，为给定边界条件下双目焦线的运动轨迹，为给定边界条件下眼部运动最优控制信号，为给定边界条件下眼部运动的最优协态矢量，t
f
为最优控制时间，τ即为t
f
，为拉格朗日乘数的一阶导数，
[0027](2)解析方程组(11)
‑
(15)求解单独运行状态下双目焦线偏转角β
Hor
与最优控制时间的关系；
[0028](3)建立单独运动状态下，头部运动的最优控制时间方程：
[0029][0030][0031][0032][0033][0034][0035][0036][0037]式中，其中和x
head
是头部在单一方向上的加速度、速度和旋转角度，u
h
为驱动头部运动的神经控制信号，B为系数， h
H
(x
h
，u
h
，t)为单独运动状态下头部运动的最优控制时间方程J
SDN
对应的哈密顿函数，是拉格朗日乘数的向量，A
h
、B
h
为头部自身运动特征方程的参数，L
h
为头部的神经信号传导时伴随着噪声，为给定边界条件下头部的运转轨迹，为给定边界条件下头部运动最优控制信号，为给定边界条件下头部运动的最优协态矢量，为拉格朗日乘数的一阶导数，t
f
为最优控制时间，τ即为t
f
，为拉格朗日乘数的一阶导数，
[0038](4)通过求解以上方程组(19)
‑
(23)，求解单独运行状态下头部旋转角γ
Hor
与运行时间的关系；
[0039](5)通过将步骤(2)中单独运行状态下双目焦线偏转角β
Hor
与最优控制时间的关系以及(4)中单独运行状态下头部旋转角γ
Hor
与运行时间的关系进行线性拟合，得到转动角度δ与最优运行时间t
f
的关系：
[0040](5)建立眼睛和头部共同运动的最优控制信号方程：
[0041]h
E
‑
H
(x，u，t)＝λ
T
(t)[Ax+Bu]+L
ꢀꢀ
(25)
[0042][本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于仿生原理的机器人眼
‑
头协同注视行为控制方法，其特征在于，包括静态注视场景控制方法和注视转移场景控制方法，所述静态注视场景控制方法，具体为：首先机器人通过摄像头实时获取社交对象A的空间坐标P＝(d，w，h)，然后机器人通过以下公式求解静态注视场景中机器人对社交对象的眼部运动焦线的偏转角β
Hor
和β
Ver
以及眼球旋转角度[α
R
，θ
R
，α
L
，θ
L
]，依据偏转角和眼球旋转角度使机器人的眼球视线能够实时跟随社交对象A移动，β
Hor
＝tan
‑1(d/w)(d/w)α
R
＝tan
‑1(2d/(W+2w))(2d/(W+2w))其中，W瞳孔距离，社交对象的空间坐标P＝(d，w，h)；所述注视转移场景控制方法，具体为：首先，机器人通过摄像头实时获取社交对象A的空间坐标P＝(d，w，h)以及社交对象B的空间坐标P
′
＝(d
′
，w
′
，h
′
)，然后机器人按照步骤(1)
‑
(5)求解从社交对象A看向社交对象B机器人眼
‑
头系统运动的最优运动时间和最优状态序列：(1)建立单独运动状态下，眼部运动的最优控制时间方程：控制时间方程：控制时间方程：控制时间方程：控制时间方程：控制时间方程：控制时间方程：控制时间方程：式中，其中x
eye
分别为双目焦线的加速度、速度和位置，u
e
为驱动眼肌运动的神经控制信号，A为系数，h
E
(x
e
，u
e
，t)表示单独运动状态下眼部运动的最优控制时间方程J
SDN
对应的哈密顿函数，是拉格朗日乘数的向量，A
e
、B
e
为眼球自身运动特征方程的参数，L
e
为眼球的神经信号传导时伴随着噪声，为给定边界条件下双目焦线的运动轨迹，为给定边界条件下眼部运动最优控制信号，为给定边界条件下眼部运动的最优协态矢量，t
f
为最优控制时间，τ即为t
f
，为拉格朗日乘数的一阶导
数，(2)解析方程组(11)
‑
(15)求解单独运行状态下双目焦线偏转角β
Hor
与最优控制时间的关系；(3)建立单独运动状态下，头部运动的最优控制时间方程：部运动的最优控制时间方程：部运动的最优控制时间方程：部运动的最优控制时间方程：部运动的最优控制时间方程：部运动的最优控制时间方程：部运动的最优控制时间方程：部运动的最优控制时间方程：式中，其中和x
head
是头部在单一方向上的加速度、速度和旋转角度，u
h
为驱动头部运动的神经控制信号...

【专利技术属性】
技术研发人员：郑晓刚，刘晓瑞，
申请(专利权)人：青岛大学，
类型：发明
国别省市：