基于人工智能的视线重定向方法及相关设备技术

本申请提出一种基于人工智能的视线重定向方法、装置、电子设备及存储介质，基于人工智能的视线重定向方法包括：依据预设视线采集路径采集眼睛区域图像以获取水平视线图像集和竖直视线图像集，水平视线图像集和竖直视线图像集中各图像的视线方向只在一个方向变化；构建视线估计初始网络，依据自定义损失函数、水平视线图像集和竖直视线图像集对视线估计初始网络进行分阶段训练得到视线估计网络；基于视线估计网络搭建视线重定向初始网络；依据水平视线图像集和竖直视线图像集训练视线重定向初始网络得到视线重定向网络；基于视线重定向网络得到视线重定向结果。本申请能够在无需标注的情况下，障视线重定向精度的同时降低网络的训练难度。络的训练难度。络的训练难度。

【技术实现步骤摘要】
基于人工智能的视线重定向方法及相关设备


[0001]本申请涉及人工智能
，尤其涉及一种基于人工智能的视线重定向方法、装置、电子设备及存储介质。

技术介绍

[0002]视线重定向是通过改变图像中眼睛的瞳孔位置或开合程度来改变视线方向，并获取视线方向改变后的图像，通常应用于视频通话中以确保通信双方始终保持眼神接触。
[0003]目前，在视线重定向网络中，通过无监督的方法提取两张眼睛图像的差异特征，并生成两个视线方向的光流场图像，综合差异特征和光流场图像得到视线重定向结果，然而这种方法由于缺少有效的监督信息，且生成的两个光流场图像大大增加视线重定向网络的参数量，导致网络的训练难度增加，进而降低了视线重定向的精度。

技术实现思路

[0004]鉴于以上内容，有必要提出一种基于人工智能的视线重定向方法及相关设备，以解决如何在保障视线重定向精度的基础上降低训练难度这一技术问题，其中，相关设备包括基于人工智能的视线重定向装置、电子设备及存储介质。
[0005]本申请提供基于人工智能的视线重定向方法，所述方法包括：
[0006]依据预设的视线采集路径采集眼睛区域图像以获取水平视线图像集和竖直视线图像集，所述水平视线图像集中各图像的视线方向只在水平方向不同，所述竖直视线图像集中各图像的视线方向只在竖直方向不同；
[0007]构建视线估计初始网络，并依据自定义损失函数、所述水平视线图像集和所述竖直视线图像集对所述视线估计初始网络进行训练得到视线估计网络；
[0008]基于所述视线估计网络搭建视线重定向初始网络；
[0009]依据均方差损失函数、所述水平视线图像集和所述竖直视线图像集对所述视线重定向初始网络进行训练得到视线重定向网络；
[0010]基于所述视线重定向网络对实时采集的眼睛区域图像进行重定向得到视线重定向结果。
[0011]在一些实施例中，所述依据预设的视线采集路径采集眼睛区域图像以获取水平视线图像集和竖直视线图像集，所述水平视线图像集中各图像的视线方向只在水平方向不同，所述竖直视线图像集中各图像的视线方向只在竖直方向不同，包括：
[0012]固定人员头部位置，在所述人员正前方预设距离且与眼睛视线平齐的位置部署相机，并以相机位置为原点构建二维坐标系；
[0013]在所述人员头部的后上方部署激光发射器，并依据预设程序控制激光发射器在所述二维坐标系中沿着预设的视线采集路径间隔预设时间间隔打上激光点以采集眼睛区域图像；
[0014]将所有激光点的位置信息和对应的眼睛区域图像储存在预设的图像数据库中；
[0015]基于所述激光点位置信息查询所述图像数据库以获取水平视线图像集和竖直视线图像集。
[0016]在一些实施例中，所述自定义损失函数包括第一自定义损失函数、第二自定义损失函数和第三自定义损失函数，所述构建视线估计初始网络，并依据自定义损失函数、所述水平视线图像集和所述竖直视线图像集对所述视线估计初始网络进行训练得到视线估计网络，包括：
[0017]构建视线估计初始网络，所述视线估计初始网络的输入为两张眼睛区域图像，输出为两张眼睛区域图像的视线方向差值，所述视线方向差值包括水平方向的角度偏差和竖直方向的角度偏差；
[0018]基于所述水平视线图像集和所述第一自定义损失函数对所述视线估计初始网络进行第一阶段训练以获取视线估计第一网络；
[0019]当第一阶段训练完成时，基于所述竖直视线图像集和所述第二自定义损失函数对所述视线估计第一网络进行第二阶段训练以获取视线估计第二网络；
[0020]当第二阶段训练完成时，基于所述竖直视线图像集、所述水平视线图像集和所述第三自定义损失函数对所述视线估计第二网络进行第三阶段训练以获取视线估计网络。
[0021]在一些实施例中，所述基于所述水平视线图像集和所述第一自定义损失函数对所述视线估计初始网络进行第一阶段训练以获取视线估计第一网络包括：
[0022]从所述水平视线图像集中挑选任意两张眼睛区域图像分别作为第一输入图像和第二输入图像以构成图像对；
[0023]基于所述第一自定义损失函数对所述视线估计初始网络进行第一阶段训练，所述第一自定义损失函数满足关系式：
[0024][0025]其中，pitch
12
为所述第一输入图像和所述第二输入图像在水平方向的角度偏差，x1为所述第一输入图像的激光点位置信息中的横坐标，x2为所述第二输入图像的激光点位置信息中的横坐标；MAX(pitch)为表示视线方向在水平方向的角度偏差的最大值的预设值；MAX(x)
‑
MIN(x)为所述视线采集路径中横坐标的最大值和最小值的偏差；yaw
12
为所述第一输入图像和所述第二输入图像在竖直方向的角度偏差；Loss1为所述第一自定义损失函数值；
[0026]遍历所述水平视线图像集，当第一自定义损失函数的数值的减小值小于预设阈值时，停止第一阶段训练得到视线估计第一网络。
[0027]在一些实施例中，所述当第一阶段训练完成时，基于所述竖直视线图像集和所述第二自定义损失函数对所述视线估计第一网络进行第二阶段训练以获取视线估计第二网络，包括：
[0028]从所述竖直视线图像集中挑选任意两张眼睛区域图像分别作为第三输入图像和第四输入图像以构成图像对；
[0029]基于所述第二自定义损失函数对所述视线估计第一网络进行第二阶段训练，所述第二自定义损失函数满足关系式：
[0030][0031]其中，yaw
34
为所述第三输入图像和所述第四输入图像在竖直方向的角度偏差，y3为所述第三输入图像的激光点位置信息中的纵坐标，y4为所述第四输入图像的激光点位置信息中的纵坐标；MAX(yaw)为表示视线方向在竖直方向的角度偏差的最大值的预设值；MAX(y)
‑
MIN(y)为所述视线采集路径中纵坐标的最大值和最小值的偏差；所述pitch
34
为所述第三输入图像和所述第四输入图像在水平方向的角度偏差；Loss2为所述第二自定义损失函数值；
[0032]遍历所述竖直视线图像集，当第二自定义损失函数的数值的减小值小于预设阈值时，停止第二阶段训练得到视线估计第二网络。
[0033]在一些实施例中，所述当第二阶段训练完成时，基于所述竖直视线图像集、所述水平视线图像集和所述第三自定义损失函数对所述视线估计第二网络进行第三阶段训练以获取视线估计网络，包括：
[0034]从所述竖直视线图像集和所述水平视线图像集的所有图像中挑选任意两张眼睛区域图像分别作为第五输入图像和第六输入图像以构成图像对；
[0035]基于所述第三自定义损失函数对所述视线估计第二网络进行第三阶段训练，所述第三自定义损失函数满足关系式：
[0036][0037]其中，yaw
56
为所述第五输入图像和所述第六输入图像在竖直方向的角度偏差，y5为所述第五输本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于人工智能的视线重定向方法，其特征在于，所述方法包括：依据预设的视线采集路径采集眼睛区域图像以获取水平视线图像集和竖直视线图像集，所述水平视线图像集中各图像的视线方向只在水平方向不同，所述竖直视线图像集中各图像的视线方向只在竖直方向不同；构建视线估计初始网络，并依据自定义损失函数、所述水平视线图像集和所述竖直视线图像集对所述视线估计初始网络进行训练得到视线估计网络；基于所述视线估计网络搭建视线重定向初始网络；依据均方差损失函数、所述水平视线图像集和所述竖直视线图像集对所述视线重定向初始网络进行训练得到视线重定向网络；基于所述视线重定向网络对实时采集的眼睛区域图像进行重定向得到视线重定向结果。2.如权利要求1所述的基于人工智能的视线重定向方法，其特征在于，所述依据预设的视线采集路径采集眼睛区域图像以获取水平视线图像集和竖直视线图像集，所述水平视线图像集中各图像的视线方向只在水平方向不同，所述竖直视线图像集中各图像的视线方向只在竖直方向不同，包括：固定人员头部位置，在所述人员正前方预设距离且与眼睛视线平齐的位置部署相机，并以相机位置为原点构建二维坐标系；在所述人员头部的后上方部署激光发射器，并依据预设程序控制激光发射器在所述二维坐标系中沿着预设的视线采集路径间隔预设时间阈值打上激光点以采集眼睛区域图像；将所有激光点的位置信息和对应的眼睛区域图像储存在预设的图像数据库中；基于所述激光点位置信息查询所述图像数据库以获取水平视线图像集和竖直视线图像集。3.如权利要求1所述的基于人工智能的视线重定向方法，其特征在于，所述自定义损失函数包括第一自定义损失函数、第二自定义损失函数和第三自定义损失函数，所述构建视线估计初始网络，并依据自定义损失函数、所述水平视线图像集和所述竖直视线图像集对所述视线估计初始网络进行训练得到视线估计网络，包括：构建视线估计初始网络，所述视线估计初始网络的输入为两张眼睛区域图像，输出为两张眼睛区域图像的视线方向差值，所述视线方向差值包括水平方向的角度偏差和竖直方向的角度偏差；基于所述水平视线图像集和所述第一自定义损失函数对所述视线估计初始网络进行第一阶段训练以获取视线估计第一网络；当第一阶段训练完成时，基于所述竖直视线图像集和所述第二自定义损失函数对所述视线估计第一网络进行第二阶段训练以获取视线估计第二网络；当第二阶段训练完成时，基于所述竖直视线图像集、所述水平视线图像集和所述第三自定义损失函数对所述视线估计第二网络进行第三阶段训练以获取视线估计网络。4.如权利要求3所述的基于人工智能的视线重定向方法，其特征在于，所述基于所述水平视线图像集和所述第一自定义损失函数对所述视线估计初始网络进行第一阶段训练以获取视线估计第一网络包括：从所述水平视线图像集中挑选任意两张眼睛区域图像分别作为第一输入图像和第二
输入图像以构成图像对；基于所述第一自定义损失函数对所述视线估计初始网络进行第一阶段训练，所述第一自定义损失函数满足关系式：其中，pitch
12
为所述第一输入图像和所述第二输入图像在水平方向的角度偏差，x1为所述第一输入图像的激光点位置信息中的横坐标，x2为所述第二输入图像的激光点位置信息中的横坐标；MAX(pitch)为表示视线方向在水平方向的角度偏差的最大值的预设值；MAX(x)
‑
MIN(x)为所述视线采集路径中横坐标的最大值和最小值的偏差；yaw
12
为所述第一输入图像和所述第二输入图像在竖直方向的角度偏差；Loss1为所述第一自定义损失函数值；遍历所述水平视线图像集，当第一自定义损失函数的数值的减小值小于预设阈值时，停止第一阶段训练得到视线估计第一网络。5.如权利要求4所述的基于人工智能的视线重定向方法，其特征在于，所述当第一阶段训练完成时，基于所述竖直视线图像集和所述第二自定义损失函数对所述视线估计第一网络进行第二阶段训练以获取视线估计第二网络，包括：从所述竖直视线图像集中挑...

【专利技术属性】
技术研发人员：熊文硕，曾凡涛，刘玉宇，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：