基于深度学习的眼球操动作识别方法、装置及相关设备制造方法及图纸

本发明专利技术涉及人工智能技术领域，提供一种基于深度学习的眼球操动作识别方法、装置及相关设备，所述方法包括：构建预训练轻量化模型，基于第二人脸图像集训练预训练轻量化模型，得到目标轻量化模型；获取待识别眼球操视频和眼球操类型；基于待识别眼球操视频确定多个目标视频帧，将每个目标视频帧输入至目标轻量化模型中进行识别，得到当前用户眼睛的目视方向值；基于多个目视方向值识别当前用户眼睛的眼球操动作，得到当前用户眼睛的目光路径；识别当前用户眼睛的目光路径，记录眼球操动作的达标次数。本发明专利技术通过构建预训练轻量化模型，识别到当前用户眼睛的目视方向值，提高了眼球操动作的识别效率和准确率。作的识别效率和准确率。作的识别效率和准确率。

【技术实现步骤摘要】
基于深度学习的眼球操动作识别方法、装置及相关设备


[0001]本专利技术涉及人工智能
，具体涉及一种基于深度学习的眼球操动作识别方法、装置及相关设备。

技术介绍

[0002]目前线上教学和居家办公逐步增加，准确的进行眼球操动作变的尤为重要，现有的眼睛和眼球的识别和检测算法都比较复杂，大多首先检测眼睛的位置，然后把眼睛区域的图像抠出来，进而标定黑色眼球的位置。
[0003]然而，现有技术在进行黑色眼球位置的标定时，仍然会出现较大误差，且对阈值的设定十分敏感，在眼球操的识别过程中很容易出现错判和漏计数，导致眼球操识别的准确率低。
[0004]因此，有必要提出一种可以快速准确的识别眼球操的方向。

技术实现思路

[0005]鉴于以上内容，有必要提出一种基于深度学习的眼球操动作识别方法、装置及相关设备，通过构建预训练轻量化模型，识别到当前用户眼睛的目视方向值，提高了眼球操动作的识别效率和准确率。
[0006]本专利技术的第一方面提供一种基于深度学习的眼球操动作识别方法，所述方法包括：
[0007]获取第一人脸图像集，并对所述第一人脸图像集进行目视方向值标注，得到第二人脸图像集；
[0008]构建预训练轻量化模型，基于所述第二人脸图像集训练所述预训练轻量化模型，得到目标轻量化模型；
[0009]响应于接收到的眼球操识别请求，获取待识别眼球操视频；
[0010]基于所述待识别眼球操视频确定多个目标视频帧，并依次将每个目标视频帧输入至所述目标轻量化模型中，得到每个目标视频帧中当前用户眼睛的目视方向值；
[0011]基于所述多个目标视频帧中当前用户眼睛的多个目视方向值识别所述当前用户眼睛的眼球操动作，得到所述当前用户眼睛的目光路径；
[0012]识别所述当前用户眼睛的目光路径，并记录眼球操动作的达标次数。
[0013]可选地，所述构建预训练轻量化模型包括：
[0014]获取初始轻量化模型，将所述初始轻量化模型中的最后一层分类层替换为两个节点的回归层，得到预训练轻量化模型。
[0015]可选地，所述依次将每个目标视频帧输入至所述目标轻量化模型中，得到每个目标视频帧中当前用户眼睛的目视方向值包括：
[0016]按照所述多个目标视频帧的时间先后顺序，依次将每个目标视频帧输入至所述目标轻量化模型中，得到每个目标视频帧中所述当前用户眼睛的目视方向值。
[0017]可选地，所述基于所述多个目标视频帧中当前用户眼睛的多个目视方向值识别所述当前用户眼睛的眼球操动作，得到所述当前用户眼睛的目光路径包括：
[0018]获取预设的目视方向二维空间图，其中，所述目视方向二维空间图中包含有多个区域及每个区域标号；
[0019]按照时间先后顺序对所述多个目标视频帧进行排序，得到目标队列；
[0020]从所述目标队列的队头开始，逐个将每个目标视频帧中当前用户眼睛的目视方向值映射到所述目视方向二维空间图中，获取每个目标视频帧中当前用户眼睛位于所述目视方向二维空间图中的目标区域的目标标号；
[0021]依获取每个目标视频帧中当前用户眼睛的目标标号的顺序，将多个目标标号进行连接，生成所述当前用户眼睛的目光路径。
[0022]可选地，所述识别所述当前用户眼睛的目光路径，并记录眼球操动作的达标次数包括：
[0023]当所述待识别眼球操视频的眼球操类型为第一眼球操作类型时，获取第一眼球操作类型对应的有效区域、无效区域、忽略区域；
[0024]从所述目光路径的第一个节点开始依次识别，当识别到所述目光路径的节点第一次落入有效区域时，将第一次落入的节点确定为起始位置；
[0025]当识别到所述起始位置的下一个节点落入有效区域，且所述起始位置的下一个节点的目标标号与所述起始位置的目标标号不一致时，将所述起始位置的下一个节点确定为结束位置；或者当识别到所述起始位置的下一个节点落入忽略区域时，忽略所述起始位置的下一个节点，以所述目光路径的节点的顺序重新确定初始节点的下一个节点并进行识别；或者当识别到所述起始位置的下一个节点落入无效区域时，以所述目光路径的节点的顺序重新确定起始位置并进行识别；
[0026]当识别到所述结束位置的下一个节点落入有效区域，且与所述起始位置的目标标号一致时，确定为一次达标的眼球操动作，并计数一次，依次类推，记录眼球操动作的达标次数。
[0027]可选地，所述识别所述当前用户眼睛的目光路径，并记录眼球操动作的达标次数包括：
[0028]当所述待识别眼球操视频的眼球操类型为第二眼球操作类型时，获取所述第二眼球操作类型对应的有效区域的第一目标值；
[0029]获取每个节点的目标标号，以获取的目标标号的顺序进行连接，得到第一路径；
[0030]将所述第一路径的第一个节点确定为当前节点，依次识别所述目光路径的每个节点；
[0031]判断所述第一路径中当前节点的下一个节点的目标标号是否大于当前节点的目标标号；
[0032]当所述第一路径中当前节点的下一个节点的目标标号大于当前节点的目标标号时，计算所述当前节点的下一个节点的目标标号与所述第一目标值的差值，得到所述当前节点的下一个节点的新的目标标号；
[0033]基于所述当前节点的下一个节点更新所述第一路径中的目标标号，得到第二路径；
[0034]将所述第二路径的第一个节点确定为当前节点，从所述第二路径的当前节点开始依次识别；
[0035]计算所述当前节点的下一个节点的目标标号与所述当前节点的目标标号的差值；
[0036]当计算得到的差值大于或者等于预设的第一阈值时，将当前节点确定为起始位置；
[0037]以所述第二路径的节点的顺序将当前节点的下一个节点重新确定为当前节点，重复执行所述计算所述当前节点的下一个节点的目标标号与所述当前节点的目标标号的差值，当计算得到的差值大于或者等于预设的第一阈值时，将当前节点确定为起始位置的目标节点，直至目标节点的目标标号与起始位置的目标标号一致时，确定为一次达标的眼球操动作，并计数一次，依次类推，记录眼球操动作的达标次数。
[0038]可选地，所述识别所述当前用户眼睛的目光路径，并记录眼球操动作的达标次数包括：
[0039]当所述待识别眼球操视频的眼球操类型为第三眼球操作类型时，获取所述第三眼球操作类型对应的有效区域的第二目标值；
[0040]获取每个节点的目标标号，以获取的目标标号的顺序进行连接，得到第三路径；
[0041]将所述第三路径的第一个节点确定为当前节点，依次识别所述目光路径的每个节点；
[0042]判断所述第三路径中当前节点的下一个节点的目标标号是否小于当前节点的目标标号；
[0043]当所述第三路径中当前节点的下一个节点的目标标号小于当前节点的目标标号时，计算所述当前节点的下一个节点的目标标号和所述目标值之和，得到所述当前节点的下一个节点的新的目标标号；
[0044]基于本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的眼球操动作识别方法，其特征在于，所述方法包括：获取第一人脸图像集，并对所述第一人脸图像集进行目视方向值标注，得到第二人脸图像集；构建预训练轻量化模型，基于所述第二人脸图像集训练所述预训练轻量化模型，得到目标轻量化模型；响应于接收到的眼球操识别请求，获取待识别眼球操视频；基于所述待识别眼球操视频确定多个目标视频帧，并依次将每个目标视频帧输入至所述目标轻量化模型中，得到每个目标视频帧中当前用户眼睛的目视方向值；基于所述多个目标视频帧中当前用户眼睛的多个目视方向值识别所述当前用户眼睛的眼球操动作，得到所述当前用户眼睛的目光路径；识别所述当前用户眼睛的目光路径，并记录眼球操动作的达标次数。2.如权利要求1所述的基于深度学习的眼球操动作识别方法，其特征在于，所述构建预训练轻量化模型包括：获取初始轻量化模型，将所述初始轻量化模型中的最后一层分类层替换为两个节点的回归层，得到预训练轻量化模型。3.如权利要求1所述的基于深度学习的眼球操动作识别方法，其特征在于，所述依次将每个目标视频帧输入至所述目标轻量化模型中，得到每个目标视频帧中当前用户眼睛的目视方向值包括：按照所述多个目标视频帧的时间先后顺序，依次将每个目标视频帧输入至所述目标轻量化模型中，得到每个目标视频帧中所述当前用户眼睛的目视方向值。4.如权利要求1所述的基于深度学习的眼球操动作识别方法，其特征在于，所述基于所述多个目标视频帧中当前用户眼睛的多个目视方向值识别所述当前用户眼睛的眼球操动作，得到所述当前用户眼睛的目光路径包括：获取预设的目视方向二维空间图，其中，所述目视方向二维空间图中包含有多个区域及每个区域标号；按照时间先后顺序对所述多个目标视频帧进行排序，得到目标队列；从所述目标队列的队头开始，逐个将每个目标视频帧中当前用户眼睛的目视方向值映射到所述目视方向二维空间图中，获取每个目标视频帧中当前用户眼睛位于所述目视方向二维空间图中的目标区域的目标标号；依获取每个目标视频帧中当前用户眼睛的目标标号的顺序，将多个目标标号进行连接，生成所述当前用户眼睛的目光路径。5.如权利要求1所述的基于深度学习的眼球操动作识别方法，其特征在于，所述识别所述当前用户眼睛的目光路径，并记录眼球操动作的达标次数包括：当所述待识别眼球操视频的眼球操类型为第一眼球操作类型时，获取第一眼球操作类型对应的有效区域、无效区域、忽略区域；从所述目光路径的第一个节点开始依次识别，当识别到所述目光路径的节点第一次落入有效区域时，将第一次落入的节点确定为起始位置；当识别到所述起始位置的下一个节点落入有效区域，且所述起始位置的下一个节点的目标标号与所述起始位置的目标标号不一致时，将所述起始位置的下一个节点确定为结束
位置；或者当识别到所述起始位置的下一个节点落入忽略区域时，忽略所述起始位置的下一个节点，以所述目光路径的节点的顺序重新确定初始节点的下一个节点并进行识别；或者当识别到所述起始位置的下一个节点落入无效区域时，以所述目光路径的节点的顺序重新确定起始位置并进行识别；当识别到所述结束位置的下一个节点落入有效区域，且与所述起始位置的目标标号一致时，确定为一次达标的眼球操动作，并计数一次，依次类推，记录眼球操动作的达标次数。6.如权利要求1所述的基于深度学习的眼球操动作识别方法，其特征在于，所述识别所述当前用户眼睛的目光路径，并记录眼球操动作的达标次数包括：当所述待识别眼球操视频的眼球操类型为第二眼球操作类型时，获取所述第二眼球操作类型对应的有效区域的第一目标值；获取每个节点的目标标号，以获取的目标标号的顺序进行连接，得到第一路径；将所述第一路径的第一个节点确定为当前节点，依次识别所述目光路径的每个节点；判断所述第一路径中当前节点的下一个节点的目标标号是否大于当前节点的目标标号；当所述第一路径中当前节点的下...

【专利技术属性】
技术研发人员：潘浩，曾凡涛，刘玉宇，肖京，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：