人脸跟踪方法、装置、存储介质以及设备制造方法及图纸

本发明专利技术公开了一种人脸跟踪方法、装置、存储介质以及设备，其中，方法包括：获取当前视频帧图像、以及上一帧视频帧图像的水平方向偏差和垂直方向偏差；确定包围人脸的最小矩形；确定最小矩形的左下角点的坐标以及最小矩形的对角线长度；确定当前视频帧图像的水平方向偏差和垂直方向偏差；确定水平位置调节信号和垂直位置调节信号；调节视频帧图像的获取位置，并以当前视频帧图像作为上一帧视频帧图像，以调节视频帧图像的获取位置后获取的视频帧图像作为当前视频帧图像，继续确定水平位置调节信号和垂直位置调节信号。本发明专利技术可实时动态地调节人脸在视频帧图像中的位置，以实现动态地跟踪人脸，提高人脸跟踪的准确度，提高用户交互体验。

【技术实现步骤摘要】
人脸跟踪方法、装置、存储介质以及设备
本专利技术涉及人脸跟踪
，特别是涉及一种人脸跟踪方法、系统、存储介质以及设备。
技术介绍
随着机器人技术的发展，智能机器人产品已经越来越多地深入到人们生活的各个方面。机器人不只用来帮助使用者高效地完成指定的工作，更被设计为能够与使用者进行语言、动作以及情感的交互的伙伴，其中，教育机器人作为可以激发学生学习兴趣、培养学生综合能力为目标的智能机器受到了广泛推广。人脸作为一种重要的视觉图像，可以传递使用者的年龄、性别、身份以及大部分情感与情绪信息等。因此，在人机交互过程中，教育机器人通过对人脸的定位与跟踪，能够更加有效地对人脸信息进行采集与分析，并更准确地获知使用者的意图，提高人机交互体验，进而提升学生的学习兴趣。专利技术人在进行本专利技术的创造过程中发现：教育机器人对于人脸跟踪仅仅是基于颜色识别跟踪的阶段，导致跟踪不准确的问题，降低了交互体验。
技术实现思路
基于此，本专利技术的目的在于，提供一种人脸跟踪方法，其具有可提高人脸跟踪的准确度，提高了用户交互体验的优点。一种人脸跟踪方法，包括如下步骤：步骤S1：获取当前视频帧图像、以及上一帧视频帧图像的水平方向偏差和垂直方向偏差；步骤S2：从当前视频帧图像中确定出人脸，并根据所述人脸确定包围人脸的最小矩形；步骤S3：根据包围人脸的最小矩形，确定最小矩形的左下角点的坐标以及最小矩形的对角线长度；步骤S4：根据所述最小矩形的左下角点的坐标，确定当前视频帧图像的水平方向偏差和垂直方向偏差；步骤S5：根据对角线长度、当前视频帧图像的水平方向偏差和垂直方向偏差、以及上一帧视频帧图像的水平方向偏差和垂直方向偏差，确定水平位置调节信号和垂直位置调节信号；步骤S6：根据所述水平位置调节信号和垂直位置调节信号调节视频帧图像的获取位置，并以当前视频帧图像作为上一帧视频帧图像，以调节视频帧图像的获取位置后获取的视频帧图像作为当前视频帧图像，回到步骤S1，继续确定水平位置调节信号和垂直位置调节信号。本专利技术根据包围人脸的最小矩形的左下角点的坐标、包围人脸的最小矩形的对角线长度、当前视频帧图像的水平方向偏差和垂直方向偏差、以及上一帧视频帧图像的水平方向偏差和垂直方向偏差，从而确定水平位置调节信号和垂直位置调节信号，进而实时动态地调节人脸在视频帧图像中的位置，使人脸在视频帧图像中的位置尽量保持不变，以实现动态地跟踪人脸，提高了人脸跟踪的准确度，提高了用户交互体验。在一个实施例中，在获取当前视频帧图像后，还判断当前视频帧图像是否为第一帧视频帧图像：若当前视频帧图像是第一帧视频帧图像，则从当前视频帧图像中确定出人脸，且确定当前视频帧图像的水平方向偏差和垂直方向偏差，再获取下一帧视频帧图像作为当前视频帧图像，以第一帧视频帧图像作为上一帧视频帧图像；若当前视频帧图像不是第一帧视频帧图像，才获取上一帧视频帧图像的水平方向偏差和垂直方向偏差。在一个实施例中，所述根据包围人脸的最小矩形，确定最小矩形的对角线长度的方式为：M＝sqrt((x+h)*(x+h)+(y+w)*(y+w))其中，x，y分别表示包围人脸的最小矩形的左下角点的横坐标和纵坐标；h表示所述最小矩形的宽；w表示所述最小矩形的长；sqrt()表示求括号内数值的平方根。在一个实施例中，所述根据所述最小矩形的左下角点的坐标，确定当前视频帧图像的水平方向偏差和垂直方向偏差的方式为：TX＝x-160；TY＝y-120；其中，TX表示当前视频帧图像的水平方向偏差，TY表示当前视频帧图像的垂直方向偏差，x，y分别表示包围人脸的最小矩形的左下角点的横坐标和纵坐标。在一个实施例中，所述确定水平位置调节信号的步骤，包括：步骤S511：根据对角线长度、当前视频帧图像的水平方向偏差、以及上一帧视频帧图像的水平方向偏差，获得水平方向的增量信号；步骤S512：根据水平方向的增量信号，获得水平方向的PWM调节信号；其中，获得所述水平方向的增量信号的计算方式为：PWMX当前帧＝PWMX上一帧+TX*PX+(TX-LX)*DX；上述公式中，PWMX当前帧表示根据当前视频帧图像确定的水平方向的增量信号；PWMX上一帧表示根据上一帧视频帧图像确定的水平增量信号；TX表示当前视频帧图像的水平方向偏差，单位为像素；PX为水平方向的比例系数，当0<M<230像素时，PX＝0.02-0.00002*M；当M≥230像素时，PX＝0.0154，M表示对角线长度，单位为像素；LX表示上一帧的水平方向偏差，单位为像素；DX为水平方向的微分系数，且DX＝0.01。在一个实施例中，所述确定垂直位置调节信号的步骤，包括：根据对角线长度、当前视频帧图像的垂直方向偏差、以及上一帧视频帧图像的垂直方向偏差，获得垂直方向的增量信号；根据垂直方向的增量信号，获得垂直方向的PWM调节信号；其中，获得所述垂直方向的增量信号的计算方式为：PWMY当前＝PWMY上一帧+TY*PY+(TY-LY)*DY；上述公式中，PWMY当前帧表示根据当前视频帧图像确定的垂直方向的增量信号；PWMY上一帧表示根据上一帧视频帧图像确定的垂直方向的增量信号；TY表示当前视频帧图像的垂直方向偏差，单位为像素；PY为垂直方向的比例系数，当0<M<230像素时，PX＝0.02-0.00006*M，当M≥230像素时，PX＝0.0062，M表示对角线长度，单位为像素；LX表示上一帧的垂直方向偏差，单位为像素；DX为垂直方向的微分系数，且DY＝0.01。本专利技术还提供一种人脸跟踪装置，包括机器人；所述机器人包括云台、第一摄像头、处理器、第一舵机以及第二舵机；所述第一摄像头嵌设在所述云台上并用于拍摄视频帧图像；所述处理器固定在所述云台内，并与所述第一摄像头信号连接，且获取所述第一摄像头拍摄的当前视频帧图像、以及上一帧视频帧图像的水平方向偏差和垂直方向偏差；所述处理器从当前视频帧图像中确定出人脸，并根据所述人脸确定包围人脸的最小矩形；所述处理器根据包围人脸的最小矩形，确定最小矩形的左下角点的坐标以及最小矩形的对角线长度；所述处理器根据所述最小矩形的左下角点的坐标，确定当前视频帧图像的水平方向偏差和垂直方向偏差；所述处理器根据对角线长度、当前视频帧图像的水平方向偏差和垂直方向偏差、以及上一帧视频帧图像的水平方向偏差和垂直方向偏差，确定水平位置调节信号和垂直位置调节信号；所述处理器将所述水平位置调节信号和垂直位置调节信号分别传送给第一舵机和第二舵机，所述第一舵机接收所述水平位置调节信号，并驱动所述云台在水平方向转动；所述第二舵机接收所述水平位置调节信号，并驱动所述云台在垂直方向上转动；所述处理器以当前视频帧图像作为上一帧视频帧图像，以调节云台位置后第一摄像头拍摄的视频帧图像作为当前视频帧图像，继续确定水平位置调节信号和垂直位置调节信号。本专利技术还提供一种计算机可读存储介质，其上储存有计算机程序，该计算机程序被处理器执行时实现如上述任意一项所述的人脸跟踪方法的步骤。本专利技术还提供一种计算机设备，包括储存器、处理器以及储存在所述储存器中并可被所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上述任意一项所述的人脸跟踪方法的步骤为了更好地理解和实施，下面结合附图详细说明本专利技术。附图说明图本文档来自技高网...

【技术保护点】
1.一种人脸跟踪方法，其特征在于，包括如下步骤：步骤S1：获取当前视频帧图像、以及上一帧视频帧图像的水平方向偏差和垂直方向偏差；步骤S2：从当前视频帧图像中确定出人脸，并根据所述人脸确定包围人脸的最小矩形；步骤S3：根据包围人脸的最小矩形，确定最小矩形的左下角点的坐标以及最小矩形的对角线长度；步骤S4：根据所述最小矩形的左下角点的坐标，确定当前视频帧图像的水平方向偏差和垂直方向偏差；步骤S5：根据对角线长度、当前视频帧图像的水平方向偏差和垂直方向偏差、以及上一帧视频帧图像的水平方向偏差和垂直方向偏差，确定水平位置调节信号和垂直位置调节信号；步骤S6：根据所述水平位置调节信号和垂直位置调节信号调节视频帧图像的获取位置，并以当前视频帧图像作为上一帧视频帧图像，以调节视频帧图像的获取位置后获取的视频帧图像作为当前视频帧图像，回到步骤S1，继续确定水平位置调节信号和垂直位置调节信号。

【技术特征摘要】
1.一种人脸跟踪方法，其特征在于，包括如下步骤：步骤S1：获取当前视频帧图像、以及上一帧视频帧图像的水平方向偏差和垂直方向偏差；步骤S2：从当前视频帧图像中确定出人脸，并根据所述人脸确定包围人脸的最小矩形；步骤S3：根据包围人脸的最小矩形，确定最小矩形的左下角点的坐标以及最小矩形的对角线长度；步骤S4：根据所述最小矩形的左下角点的坐标，确定当前视频帧图像的水平方向偏差和垂直方向偏差；步骤S5：根据对角线长度、当前视频帧图像的水平方向偏差和垂直方向偏差、以及上一帧视频帧图像的水平方向偏差和垂直方向偏差，确定水平位置调节信号和垂直位置调节信号；步骤S6：根据所述水平位置调节信号和垂直位置调节信号调节视频帧图像的获取位置，并以当前视频帧图像作为上一帧视频帧图像，以调节视频帧图像的获取位置后获取的视频帧图像作为当前视频帧图像，回到步骤S1，继续确定水平位置调节信号和垂直位置调节信号。2.根据权利要求1所述的人脸跟踪方法，其特征在于，在获取当前视频帧图像后，还判断当前视频帧图像是否为第一帧视频帧图像：若当前视频帧图像是第一帧视频帧图像，则从当前视频帧图像中确定出人脸，且确定当前视频帧图像的水平方向偏差和垂直方向偏差，再获取下一帧视频帧图像作为当前视频帧图像，以第一帧视频帧图像作为上一帧视频帧图像；若当前视频帧图像不是第一帧视频帧图像，才获取上一帧视频帧图像的水平方向偏差和垂直方向偏差。3.根据权利要求1所述的人脸跟踪方法，其特征在于，所述根据包围人脸的最小矩形，确定最小矩形的对角线长度的方式为：M＝sqrt((x+h)*(x+h)+(y+w)*(y+w))其中，x，y分别表示包围人脸的最小矩形的左下角点的横坐标和纵坐标；h表示所述最小矩形的宽；w表示所述最小矩形的长；sqrt()表示求括号内数值的平方根。4.根据权利要求1所述的人脸跟踪方法，其特征在于，所述根据所述最小矩形的左下角点的坐标，确定当前视频帧图像的水平方向偏差和垂直方向偏差的方式为：TX＝x-160；TY＝y-120；其中，TX表示当前视频帧图像的水平方向偏差，TY表示当前视频帧图像的垂直方向偏差，x，y分别表示包围人脸的最小矩形的左下角点的横坐标和纵坐标。5.根据权利要求1所述的人脸跟踪方法，其特征在于，所述确定水平位置调节信号的步骤，包括：步骤S511：根据对角线长度、当前视频帧图像的水平方向偏差、以及上一帧视频帧图像的水平方向偏差，获得水平方向的增量信号；步骤S512：根据水平方向的增量信号，获得水平方向的PWM调节信号；其中，获得所述水平方向的增量信号的计算方式为：PWMX当前帧＝PWMX上一帧+TX*PX+(TX-LX)*DX；上述公式中，PWMX当前帧表示根据当前视频帧图像确定的水平方向的增量信号；PWMX上一帧表示根据上一帧视频帧图像确定的水平增量信号；TX表示当前视频帧图像的水平方向偏差，单位为像素；PX为水平方向的比例系数，当0<M<230像素时，PX＝0.02-0.00002*M；当M≥230像素时，PX＝0.0154，M表示对角线长度，单位为像素；LX表示上一帧的水平方向偏差，单位为像素；DX为水平方向的微分系数，且DX＝0.01。6.根据权利要求1所述的人脸跟踪方法，其特征在于，所述确定垂直位置调节信号的步骤，包括：根据对角线长度、当前视频帧图像的垂直方向偏差、以及上一帧视频帧图像的垂直方向偏差，获得垂直方向的增量信号；根据垂直方向的增量信号，获得垂直方向的PWM调节信号；其中，获得所述垂直方向的增量信号的计算方式为：PWMY当前＝PWMY上一帧+TY*PY+(TY-LY)*DY；上述公式中，PWMY当前帧表示根据当前视频帧图像确定的垂直方向的增量信号；PWMY上一帧表示根据上一帧视频帧图像确定的垂直方向的增量信号；TY表示当前视频帧图像的垂直方向偏差，单位为像素；PY为垂直方向...

【专利技术属性】
技术研发人员：张准，朱文正，梁彬烽，欧阳文泷，洪仕瀚，黄向信，
申请(专利权)人：华南师范大学，
类型：发明
国别省市：广东,44