用于监控人类面部到智能设备的距离的系统和方法技术方案

在实施方式中，儿童面部提醒系统用于与具有显示屏的智能设备一起使用。利用具有嵌入式距离信息的数据集图像进行训练的神经网络模型可在智能设备的后台运行。当利用智能设备接收所获取的儿童面部图像帧时，神经网络模型可确定出所获取的图像帧是来自于儿童，并且基于所获取的图像帧上的面部的大小进一步确定儿童的面部是否在相距显示屏的预定距离内。如果面部在预定距离内，则智能设备可显示儿童的面部过于靠近显示屏的提醒并且可暂停一个或多个用户应用直至儿童的面部移动至预定距离之外。

System and method for monitoring the distance between human face and intelligent device

【技术实现步骤摘要】
用于监控人类面部到智能设备的距离的系统和方法
本公开的实施方式大体涉及智能设备。更具体地，本公开的实施方式涉及用于监控儿童面部到智能设备(诸如智能扬声器)的距离的系统和方法。
技术介绍
智能设备，例如智能扬声器，可借助一个“热词(hotword)”的辅助来提供交互动作和不需要手的激活。智能设备可具有显示屏以经由语音控制命令提供服务，例如，在线搜索、视频呼叫、媒体回放、视频串流以及云照片。由于服务的娱乐性特点，与启用屏幕的智能设备交互的用户可能容易全神贯注于显示屏上正在发生的东西。当用户(尤其是儿童)在相距小屏幕近的距离处花费过多时间时，他们冒着其眼睛紧张的风险并且这对其视力造成永久性的损坏。一些现有的方案可利用深度传感器或资源密集算法在用户的面部过于靠近智能设备的显示屏时提醒用户。然而，这些现有的方案要求额外的硬件组件，或者在资源有限的设备中是不适用的。因此，需要用于在用户的面部过于靠近启用屏幕的智能设备时资源高效地生成提醒的方案。
技术实现思路
本公开的实施方式提供由计算机实现的用于监控人类面部与智能设备的显示屏之间的距离的方法、存储有用于监控人类面部与智能设备的显示屏之间的距离的指令的非暂时性机器可读介质以及数据处理系统。在本公开的一方面，由计算机实现的用于监控人类面部与智能设备的显示屏之间的距离的方法包括：利用所述智能设备的相机捕获操作所述智能设备的用户的人类面部的图像帧；利用在所述智能设备上运行的经训练的神经网络模型对所述图像帧分类，以确定所述人类面部是否为儿童面部以及所述人类面部是否在相距所述智能设备的显示屏的预定距离内；以及响应于确定出所述人类面部是在所述预定距离内的儿童面部，在所述智能设备的显示屏上生成提醒消息。在本公开的另一方面，非暂时性机器可读介质存储有用于监控人类面部与智能设备的显示屏之间的距离的指令，所述指令在被处理器执行时致使所述处理器执行操作，所述操作包括：利用所述智能设备的相机捕获操作所述智能设备的用户的人类面部的图像帧；利用在所述智能设备上运行的经训练的神经网络模型对所述图像帧分类，以确定所述人类面部是否为儿童面部以及所述人类面部是否在相距所述智能设备的显示屏的预定距离内；以及响应于确定出所述人类面部是在所述预定距离内的儿童面部，在所述智能设备的显示屏上生成提醒消息。在本公开的另一方面，数据处理系统包括：处理器；以及存储器，联接至所述处理器，并且存储用于监控人类面部与智能设备的显示屏之间的距离的指令，所述指令在被处理器执行时致使所述处理器执行操作，所述操作包括：利用所述智能设备的相机捕获操作所述智能设备的用户的人类面部的图像帧；利用在所述智能设备上运行的经训练的神经网络模型对所述图像帧分类，以确定所述人类面部是否为儿童面部以及所述人类面部是否在相距所述智能设备的显示屏的预定距离内；以及响应于确定出所述人类面部是在所述预定距离内的儿童面部，在所述智能设备的显示屏上生成提醒消息。附图说明在附图的各图中通过示例而非限制的方式示出本公开的实施方式，在附图中，相同的参考标记指代相同的元件。图1示出根据实施方式的用于监控儿童面部到智能设备的距离的系统。图2示出根据实施方式的示例性经训练的面部分类模型。图3示出根据实施方式的用于对面部分类模型进行训练的示例性图像。图4是示出根据实施方式的用于监控人类面部与智能设备的显示屏之间的距离的过程的示例的流程图。图5是示出可与本公开的一个实施方式一起使用的距离提醒系统的示例的框图。具体实施方式将参考以下所讨论的细节来描述本公开的各种实施方式和方面，附图将示出所述各种实施方式。下列描述和附图是对本公开的说明，而不应当解释为限制本公开。描述了许多特定细节以提供对本公开各种实施方式的全面理解。然而，在某些情况下，并未描述众所周知的或常规的细节以提供对本公开的实施方式的简洁讨论。本说明书中对“一个实施方式”或“实施方式”的提及意味着结合该实施方式所描述的特定特征、结构或特性可以包括在本公开的至少一个实施方式中。短语“在一个实施方式中”在本说明书中各个地方的出现不必全部指同一实施方式。在实施方式中，儿童面部提醒系统用于与具有显示屏的智能设备一起使用。利用具有嵌入式距离信息的数据集图像进行训练的神经网络模型可在智能设备的后台运行。当利用智能设备接收所获取的儿童面部图像帧时，神经网络模型可确定出所获取的图像帧是来自于儿童，并且基于所获取的图像帧上的面部的大小进一步确定儿童的面部是否在相距显示屏的预定距离内。如果面部在预定距离内，则智能设备可显示儿童的面部过于靠近显示屏的提醒并且可暂停一个或多个用户应用直至儿童的面部移动至预定距离之外。智能设备可为具有显示屏并且具有用于运行软件应用的微处理器和存储器的智能扬声器、移动设备和任何其他家电。智能设备可显示用户的面部过于靠近显示屏的消息，并且可同时暂停用户正在使用的任何服务直至用户的面部移动到预定距离之外。在实施方式中，智能设备可以等待，直至用户的面部停留在预定距离内可配置的时间段(例如，10秒)后，再采取提醒用户的动作。智能设备以可配置的捕获速率(例如每秒4帧)获取儿童面部图像，并且可处理每个图像帧，以将其像素大小减小至与训练数据集图像的像素大小(例如，24x24像素)相等。在实施方式中，神经网络模型可为具有多个层的卷积神经网络模型。层的数量可基于固定像素大小以及期望的图像分类准确度的组合来确定。例如，在给出每个训练数据集图像的固定像素大小的情况下，可初始地训练各自具有不同的层组成的多个卷积神经网络模型。每个被训练的模型可在具有给定硬件容量的智能设备上进行测试。如果在期望的应答时间内全部的经训练的模型可实现一定比率的期望图像分类准确度，则可选择经训练的具有最少数量的层的模型来与儿童面部提醒系统一起使用。在实施方式中，训练数据集图像包括在相距相机的各种距离处拍摄的面部图像。面部的大小将基于距离而不同。通过面部的大小表征的距离信息可编码到卷积网络模型中。模型转而可用于基于所获取的图像帧上的面部的大小确定面部相距相机多远。卷积神经网络模型可在资源有限的智能设备的后台持续地运行。在神经网络模型中，减小的图像大小和微调的层组成可在不牺牲其图像分类准确度的情况下减少模型的CPU和存储器利用率。本专利技术的实施方式仅出于例示的目的描述了用于检测儿童面部到智能设备的显示屏的距离的卷积神经网络模型。本领域普通技术人员将理解，可类似地训练其他类型的神经网络并且可使用其他实施方式。例如，可根据对资源利用率和/或图像分类准确度的不同的需求来调整卷积神经网络模型的层的类型、层的数量以及每个层中的神经元的数量。可使用不同的训练数据集来训练模型，使得所述模型可用于监控在相距智能设备的显示屏不同距离处的儿童面部。系统还可配置成：当任何年龄的个体的面部在显示屏的预定距离内时，生成提醒并且采取适当的动作。图1示出根据实施方式的用于监控儿童面部到智能设备的距离的系统本文档来自技高网...

【技术保护点】
1.由计算机实现的方法，用于监控人类面部与智能设备的显示屏之间的距离，所述方法包括：/n利用所述智能设备的相机捕获操作所述智能设备的用户的人类面部的图像帧；/n利用在所述智能设备上运行的经训练的神经网络模型对所述图像帧分类，以确定所述人类面部是否为儿童面部以及所述人类面部是否在相距所述智能设备的显示屏的预定距离内；以及/n响应于确定出所述人类面部是在所述预定距离内的儿童面部，在所述智能设备的显示屏上生成提醒消息。/n

【技术特征摘要】
20181114 US 16/191,1361.由计算机实现的方法，用于监控人类面部与智能设备的显示屏之间的距离，所述方法包括：
利用所述智能设备的相机捕获操作所述智能设备的用户的人类面部的图像帧；
利用在所述智能设备上运行的经训练的神经网络模型对所述图像帧分类，以确定所述人类面部是否为儿童面部以及所述人类面部是否在相距所述智能设备的显示屏的预定距离内；以及
响应于确定出所述人类面部是在所述预定距离内的儿童面部，在所述智能设备的显示屏上生成提醒消息。


2.如权利要求1所述的方法，其中，所述经训练的神经网络模型将所捕获的图像帧分类成多种类别之一，所述多种类别包括：近的儿童面部、近的成人面部、背景以及远的面部。


3.如权利要求1所述的方法，其中，所述智能设备将所述图像帧的像素大小减小到一对预定值。


4.如权利要求3所述的方法，其中，所述智能设备是智能扬声器或移动设备，所述经训练的神经网络模型是具有多个层的卷积神经网络，所述多个层的数量至少基于所述像素大小和期望的图像分类准确度来确定。


5.如权利要求1所述的方法，其中，所述经训练的神经网络模型基于所述人类面部在所捕获的图像帧上的大小来确定所述人类面部的距离，其中响应于确定出所述人类面部是在所述预定距离内的儿童面部，所述智能设备另外地暂停在所述智能设备上运行的一个或多个用户应用。


6.如权利要求5所述的方法，其中，所述神经网络模型利用训练数据集图像进行训练，所述训练数据集图像中的每一个包括指示人类面部相距用于拍摄所述训练数据集图像的相机的距离的信息。


7.如权利要求6所述的方法，其中，所述训练数据集图像中的每一个包括包围所述训练数据集图像上的面部的边界框，并且所述训练数据集图像中的每一个被裁剪成具有固定长度的固定尺寸的矩形，其中计算所述矩形的对角线与从所述边界框延伸的等效矩形的对角线之间的比率，其中所述比率与同所述训练数据集图像关联的距离成比例。


8.如权利要求1所述的方法，其中，所述相机配置成：利用相机应用编程接口API将所述相机的帧捕获速率限制为预定数值。


9.非暂时性机器可读介质，其中存储有用于监控人类面部与智能设备的显示屏之间的距离的指令，所述指令在被处理器执行时致使所述处理器执行操作，所述操作包括：
利用所述智能设备的相机捕获操作所述智能设备的用户的人类面部的图像帧；
利用在所述智能设备上运行的经训练的神经网络模型对所述图像帧分类，以确定所述人类面部是否为儿童面部以及所述人类面部是否在相距所述智能设备的显示屏的预定距离内；以及
响应于确定出所述人类面部是在所述预定距离内的儿童面部，在所述智能设备的显示屏上生成提醒消息。


10.如权利要求9所述的非暂时性机器可读介质，其中，所述经训练的神经网络模型将...

【专利技术属性】
技术研发人员：朱胜栋，钟镭，宋愷晟，郭嘉，
申请(专利权)人：百度美国有限责任公司，
类型：发明
国别省市：美国;US