一种基于事件相机的屏幕控制方法及电子设备技术

本申请公开了一种基于事件相机的屏幕控制方法及电子设备，获取事件相机对用户采集的事件流，基于事件流中的各个事件信息得到不同极性对应的事件帧图像；在各个极性对应的事件帧图像中提取用户头部姿态信息，并利用图像分类预测网络进行头部姿态分类的预测，得到目标头部姿态类别，控制屏幕响应与目标头部姿态类别对应的动作。该方法及电子设备可以根据屏幕的当前状态和对用户头部姿态的预测结果，自动控制屏幕动作，即在检测到用户转头时自动控制屏幕息屏，并在检测到用户正视屏幕时自动控制屏幕亮屏。这样，既可以避免用户转头时隐私内容在用户未知晓的情况下暴露给旁人，又便于用户继续查看内容，并且控制屏幕的方式简便，用户体验好。户体验好。户体验好。

【技术实现步骤摘要】
一种基于事件相机的屏幕控制方法及电子设备


[0001]本申请涉及终端
，尤其涉及一种基于事件相机的屏幕控制方法及电子设备。

技术介绍

[0002]随着技术的不断发展，以手机为代表的移动终端已经被用户广泛的使用，手机已经成为用户身边不可或缺的使用工具。
[0003]用户在使用手机进行聊天、阅览网页等情况时，屏幕显示内容的隐私性较强。但是当用户进行转头对话、抬头看地铁报站时，通常手机不会主动息屏，这容易导致隐私内容在用户未知晓的情况下暴露给旁人，用户体验不好。

技术实现思路

[0004]本申请提供了一种基于事件相机的屏幕控制方法及电子设备，以解决手机屏幕不会随用户转头主动息屏而导致隐私性较低的问题。
[0005]第一方面，本申请提供了一种基于事件相机的屏幕控制方法，包括：获取事件相机对用户采集的事件流，所述事件流包括按照时间排序的多个事件信息，所述事件信息包括事件的极性；将所述事件流中的极性相同的所述事件信息进行叠加，得到各个极性对应的事件帧图像；对各个极性对应的所述事件帧图像进行图像叠加和信息过滤，得到目标图像，所述目标图像包括用户头部姿态信息；利用图像分类预测网络对所述目标图像进行头部姿态分类的预测，得到所述目标图像对应的目标头部姿态类别；基于所述目标头部姿态类别，控制屏幕响应与所述目标头部姿态类别对应的动作。这样，可以根据屏幕的当前状态和对用户头部姿态的预测结果，自动控制屏幕动作，可以在检测到用户转头时自动控制屏幕息屏，并在检测到用户正视屏幕时自动控制屏幕亮屏。既可以避免用户转头时隐私内容在用户未知晓的情况下暴露给旁人，又便于用户继续查看内容，并且控制屏幕的方式简便，用户体验好。
[0006]在一种实现方式中，所述事件信息还包括事件发生的图像坐标和/或事件发生的时间戳。这样，可以通过事件发生的图像坐标、事件发生的时间戳和事件的极性中的至少一种生成事件流，以便基于事件流对用户的头部姿态进行预测。
[0007]在一种实现方式中，所述极性包括第一极性和第二极性；所述将所述事件流中的极性相同的所述事件信息进行叠加，得到各个极性对应的事件帧图像，包括：从所述事件流中确定预设周期内的多个所述事件信息；将所述预设周期内的所有所述第一极性的所述事件信息进行叠加，得到第一事件帧图像，以及，将所述预设周期内的所有所述第二极性的所述事件信息进行叠加，得到第二事件帧图像。这样，可以根据事件的不同极性获得不同的事件帧图像，以便基于不同极性的事件帧图像进行预测，得到准确的用户头部姿态预测结果。
[0008]在一种实现方式中，所述事件帧图像中无事件发生的像素点的灰度值为0，所述事件帧图像中有事件发生的像素点的灰度值为该像素点发生事件的总次数。这样，可以便于
后续对事件帧图像进行处理，以提取准确的用户头部轮廓。
[0009]在一种实现方式中，所述对各个极性对应的所述事件帧图像进行图像叠加和信息过滤，得到目标图像，包括：将所述第一事件帧图像和所述第二事件帧图像进行叠加，得到第三事件帧图像；按照预设规则，遍历所述第三事件帧图像中的每个像素点，确定用户头部轮廓，所述用户头部轮廓由所述第三事件帧图像中的满足预设规则的像素点组成；将所述用户头部轮廓分别映射到所述第一事件帧图像和所述第二事件帧图像中，得到两张所述目标图像。这样，按照不同的规则处理事件帧图像，可以提取准确的用户头部轮廓。
[0010]在一种实现方式中，所述按照预设规则，遍历所述第三事件帧图像中的每个像素点，确定用户头部轮廓，包括：遍历所述第三事件帧图像中的每个像素点，对于每个灰度值不为0的像素点，将其相邻的所有灰度值为0的像素点的灰度值赋值为1；遍历所述第三事件帧图像中的每个像素点，对于每个灰度值为0的像素点，将其相邻的所有灰度值不为0的像素点的灰度值赋值为0；遍历所述第三事件帧图像中的每个像素点，将所有灰度值不为0的像素点连接起来，得到至少一个轮廓；在所述至少一个轮廓中，选取像素面积最大的轮廓，确定为所述用户头部轮廓。这样，对第三事件帧图像的各个像素点进行修正，以便得到准确的用户头部轮廓。
[0011]在一种实现方式中，所述将所述用户头部轮廓分别映射到所述第一事件帧图像和所述第二事件帧图像中，获得两张目标图像，包括：确定所述用户头部轮廓的最小外接矩形框；将所述最小外接矩形框映射到所述第一事件帧图像中，并将所述第一事件帧图像中位于所述最小外接矩形框之外的像素点的灰度值赋值为0，得到第一目标图像；将所述最小外接矩形框映射到所述第二事件帧图像中，并将所述第二事件帧图像中位于所述最小外接矩形框之外的像素点的灰度值赋值为0，得到第二目标图像。这样，将确定的用户头部轮廓对应的最小外接矩形框再次映射到原事件帧图像中，可以既得到用户头部轮廓，又可以保留图像中的用户头部姿态信息，以保证后续预测姿态类别结果的准确。
[0012]在一种实现方式中，所述图像分类预测网络包括卷积层、特征校正层、合并层、全连接层和激活层中的至少一种。所述利用图像分类预测网络对所述目标图像进行头部姿态分类的预测，得到所述目标图像对应的目标头部姿态类别，包括：基于所述目标图像构建初始特征图，所述初始特征图的尺寸为所述目标图像的尺寸，所述初始特征图的通道数为所述目标图像对应的极性数量；利用卷积层对所述初始特征图进行多次卷积处理，获得目标尺寸和目标通道数的第一特征图；利用特征校正层，按照不同的校正规则，对所述第一特征图进行特征校正，获得不同的第二特征图，所述不同的第二特征图具有相同的尺寸和相同的通道数；利用所述合并层将所述不同的第二特征图进行合并，得到第三特征图；利用所述全连接层将所述第三特征图转换成一维序列图；利用所述激活层从所述一维序列图中输出不同头部姿态类别对应的得分，将产生最大得分的头部姿态类别确定为目标头部姿态类别。这样，通过预先构建的图像分类预测网络，对目标图像进行类别预测，可以得到准确的预测结果。
[0013]在一种实现方式中，所述方法还包括：在图像分类预测网络的训练阶段，构建图像分类预测网络预测的头部姿态类别与真实头部姿态类别的损失函数，基于所述损失函数，监督所述图像分类预测网络的训练过程；所述损失函数为：其中，3为图像分类预测网络的分类类别数量，y
i
为真实头部姿态类别，p
i
为经过激活层输出
的不同头部姿态类别对应的得分。
[0014]在一种实现方式中，所述方法还包括：基于多个预设周期内多组事件帧图像对应的目标头部姿态类别的得分，计算当前阶段的姿态得分，一组事件帧图像包括同一预设周期内的多张事件帧图像；如果所述当前阶段的姿态得分大于判定阈值，则确定输出的目标头部姿态类别为正确的结果；如果所述当前阶段的姿态得分小于或等于判定阈值，则确定输出的目标头部姿态类别为错误的结果。这样，通过对多个预设周期的预测结果进行校正，可以进一步保证预测结果的准确，以提高系统的鲁棒性。
[0015]在一种实现方式中，所述基于所述目标头部姿态类别，控制屏幕响应与所述目标头部姿态类别对应的动作，包括：在所述目标头部本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于事件相机的屏幕控制方法，其特征在于，包括：获取事件相机对用户采集的事件流，所述事件流包括按照时间排序的多个事件信息，所述事件信息包括事件的极性；将所述事件流中的极性相同的所述事件信息进行叠加，得到各个极性对应的事件帧图像；对各个极性对应的所述事件帧图像进行图像叠加和信息过滤，得到目标图像，所述目标图像包括用户头部姿态信息；利用图像分类预测网络对所述目标图像进行头部姿态分类的预测，得到所述目标图像对应的目标头部姿态类别；基于所述目标头部姿态类别，控制屏幕响应与所述目标头部姿态类别对应的动作。2.根据权利要求1所述的方法，其特征在于，所述事件信息还包括事件发生的图像坐标和/或事件发生的时间戳。3.根据权利要求1所述的方法，其特征在于，所述极性包括第一极性和第二极性；所述将所述事件流中的极性相同的所述事件信息进行叠加，得到各个极性对应的事件帧图像，包括：从所述事件流中确定预设周期内的多个所述事件信息；将所述预设周期内的所有所述第一极性的所述事件信息进行叠加，得到第一事件帧图像，以及，将所述预设周期内的所有所述第二极性的所述事件信息进行叠加，得到第二事件帧图像。4.根据权利要求3所述的方法，其特征在于，所述事件帧图像中无事件发生的像素点的灰度值为0，所述事件帧图像中有事件发生的像素点的灰度值为该像素点发生事件的总次数。5.根据权利要求4所述的方法，其特征在于，所述对各个极性对应的所述事件帧图像进行图像叠加和信息过滤，得到目标图像，包括：将所述第一事件帧图像和所述第二事件帧图像进行叠加，得到第三事件帧图像；按照预设规则，遍历所述第三事件帧图像中的每个像素点，确定用户头部轮廓，所述用户头部轮廓由所述第三事件帧图像中的满足预设规则的像素点组成；将所述用户头部轮廓分别映射到所述第一事件帧图像和所述第二事件帧图像中，得到两张所述目标图像。6.根据权利要求5所述的方法，其特征在于，所述按照预设规则，遍历所述第三事件帧图像中的每个像素点，确定用户头部轮廓，包括：遍历所述第三事件帧图像中的每个像素点，对于每个灰度值不为0的像素点，将其相邻的所有灰度值为0的像素点的灰度值赋值为1；遍历所述第三事件帧图像中的每个像素点，对于每个灰度值为0的像素点，将其相邻的所有灰度值不为0的像素点的灰度值赋值为0；遍历所述第三事件帧图像中的每个像素点，将所有灰度值不为0的像素点连接起来，得到至少一个轮廓；在所述至少一个轮廓中，选取像素面积最大的轮廓，确定为所述用户头部轮廓。7.根据权利要求6所述的方法，其特征在于，所述将所述用户头部轮廓分别映射到所述
第一事件帧图像和所述第二事件帧图像中，获得两张所述目标图像，包括：确定所述用户头部轮廓的最小外接矩形框；将所述最小外接矩形框映射到所述第一事件帧图像中，并将所述第一事件帧图像中位于所述最小外接矩形框之外的像素点的灰度值赋值为0，得到第一目标图像；将所述最小外接矩形框映射到所述第二事件帧图像中，并将所述第二事件帧图像中位于所述最小外接矩形框之外的像素点的灰度值赋值为0，得到第二目标图像。8.根据权利要求1所述的方法，其特征在于，所述图像分类预测网络包括卷积层、特征校正层、合并层、全连接层和激活层中的至少一种；所述利用图像分类预测网络对所述目标图像进行头部姿态分类的预测，得到所述目标图像对应的目标头部姿态类别，包括：基于所述目标图像构建初始特征图，所述初始特征图的尺寸为所述目标图像的尺寸，所述初始特...

【专利技术属性】
技术研发人员：文琢，唐彬，叶凌，
申请(专利权)人：荣耀终端有限公司，
类型：发明
国别省市：