一种基于聚焦程度数值的数字电视播放方法和装置制造方法及图纸

本申请公开一种基于聚焦程度数值的数字电视播放方法，接收数字信号，转化为原始视频与原始音频，播放原始视频，播放原始音频；构建蓝牙通道，得到第一头部图像；将第一头部图像输入朝向分类模型中，得到第一人脸朝向；若第一人脸朝向指向数字电视显示器，则通过声音收集器得到环境声音数据，并与原始音频进行对比；若存在异常声音，采用第二摄像头获取眼睛图像；输入聚焦程度预测模型中，以得到聚焦程度数值；若聚焦程度数值小于聚焦程度阈值，则生成第一补充视频片段与第一补充音频片段，并通过蓝牙通道将第一补充视频片段与第一补充音频片段发送至移动终端，实现了提高数字电视播放的有效播放率，无需拖回进度条，节省了整体时间。体时间。体时间。

【技术实现步骤摘要】
一种基于聚焦程度数值的数字电视播放方法和装置


[0001]本申请涉及到数字电视领域，特别是涉及到一种基于聚焦程度数值的数字电视播放方法和装置。

技术介绍

[0002]传统的数字电视传输数字信号并进行音视频播放时，只会按预定的参数（例如预定的播放速度）进行播放，而不会考虑观看者的实际情况。但观看者在观看一个数字电视节目时，存在走神分心的情况，虽然观看者仍在数字电视显示器面前，但实际上却未能听到或看到这部分的音视频（或者，观看者的视觉器官与听觉器官虽然获取了视觉信息和听觉信息，但自然人处于分心状态下，会将这部分信息本能的忽略，因此也视为未能听到或看到这部分的音视频）。如果这部分音视频对应于关键情节，那么观看者一般会采用拖回播放进度条的方式（现有的数字电视播放器，已经能够实现这种功能），来重现展示这部分音视频。因此，传统的数字电视播放方案，存在观看效果与播放效率不佳（例如，观看者需要拖回进度条）的问题。

技术实现思路

[0003]本申请提出一种基于聚焦程度数值的数字电视播放方法，包括以下步骤：S1、接收数字信号，并将数字信号转化为原始视频与原始音频，在数字电视显示器上播放所述原始视频，同时采用数字电视声音播放器播放所述原始音频；S2、根据预设的蓝牙通信技术，与预设的移动终端构建蓝牙通道，再通过预先布设的具有第一分辨率的第一摄像头，对数字电视观看者的头部进行图像采集处理，以得到第一头部图像；S3、将所述第一头部图像输入经过训练的朝向分类模型中进行处理，以得到所述朝向分类模型输出的第一人脸朝向，并判断第一人脸朝向是否指向数字电视显示器；其中，所述朝向预测模型基于预设的机器学习模型训练而成；S4、若第一人脸朝向指向数字电视显示器，则通过预先布设的声音收集器进行声音采集处理，得到环境声音数据，并将所述环境声音数据与所述原始音频进行对比，以判断是否存在异常声音；S5、若存在异常声音，则在预设的第一时间窗口内，采用预先布设的具有第二分辨率的第二摄像头，对观看者的眼睛进行图像采集处理，以获取眼睛图像；其中，所述第二分辨率高于所述第一分辨率；S6、将所述眼睛图像输入经过训练的聚焦程度预测模型中进行处理，以得到所述聚焦程度预测模型输出的聚焦程度数值，并判断所述聚焦程度数值是否小于预设的聚焦程度阈值；其中，所述聚焦程度预测模型基于深度卷积神经网络模型训练而得；S7、若所述聚焦程度数值小于预设的聚焦程度阈值，则将所述第一时间窗口内的原始视频与原始音频进行截取处理，以生成第一补充视频片段与第一补充音频片段，并通
过所述蓝牙通道，将第一补充视频片段与第一补充音频片段发送至移动终端。
[0004]其中，所述将所述第一头部图像输入经过训练的朝向分类模型中进行处理，以得到所述朝向分类模型输出的第一人脸朝向，并判断第一人脸朝向是否指向数字电视显示器的步骤S3之前，包括：S21、从预设的数据库中调取多个样本数据，并按预设比例对所述多个样本数据进行划分，以得到多个训练数据与多个验证数据；其中，所述数据库中存储的数据为预先拍摄的用于训练使用的头部图像；S22、对所述多个训练数据与所述多个验证数据分别进行人工标注处理，以标注出人脸朝向，从而得到多个标注训练数据与多个标注验证数据；S23、调取预设的机器学习模型，并将所述多个标注训练数据输入机器学习模型中进行训练，以得到暂时模型；S24、采用所述多个标注验证数据对所述暂时模型进行验证处理，以得到验证结果，并判断验证结果是否为验证通过；S25、若验证结果为验证通过，则将所述暂时模型记为朝向分类模型。
[0005]其中，所述将所述第一头部图像输入经过训练的朝向分类模型中进行处理，以得到所述朝向分类模型输出的第一人脸朝向，并判断第一人脸朝向是否指向数字电视显示器的步骤S3之后，包括：S31、若第一人脸朝向未指向数字电视显示器，则开启预设的记时器以开始记时；S32、通过所述第一摄像头，对数字电视观看者的头部继续进行图像采集处理，以得到第二头部图像；S33、将所述第二头部图像输入所述朝向分类模型中进行处理，以得到所述朝向分类模型输出的第二人脸朝向，并判断第二人脸朝向是否指向数字电视显示器；S34、若第二人脸朝向指向数字电视显示器，则停止所述记时器，以得到第二时间窗口；S35、截取所述第二时间窗口内的原始视频与原始音频，以生成第二补充视频片段与第二补充音频片段，并通过所述蓝牙通道，将第二补充视频片段与第二补充音频片段发送至移动终端。
[0006]其中，所述接收数字信号，并将数字信号转化为原始视频与原始音频，在数字电视显示器上播放所述原始视频，同时采用数字电视声音播放器播放所述原始音频的步骤S1之前，包括：S01、在数字电视声音播放器开始播放音频之前，采用所述声音收集器进行背景声音采集处理，以得到背景声音数据；所述若第一人脸朝向指向数字电视显示器，则通过预先布设的声音收集器进行声音采集处理，得到环境声音数据，并将所述环境声音数据与所述原始音频进行对比，以判断是否存在异常声音的步骤S4，包括：S401、若第一人脸朝向指向数字电视显示器，则将所述背景声音数据与所述原始音频进行叠加处理，以得到叠加声音数据；S402、根据预设的相似度计算方法，计算所述环境声音数据与所述叠加声音数据之间的相似度值，并判断所述相似度值是否大于预设的相似度阈值；
S403、若所述相似度值不大于预设的相似度阈值，则判定存在异常声音。
[0007]其中，数字电视观看者的数量为多个，移动终端的数量为多个，数字电视观看者与移动终端一一对应；所述若所述聚焦程度数值小于预设的聚焦程度阈值，则将所述第一时间窗口内的原始视频与原始音频进行截取处理，以生成第一补充视频片段与第一补充音频片段，并通过所述蓝牙通道，将第一补充视频片段与第一补充音频片段发送至移动终端的步骤S7，包括：S701、若所述聚焦程度数值小于预设的聚焦程度阈值，则将聚焦程度数值对应的观看者记为指定观看者；S702、根据观看者与移动终端的对应关系，获取与所述指定观看者对应的指定移动终端；S703、将所述第一时间窗口内的原始视频与原始音频进行截取处理，以生成第一补充视频片段与第一补充音频片段；S704、通过所述蓝牙通道，将第一补充视频片段与第一补充音频片段发送至指定移动终端，但不发送给其他移动终端。
[0008]其中，若所述聚焦程度数值小于预设的聚焦程度阈值，则将所述第一时间窗口内的原始视频与原始音频进行截取处理，以生成第一补充视频片段与第一补充音频片段，并通过所述蓝牙通道，将第一补充视频片段与第一补充音频片段发送至移动终端的步骤S7之后，包括：S71、通过蓝牙通道，接收移动终端发送的暂停播放指令；其中，所述暂停播放指令的生成条件为，移动终端中的第一补充视频片段与第一补充音频片段开始播放；S72、根据所述暂停播放指令，暂停原始视频与原始音频的播放；S73、判断是否接收到来自于移动终端的继续播放指令；其中，所述继续播放指令的生成条件为，移动终端中的第一补充视频片段与第一补充音频片段播放完成；S74、执行继续播放操作，以继续播放原始视频与原始音频的播放。
[0009]本申本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于聚焦程度数值的数字电视播放方法，其特征在于，包括：S1、接收数字信号，并将数字信号转化为原始视频与原始音频，在数字电视显示器上播放所述原始视频，同时采用数字电视声音播放器播放所述原始音频；S2、根据预设的蓝牙通信技术，与预设的移动终端构建蓝牙通道，再通过预先布设的具有第一分辨率的第一摄像头，对数字电视观看者的头部进行图像采集处理，以得到第一头部图像；S3、将所述第一头部图像输入经过训练的朝向分类模型中进行处理，以得到所述朝向分类模型输出的第一人脸朝向，并判断第一人脸朝向是否指向数字电视显示器；其中，所述朝向预测模型基于预设的机器学习模型训练而成；S4、若第一人脸朝向指向数字电视显示器，则通过预先布设的声音收集器进行声音采集处理，得到环境声音数据，并将所述环境声音数据与所述原始音频进行对比，以判断是否存在异常声音；S5、若存在异常声音，则在预设的第一时间窗口内，采用预先布设的具有第二分辨率的第二摄像头，对观看者的眼睛进行图像采集处理，以获取眼睛图像；其中，所述第二分辨率高于所述第一分辨率；S6、将所述眼睛图像输入经过训练的聚焦程度预测模型中进行处理，以得到所述聚焦程度预测模型输出的聚焦程度数值，并判断所述聚焦程度数值是否小于预设的聚焦程度阈值；其中，所述聚焦程度预测模型基于深度卷积神经网络模型训练而得；S7、若所述聚焦程度数值小于预设的聚焦程度阈值，则将所述第一时间窗口内的原始视频与原始音频进行截取处理，以生成第一补充视频片段与第一补充音频片段，并通过所述蓝牙通道，将第一补充视频片段与第一补充音频片段发送至移动终端。2.根据权利要求1所述的基于聚焦程度数值的数字电视播放方法，其特征在于，所述将所述第一头部图像输入经过训练的朝向分类模型中进行处理，以得到所述朝向分类模型输出的第一人脸朝向，并判断第一人脸朝向是否指向数字电视显示器的步骤S3之前，包括：S21、从预设的数据库中调取多个样本数据，并按预设比例对所述多个样本数据进行划分，以得到多个训练数据与多个验证数据；其中，所述数据库中存储的数据为预先拍摄的用于训练使用的头部图像；S22、对所述多个训练数据与所述多个验证数据分别进行人工标注处理，以标注出人脸朝向，从而得到多个标注训练数据与多个标注验证数据；S23、调取预设的机器学习模型，并将所述多个标注训练数据输入机器学习模型中进行训练，以得到暂时模型；S24、采用所述多个标注验证数据对所述暂时模型进行验证处理，以得到验证结果，并判断验证结果是否为验证通过；S25、若验证结果为验证通过，则将所述暂时模型记为朝向分类模型。3.根据权利要求1所述的基于聚焦程度数值的数字电视播放方法，其特征在于，所述将所述第一头部图像输入经过训练的朝向分类模型中进行处理，以得到所述朝向分类模型输出的第一人脸朝向，并判断第一人脸朝向是否指向数字电视显示器的步骤S3之后，包括：S31、若第一人脸朝向未指向数字电视显示器，则开启预设的记时器以开始记时；S32、通过所述第一摄像头，对数字电视观看者的头部继续进行图像采集处理，以得到
第二头部图像；S33、将所述第二头部图像输入所述朝向分类模型中进行处理，以得到所述朝向分类模型输出的第二人脸朝向，并判断第二人脸朝向是否指向数字电视显示器；S34、若第二人脸朝向指向数字电视显示器，则停止所述记时器，以得到第二时间窗口；S35、截取所述第二时间窗口内的原始视频与原始音频，以生成第二补充视频片段与第二补充音频片段，并通过所述蓝牙通道，将第二补充视频片段与第二补充音频片段发送至移动终端。4.根据权利要求1所述的基于聚焦程度数值的数字电视播放方法，其特征在于，所述接收数字信号，并将数字信号转化为原始视频与原始音频，在数字电视显示器上播放所述原始视频，同时采用数字电视声音播放器播放所述原始音频的步骤S1之前，包括：S01、在数字电视声音播放器开始播放音频之前，采用所述声音收集器进行背景声音采集处理，以得到背景声音数据；所述若第一人脸朝向指向数字电视显示器，则通过预先布设的声音收集器进行声音采集处理，得到环境声音数据，并将所述环境声音数据与所述原始音频进行对比，以判断是否存在异常声音的步骤S4，包括：S401、若第一人脸朝向指向数字电视显示器，则将所述背...

【专利技术属性】
技术研发人员：廖志琴，廖佳秋，
申请(专利权)人：深圳佳力拓科技有限公司，
类型：发明
国别省市：