一种基于音频指纹的防沉迷方法及系统技术方案

本发明专利技术提供一种基于音频指纹的防沉迷方法及系统，涉及应用防沉迷领域。本发明专利技术在进行防沉迷时，将验证系统安装在云端，而采集系统和执行系统都在终端，这样设置能避免用户通过修改本地文件绕开身份验证的作弊手段，且能让家长通过云端实时掌握孩子的应用使用情况；将提取的音频指纹与数据库中已有的音频指纹进行比对，提取code相同的特征点，组成多个数组，计算同一数组中不同time的差值来判断是否匹配；相较于现有技术的直接比较所有(code,time)，减少了运算量；通过添加音频

【技术实现步骤摘要】
一种基于音频指纹的防沉迷方法及系统


[0001]本专利技术涉及应用防沉迷领域，尤其涉及一种基于音频指纹的防沉迷方法及系统。

技术介绍

[0002]随着互联网的发展，网上世界变得多姿多彩，但是丰富的网络世界极易让人沉迷其中，无法自拔，特别是对心智不成熟的未成年人来讲，抵挡这些诱惑只依靠自己的意志力是十分困难的。因此，对应用进行防沉迷的控制便变得十分必要。
[0003]为此，公开号为：CN107623781A的专利技术申请提出一种防沉迷控制方法，应用于移动终端，所述方法包括：在防沉迷模式下，周期性扫描无线网络信号；在扫描到无线网络信号后，根据所述无线网络信号获取无线网络设备的物理地址；将根据所述无线网络信号获取到的物理地址与预先配置的物理地址列表进行匹配；根据匹配结果控制安装在所述移动终端上的应用程序的运行权限。本专利技术的防沉迷控制方法实现了对安装移动终端的应用程序的运行权限的控制，有效降低了用户对一些应用程序的沉迷，同时该申请还提供了一种防沉迷控制系统。
[0004]但是，该申请存在很多漏洞，无法完善地实施防沉迷功能。现有的防沉迷系统多是注册帐号时验证用户的身份证判定其是否成年，但若未成年人使用成年人身份证进行注册，则系统无法区分。有的软件会进一步在登陆时通过面部识别以确认当前用户与注册用户是否一致，但仍存在未成年人利用成年人疏忽或老年人不了解人脸识别而偷偷刷脸的情况。
[0005]因此，有必要提供一种基于音频指纹的防沉迷方法及系统来解决上述技术问题。

技术实现思路

[0006]为解决上述技术问题，本专利技术提供一种基于音频指纹的防沉迷系统，包括终端采集单元、终端执行单元和云端验证单元；
[0007]所述终端采集单元部署在智能设备上，所述终端采集单元包括图像采集端、音频采集端和信息采集端；所述图像采集端、音频采集端、信息采集端通过使用者获取智能设备限权，对智能设备的摄像头、麦克风和存储器进行调用，并采集智能设备上的人脸图像、身份证图像、音频和信息文本数据；采集到的人脸图像、身份证图像、音频和信息文本通过数据包上传至云端验证单元；
[0008]所述终端执行单元部署在智能设备上，并对智能设备中限制级应用进行防沉迷管理，防沉迷管理包括对限制级应用进行启动、关闭、空挂和和运行监测；
[0009]所述云端验证单元部署在云端服务器上，并通过FTP/HTTP/HTTPS协议与终端采集单元、终端执行单元进行网络连接；所述云端验证单元接收终端采集单元的数据包，并对数据包中的数据进行验证和识别；所述云端验证单元根据验证和识别选择对应执行动作，并将执行动作下发至终端执行单元进行执行。
[0010]作为更进一步的解决方案，所述云端验证单元包括管理实体和数据库实体；其中，
所述管理实体包括数据筛查实体、人脸图像识别实体、音频指纹处理实体和音频
‑
图像匹配实体；
[0011]所述数据筛查实体用于对数据包内数据进行筛查，包括检查图像清晰度、音频清晰度和文本信息完整度，若满足要求，则返回SUCCESS；若不满足要求，则输出FAIL并将不满足要求的数据进行返回；
[0012]所述人脸图像识别实体用于对图像采集端采集到的人脸图像、身份证图像进行图像预处理和人脸图像识别和对比；
[0013]所述音频指纹处理实体用于对音频采集端采集到的音频数据进行音频预处理和音频指纹提取和对比；
[0014]所述音频
‑
图像匹配实体用于验证音频采集者和图像采集者是否匹配；
[0015]所述数据库实体用于为管理实体提供数据存储和管理服务；
[0016]所述管理实体用于对各实体单位进行任务分配和调度。
[0017]作为更进一步的解决方案，所述人脸图像识别实体包括人脸特征提取端和人脸特征对比端；
[0018]所述人脸特征提取端是基于深度学习的人脸识别模型，来对图像中的人脸区域进行人脸特征识别，所述人脸特征识别包括对图像进行人脸检测、人脸矫正、人脸关键点定位，并得到人脸特征；
[0019]所述人脸特征对比端用于对待识别人脸和对照人脸进行人脸特征对比，并判断待识别人脸和对照人脸是否具备相同的人脸特征。
[0020]作为更进一步的解决方案，所述音频指纹处理实体包括音频数据预处理端、音频指纹提取端和音频指纹对比端；
[0021]所述音频数据预处理端用于对音频数据进行采样、滤波、短时傅里叶变换、音频分段、音频频谱转换，并最终得到音频频谱；
[0022]所述音频指纹提取端用于提取音频频谱中幅值超过幅度阈值的频段点作为特征点，记录各特征点的幅值、时序、相邻特征点之间关系，并生成音频指纹；所述音频指纹以(code,time)结构进行保存，其中，code,time都是一组连续的数，code包含特征点频率、特征点间距离、特征点幅值，time包含特征点的时序信息；
[0023]所述音频指纹对比端用于对待识别音频和对照音频进行音频指纹对比，并判断待识别音频和对照音频是否具备相同音频指纹特征。
[0024]作为更进一步的解决方案，所述音频指纹对比端对待识别音频和对照音频进行音频指纹比对，提取code相同的特征点，并组成多个数组；计算同一数组中不同time的差值ΔT，当相同的ΔT个数超过设定阈值时，认为音频指纹匹配成功。
[0025]作为更进一步的解决方案，所述音频
‑
图像匹配实体通过图像采集端持续采集人脸图像；根据采集到的人脸图像确定上下嘴唇位置，并记录每一帧图像中上下嘴唇位置，统计上下嘴唇相对位置变化频率，得到唇部发声频率；
[0026]所述音频
‑
图像匹配实体通过音频采集端持续采集音频数据，并记录音频数据中的音频发声频率；
[0027]当唇部发声频率与音频发声频率相同时，则认为音频
‑
图像匹配，音频采集和图像采集为同一人。
[0028]作为更进一步的解决方案，所述数据库实体包括注册用户人脸特征数据库、注册用户音频指纹数据库、注册用户信息数据库和临时数据保存库；
[0029]所述注册用户人脸特征数据库用于保存注册用户的人脸特征数据，并以<key,value>的形式进行保存；
[0030]所述注册用户音频指纹数据库用于保存注册用户的音频指纹特征数据，并以
[0031]<key,value>的形式进行保存；
[0032]所述注册用户信息数据库用于保存注册用户的注册信息，注册信息以<对象,key序列>进行保存，其中，key序列中各元素通过索引注册用户人脸特征数据、注册用户音频指纹数据库的key进行匹配；
[0033]所述临时数据保存库用于为管理实体提供临时数据存储空间；
[0034]其中，所述注册用户人脸特征数据库、注册用户音频指纹数据库、注册用户信息数据库和临时数据保存库均对保存数据进行加密处理。
[003本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于音频指纹的防沉迷系统，其特征在于，包括终端采集单元、终端执行单元和云端验证单元；所述终端采集单元部署在智能设备上，所述终端采集单元包括图像采集端、音频采集端和信息采集端；所述图像采集端、音频采集端、信息采集端通过使用者获取智能设备限权，对智能设备的摄像头、麦克风和存储器进行调用，并采集智能设备上的人脸图像、身份证图像、音频和信息文本数据；采集到的人脸图像、身份证图像、音频和信息文本通过数据包上传至云端验证单元；所述终端执行单元部署在智能设备上，并对智能设备中限制级应用进行防沉迷管理，防沉迷管理包括对限制级应用进行启动、关闭、空挂和和运行监测；所述云端验证单元部署在云端服务器上，并通过FTP/HTTP/HTTPS协议与终端采集单元、终端执行单元进行网络连接；所述云端验证单元接收终端采集单元的数据包，并对数据包中的数据进行验证和识别；所述云端验证单元根据验证和识别选择对应执行动作，并将执行动作下发至终端执行单元进行执行。2.根据权利要求1所述的一种基于音频指纹的防沉迷系统，其特征在于，所述云端验证单元包括管理实体和数据库实体；其中，所述管理实体包括数据筛查实体、人脸图像识别实体、音频指纹处理实体和音频
‑
图像匹配实体；所述数据筛查实体用于对数据包内数据进行筛查，包括检查图像清晰度、音频清晰度和文本信息完整度，若满足要求，则返回SUCCESS；若不满足要求，则输出FAIL并将不满足要求的数据进行返回；所述人脸图像识别实体用于对图像采集端采集到的人脸图像、身份证图像进行图像预处理和人脸图像识别和对比；所述音频指纹处理实体用于对音频采集端采集到的音频数据进行音频预处理和音频指纹提取和对比；所述音频
‑
图像匹配实体用于验证音频采集者和图像采集者是否匹配；所述数据库实体用于为管理实体提供数据存储和管理服务；所述管理实体用于对各实体单位进行任务分配和调度。3.根据权利要求2所述的一种基于音频指纹的防沉迷系统，其特征在于，所述人脸图像识别实体包括人脸特征提取端和人脸特征对比端；所述人脸特征提取端是基于深度学习的人脸识别模型，来对图像中的人脸区域进行人脸特征识别，所述人脸特征识别包括对图像进行人脸检测、人脸矫正、人脸关键点定位，并得到人脸特征；所述人脸特征对比端用于对待识别人脸和对照人脸进行人脸特征对比，并判断待识别人脸和对照人脸是否具备相同的人脸特征。4.根据权利要求2所述的一种基于音频指纹的防沉迷系统，其特征在于，所述音频指纹处理实体包括音频数据预处理端、音频指纹提取端和音频指纹对比端；所述音频数据预处理端用于对音频数据进行采样、滤波、短时傅里叶变换、音频分段、音频频谱转换，并最终得到音频频谱；所述音频指纹提取端用于提取音频频谱中幅值超过幅度阈值的频段点作为特征点，记录各特征点的幅值、时序、相邻特征点之间关系，并生成音频指纹；所述音频指纹以(code,time)结构进行保存，其中，code,time都是一组连续的数，code包含特征点频率、特征点间距离、特征点幅值，time包含特征点的时序信息；所述音频指纹对比端用于对待识别音频和对照音频进行音频指纹对比，并判断待识别音频和对照音频是否具备相同音频指纹特征。
5.根据权利要求4所述的一种基于音频指纹的防沉迷系统，其特征在于，所述音频指纹对比端对待识别音频和对照音频进行音频指纹比对，提取code相同的特征点，并组成多个数组；计算同一数组中不同time的差值ΔT，若相同的ΔT个数超过设定阈值时，认为音频指纹匹配成功。6.根据权利要求2所述的一种基于音频指纹的防沉迷系统，其特征在于，所述音频
‑
图像匹配实体通过图像采集端持续采集人脸图像；根据采集到的人脸图像确定上下嘴唇位置，并记录每一帧图像中上下嘴唇位置，统计上下嘴唇相对位置变化频率，得到唇部发声频率；所述音频
‑
图像匹配实体通过音频采集端持续采集音频数据，并记录音频数据中的音频发声频率；当唇部发声频率与音频发声频率相同时，则认为音频
‑
图像匹配，音频采集和图像采集为同一人。7.根据权利要求2所述的一种基于音频指纹的防沉迷系统，其特征在于，所述数据库实体包括注册用户人脸特征...

【专利技术属性】
技术研发人员：汪于迪，王霄麟，
申请(专利权)人：北京卡拉卡尔科技股份有限公司，
类型：发明
国别省市：