一种网络直播用可追踪人脸系统技术方案

本发明专利技术公开了一种网络直播用可追踪人脸系统，属于人脸追踪技术领域，包括影像采集模块、音频采集模块、数据处理模块、人脸追踪模块、追踪规则库、更新分析模块、管理平台、数据封装模块、服务器以及用户端；本发明专利技术通过级联神经网络，能够大幅提高对人脸追踪的准确性，提高系统运行效率，能够自行对追踪规则库进行更新，节省工作人员手动更新的时间，简化操作步骤，提高工作人员工作效率，同时能够更加直观地将运行信息反馈给工作人员，方便工作人员进行数据分析。进行数据分析。进行数据分析。

【技术实现步骤摘要】
一种网络直播用可追踪人脸系统


[0001]本专利技术涉及人脸追踪
，尤其涉及一种网络直播用可追踪人脸系统。

技术介绍

[0002]现如今在海关、机场、银行、电视电话会议等场合，都需要对特定人脸目标进行跟踪。显然，要跟踪图象中的人脸。首先要识别人脸。人脸识别就是利用计算机分析静态图片或视频序列。从中找出人脸并输出人脸的数目、位置及其大小等有效信息。其次就是跟踪人脸。就是要在检测到人脸的前提下。在后续帧中继续捕获人脸的位置及其大小等信息。人脸跟踪技术涉及到模式识别、图象处理、计算机视觉、生理学、心理学及形态学等诸多学科。人脸跟踪技术更为直接、友好。不会对用户造成心理障碍。此外，人脸跟踪技术研究与相关学科的发展及对人脑的认识程度紧密相关。这诸多因素使人脸跟踪研究成为一项既困难又极富挑战性的课题，随着直播行业的兴起，人脸追踪技术也逐渐受到各大直播平台的重视；
[0003]经检索，中国专利号CN114119665A公开了人脸追踪方法及系统，该专利技术虽然有效提高了追踪效率，但是对人脸追踪的准确性低，系统运行效率差；此外，现有的网络直播用可追踪人脸系统操作步骤繁杂，降低工作人员工作效率，不方便工作人员进行数据分析，为此，我们提出一种网络直播用可追踪人脸系统。

技术实现思路

[0004]本专利技术的目的是为了解决现有技术中存在的缺陷，而提出的一种网络直播用可追踪人脸系统。
[0005]为了实现上述目的，本专利技术采用了如下技术方案：
[0006]一种网络直播用可追踪人脸系统，包括影像采集模块、音频采集模块、数据处理模块、人脸追踪模块、追踪规则库、更新分析模块、管理平台、数据封装模块、服务器以及用户端；
[0007]其中，所述影像采集模块用于对外部环境以及人物进行采集并处理生成影像数据；
[0008]所述音频采集模块用于对外部环境音以及人声进行采集并处理生成音频数据；
[0009]所述数据处理模块用于接收影像数据与音频数据，并对两组数据进行优化处理；
[0010]所述人脸追踪模块用于接收处理后的影像数据，并对影像数据中的人脸进行级联追踪；
[0011]所述追踪规则库用于存储人脸追踪规则数据；
[0012]所述更新分析模块用于对追踪规则库进行进行调整更新；
[0013]所述管理平台用于接收更新分析模块反馈的调整数据，并对追踪规则库进行手动更新；
[0014]所述数据封装模块用于将影像数据与音频数据进行信息封装处理；
[0015]所述服务器用于对封装后的影像数据与音频数据进行缓存以及调度，并通过流式
协议进行分发，之后对缓存的数据进行数据回收；
[0016]所述用户端用于对各直播进行查看，并依据用于操作信息进行选择播放。
[0017]作为本专利技术的进一步方案，所述数据处理模块优化处理具体步骤如下：
[0018]步骤一：将各影像数据逐帧分割成多组图片数据，依据各图片数据的显示比例来确定分块数量，并对各组图片数据进行分块处理，同时对分块完成的图片数据通过低通滤波进行模糊处理；
[0019]步骤二：将处理后的图片数据通过傅里叶正反变换进行滤波处理减少噪声，再对处理完成的各组图片数据中的每一个像素逐点进行阈值计算，并对各组图片数据进行灰度处理，之后将各组图片数据进行逐帧拼接还原回相对应的影像数据；
[0020]步骤三：将音频数据的左右声道分离，分别保存左右声道数据，之后对保存的左右声道数据进行混音以及降噪处理，再对处理后的视频数据以及音频数据进行编码处理。
[0021]作为本专利技术的进一步方案，所述人脸追踪模块级联追踪具体步骤如下：
[0022]步骤(1)：人脸追踪模块构建级联神经网络，再从追踪规则库里提取人脸追踪规则数据作为检测规则，之后将各组影像数据导入级联神经网络中，并使用一级检测神经网络进行目标检测，依据多尺度训练策略对各组影像数据各帧图像相应的尺寸生成图片切块，并将不同尺度的图片切块放缩到同样的大小；
[0023]步骤(2)：对各组图片切块进行尺度归一化处理，再对各组图片切块进行特征提取，并将提取出的特征送入双向特征金字塔，进行特征融合，再将融合输出结果进行分类回归以输出检测框、类别和分数；
[0024]步骤(3)：对图片切块中人脸检测框信息进行收集，并生成对应检测框坐标，再对相关图片切块进行扩大化剪裁，二级检测神经网络接收扩大化剪裁后生成的各组人脸图片，并通过RPN过滤掉各组人脸图片中属于背景的简单负样本；
[0025]步骤(4)：挑选出可能含有人脸信息的区域进行分类和回归，之后在五个语义信息有高有低的人脸图片的每一个点上生成不同大小的九个锚框并对这些锚框进行分类和回归，再通过扩大化剪裁对各组人脸图片中的人脸位置进行检测。
[0026]作为本专利技术的进一步方案，所述扩大化剪裁具体计算公式如下：
[0027]x1
′
＝max(x1
‑
|x2
‑
x1|*e,0)
ꢀꢀꢀ
(1)
[0028]x2
′
＝min(x2+|x2
‑
x1|*e,width)
ꢀꢀꢀ
(2)
[0029]y1
′
＝max(y1
‑
|y2
‑
y1|*e,0)
ꢀꢀꢀ
(3)
[0030]y2
′
＝min(y2+|y2
‑
y1|*e,height)
ꢀꢀꢀ
(4)
[0031]其中，width,height分别代表待检测图片切块的宽和高，单位为像素，e代表扩大率，且e从0依次递增0.2到0.8。
[0032]作为本专利技术的进一步方案，所述更新分析模块调整更新具体步骤如下：
[0033]第一步：更新分析模块实时提取追踪规则库中存储的人脸追踪规则数据，并将其中非二进制的数据转换为二进制，之后通过归一化处理将各组人脸追踪规则数据转换至规定区间内，再对处理完成的人脸追踪规则数据进行特征降维；
[0034]第二步：之后构建更新网络模型，之后更新网络模重复多次对处理完成的各组人脸追踪规则数据进行精度验证，同时对每组数据都进行一次预测，并将预测结果最好的数据作为最优参数输出，并依据最优参数对各组数据进行标准化处理，并通过更新网络模型
采用长期迭代法对各人脸追踪规则数据进行实时优化；
[0035]第三步：更新分析模块接收更新网络模型运行信息，并通过焦点损失函数对更新网络模型运行损失值进行计算，并判断该损失值是否满足系统默认或管理人员设定的期望值，若不满足，则对该更新网络模型进行准确率、检出率以及误报率分析，并生成相对应的数据图表反馈至管理平台进行显示。
[0036]作为本专利技术的进一步方案，所述服务器数据回收具体步骤如下：
[0037]P2：服务器依据系统默认或管理人员设定的循环时间值定期对各组缓本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种网络直播用可追踪人脸系统，其特征在于，包括影像采集模块、音频采集模块、数据处理模块、人脸追踪模块、追踪规则库、更新分析模块、管理平台、数据封装模块、服务器以及用户端；其中，所述影像采集模块用于对外部环境以及人物进行采集并处理生成影像数据；所述音频采集模块用于对外部环境音以及人声进行采集并处理生成音频数据；所述数据处理模块用于接收影像数据与音频数据，并对两组数据进行优化处理；所述人脸追踪模块用于接收处理后的影像数据，并对影像数据中的人脸进行级联追踪；所述追踪规则库用于存储人脸追踪规则数据；所述更新分析模块用于对追踪规则库进行进行调整更新；所述管理平台用于接收更新分析模块反馈的调整数据，并对追踪规则库进行手动更新；所述数据封装模块用于将影像数据与音频数据进行信息封装处理；所述服务器用于对封装后的影像数据与音频数据进行缓存以及调度，并通过流式协议进行分发，之后对缓存的数据进行数据回收；所述用户端用于对各直播进行查看，并依据用于操作信息进行选择播放。2.根据权利要求1所述的一种网络直播用可追踪人脸系统，其特征在于，所述数据处理模块优化处理具体步骤如下：步骤一：将各影像数据逐帧分割成多组图片数据，依据各图片数据的显示比例来确定分块数量，并对各组图片数据进行分块处理，同时对分块完成的图片数据通过低通滤波进行模糊处理；步骤二：将处理后的图片数据通过傅里叶正反变换进行滤波处理减少噪声，再对处理完成的各组图片数据中的每一个像素逐点进行阈值计算，并对各组图片数据进行灰度处理，之后将各组图片数据进行逐帧拼接还原回相对应的影像数据；步骤三：将音频数据的左右声道分离，分别保存左右声道数据，之后对保存的左右声道数据进行混音以及降噪处理，再对处理后的视频数据以及音频数据进行编码处理。3.根据权利要求2所述的一种网络直播用可追踪人脸系统，其特征在于，所述人脸追踪模块级联追踪具体步骤如下：步骤(1)：人脸追踪模块构建级联神经网络，再从追踪规则库里提取人脸追踪规则数据作为检测规则，之后将各组影像数据导入级联神经网络中，并使用一级检测神经网络进行目标检测，依据多尺度训练策略对各组影像数据各帧图像相应的尺寸生成图片切块，并将不同尺度的图片切块放缩到同样的大小；步骤(2)：对各组图片切块进行尺度归一化处理，再对各组图片切块进行特征提取，并将提取出的特征送入双向特征金字塔，进行特征融合，再将融合输出结果进行分类回归以输出检测框、类别和分数；步骤(3)：对图片切块中人脸检测框信息进行收集，并生成对应检测框坐标，再对相关图片切块进行扩大化剪裁，二级检测神经网络接收扩大化剪裁后生成的各组人脸图片，并通过RPN过滤掉各组人脸图片中属于背景的简单负样本；步骤(4)：挑选出可能含有人脸信息的区域进行分类和回归，之后在五个语义信息有高
有...

【专利技术属性】
技术研发人员：仓凯，沈庆庆，
申请(专利权)人：苏州壹刻度文化传媒有限公司，
类型：发明
国别省市：