【技术实现步骤摘要】
基于人脸特征和声纹特征识别主播的方法及装置
本专利技术涉及视频监控
，更具体地，涉及基于人脸特征和声纹特征识别主播的方法及装置。
技术介绍
网络直播，即互联网直播服务，是一种主播主导、全新的互联网视听节目，通常采用视频、音频、图文等形式，实时向公众播送各种咨询或节目等。截至2019年6月，我国网络直播用户规模达4.33亿，占网民整体的50.7％，其中真人秀直播的用户规模为2.05亿，占网民整体的24.0％。网络直播吸引着越来越多的用户，而经济利益的诱惑和监管上的疏漏等也导致了直播行业的各种乱象。部分主播为了自身利益，不择手段的吸引观众眼球，其手法主要分为两类。一类是涉嫌违法犯罪的行为，如淫秽色情表演、侵犯隐私、侵犯版权、虚假炒作、寻衅滋事、亵渎国家象征等；另一类是虽不触犯法律，但其行为影响恶劣，败坏社会风气的行为，如言语暴力低俗、攀比炫富、违规广告、虐杀动物，不尊重民族历史文化的内容等。这些主播并非不知道其直播内容不符合规章制度，更多的是抱有即使被所在平台封杀也可以换一个平台、账号继续直播的侥幸心理，导致此类行...
【技术保护点】
1.一种基于人脸特征和声纹特征识别主播的方法，其特征在于，包括：/n根据预先训练的神经网络模型，从直播视频中提取待识别主播的身份特征，所述身份特征包括人脸特征和声纹特征；/n根据局部敏感哈希方法将所述身份特征存储至预先生成的哈希桶中，将与所述身份特征处于同一哈希桶内的至少一个特征作为待匹配的样本主播的身份特征；/n计算所述样本主播的身份特征与所述待识别主播的身份特征间的相似度，将相似度最高的样本主播作为所述待识别主播。/n
【技术特征摘要】
1.一种基于人脸特征和声纹特征识别主播的方法，其特征在于，包括：
根据预先训练的神经网络模型，从直播视频中提取待识别主播的身份特征，所述身份特征包括人脸特征和声纹特征；
根据局部敏感哈希方法将所述身份特征存储至预先生成的哈希桶中，将与所述身份特征处于同一哈希桶内的至少一个特征作为待匹配的样本主播的身份特征；
计算所述样本主播的身份特征与所述待识别主播的身份特征间的相似度，将相似度最高的样本主播作为所述待识别主播。
2.根据权利要求1所述的基于人脸特征和声纹特征识别主播的方法，其特征在于，所述神经网络模型包括检测网络模型和识别网络模型；
相应地，所述根据预先训练的神经网络模型，从直播视频中提取待识别主播的身份特征，包括：
从所述直播视频中截取视频图像，将所述视频图像输入所述检测网络模型，获得识别框向量，所述识别框向量用于表征视频图像中的识别框位置以及识别框内图案识别为人脸的概率；
根据所述识别框向量从视频图像中截取人脸图像，并输入至所述识别网络模型，输出人脸特征。
3.根据权利要求2所述的基于人脸特征和声纹特征识别主播的方法，其特征在于，所述检测网络模型为多任务卷积神经网络；相应地，所述将所述视频图像输入所述检测网络模型，获得识别框向量，具体为：
将所述视频图像缩放为若干张不同缩放比例的图像；
将所述若干张不同缩放比例的图像输入至多任务卷积神经网络，获得每张图像的识别框向量。
4.根据权利要求3所述的基于人脸特征和声纹特征识别主播的方法，其特征在于，所述根据所述识别框向量从视频图像中截取人脸图像，并输入至所述识别网络模型，输出人脸特征，具体为：
根据识别为人脸的概率最高的识别框向量从视频图像中截取人脸图像，并输入至所述识别网络模型，输出人脸特征。
5.根据权利要求1所述的基于人脸特征和声纹特征识别主播的方法，其特征在于，所述神经网络模型包括深度卷积神经网络；
相应地，所述根据预先训练的神经网络模型，从直播视频中提取待识别主播的身份特征，包括：
将所述直播视频中的至...
【专利技术属性】
技术研发人员：张菁，姚嘉诚，卓力，李晨豪，王立元，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。