可扩展多级协作内容审核技术制造技术

本发明专利技术提出了一种在实时通信中用于内容审核的系统，包括一个集中式内容审核设备；以及一个客户端设备，客户端设备可执行以下操作：从发送方用户处接收媒体流，媒体流包括第一段媒体流；由内容审核模块确定第一段媒体流内容是否恰当；若内容审核模块认定第一段媒体流内容恰当，则模糊模块不对第一段媒体流做模糊化处理；若内容审核模块认定第一段媒体流内容不恰当，则模糊模块对第一段媒体流进行模糊化处理；若本地内容审核模块无法认定第一段媒体流内容是恰当的还是不当的，则模糊模块采用预配置策略以决定是否对第一段媒体流进行模糊化处理；将第一段媒体流或者模糊后的第一段媒体流发送给接收方用户。媒体流发送给接收方用户。媒体流发送给接收方用户。

【技术实现步骤摘要】
可扩展多级协作内容审核技术
本申请是申请日为2021年3月8日，申请号为202110252594.5，专利技术名称为：《可扩展多级协作内容审核技术》的中国专利申请的分案申请。


[0001]本专利技术总体上涉及内容审核技术，更具体而言，本专利技术涉及领域为可扩展多级协作内容审核技术。

技术介绍

[0002]交互沟通很多时候是在不同的通信渠道中通过不同的媒体类型在线发生的。比如使用视频会议或视频流进行传输的实时通信。视频可包含音频和视频内容。一个用户(即发送方用户)可以将用户生成的内容(如视频)发送给一个或多个接收方用户。比如，可将一场音乐会直播给许多观众观看。又比如，老师可以向学生直播上课。再如，一些用户可进行包含实时视频的实时聊天。
[0003]然而，实时流媒体可能会带来一些问题。媒体中可能包含有害的内容，这些内容可能会给接收方带来伤害，尤其是儿童和/或弱势群体。例如，媒体中可能包括虐待儿童、暴力、仇恨言论、被禁止的政治话题、图片、性、残忍和麻木不仁或其他类型的有害内容。
[0004]为限制(如减少或消除)有害内容在人群本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种在实时通信中用于内容审核的系统，包括一个集中式内容审核设备；以及一个客户端设备，包括一个本地内容审核模块和一个模糊模块，其中，客户端设备与发送方用户位于同一局域网上,客户端设备配置为可执行以下操作：从发送方用户处接收媒体流，媒体流包括第一段媒体流；由内容审核模块确定第一段媒体流内容是否恰当；若内容审核模块认定第一段媒体流内容恰当，则模糊模块不对第一段媒体流做模糊化处理；若内容审核模块认定第一段媒体流内容不恰当，则模糊模块对第一段媒体流进行模糊化处理，或内容审核模块拦截第一段媒体流；若本地内容审核模块无法认定第一段媒体流内容是恰当的还是不当的，则模糊模块第一次采用预配置策略以决定是否对第一段媒体流进行模糊化处理，其中预配置策略包括将媒体流内容转发到集中式内容审核设备进行鉴定的复查型策略；将第一段媒体流或者模糊后的第一段媒体流发送给接收方用户。2.根据权利要求1所述的系统，其中，集中式内容审核设备运行于集中式服务器上。3.根据权利要求2所述的系统，其中，客户端设备为发送方用户所使用的移动电话、平板电脑、膝上电脑、笔记本电脑、或台式计算机。4.根据权利要求1所述的系统，其中预配置策略包括：复查型策略；模糊模块对不确定是否恰当的媒体流内容均不做模糊化处理的允许型策略；或模糊模块对不确定是否恰当的媒体流内容均做模糊化处理的限制型策略。5.根据权利要求1所述的系统，其中，媒体流为实时的媒体流，其被分段捕获并分段进行实时流发送，所述媒体流还包括紧随第一段媒体流的第二段媒体流。6.根据权利要求4所述的系统，其中，在接收到第一段媒体流内容恰当的或不当的分类结果前，模糊模块将扣留第一段媒体流，并且，如果在模糊模块接收到第一段媒体流之后的预定时间段内，模糊模块仍未接收到所述分类结果，则模糊模块第二次采用预配置策略，从预配置策略中选择许型策略或限制型策略对第一段媒体流进行操作。7.根据权利要求1所述的系统，其中，当本地内容审核模块无法认定第一段媒体流内容是恰当的还是不当的，模糊模块采用复查型策略，然后在客户端设备收到分类结果前，模糊模块即对第一段媒体流进行模糊化处理。8.根据权利要求7所述的系统，当集中式内容审核设备认定第一段媒体流内容是恰当的，集中式内容审核设备示意模糊模块停止对第一段媒体流内容的模糊化处理。9.根据权利要求1所述的系统，其中，当本地内容审核模块无法认定第一段媒体流内容是恰当的还是不当的，模糊模块采用复查型策略，然后在客户端设备收到分类结果后，模糊模块再根据分类结果决定是否对第一段媒体流进行模糊处理。10.根据权利要求1所述的系统，其中，客户端设备还包括一个调整模块，当本地内容审核模块将第一段媒体流内容分类为不确定时，调整模块按比例压缩第...

【专利技术属性】
技术研发人员：钟声，
申请(专利权)人：达音网络科技上海有限公司，
类型：发明
国别省市：