基于舆情态势感知的内容审核方法系统电子设备及介质技术方案

本发明专利技术公开了一种基于舆情态势感知的内容审核系统、电子设备及计算机可读介质。该方法提供和/或设置内容审核系统和内容UGC平台；审查调度单元接收来自所述产品客户端/服务器单元的审查请求，按照一定的逻辑分别完成机器审查和人工审查，实现初审；审查调度单元接收来自舆情感知实时监控单元的舆情报警，并调整人工审查单元对特定内容的优先级，实现高优审查；舆情感知实时监控单元接收流式数据处理单元的数据，并根据设定的舆情报警阈值发送通知给审查调度单元，以发起进一步审查。因此本发明专利技术能够实现，降低人工审核工作量，降低审核时延，特别是热点UGC内容及评论的时延。

Content audit method based on public opinion situation awareness system electronic equipment and media

【技术实现步骤摘要】
基于舆情态势感知的内容审核方法系统电子设备及介质
本专利技术涉及计算机信息处理领域，具体而言，涉及一种基于舆情态势感知的内容审核方法系统电子设备及可读介质。
技术介绍
视频内容审查一般采用机器审查结合人工审查的方式，机器先进行初审，之后再进行兜底的人工审查。目前机器审查的准确率不够，导致兜底的人工审查的工作量比例较大。并且，由于文本、图像技术发展的局限性带来的，现在业界各相关技术和服务的供应商的识别准确率和召回率都难以做到完全不需要人介入的程度，为了保证合法合规性，业界都采用了大量人工审查来保证基本漏放率低于某个值，例如1％。在先审后发的总体原则下，人工审查带来的是内容发布到对平台内容可见的延迟较长，严重影响到用户体验。为了解决上述现有技术中的问题，本专利技术公开了一种基于舆情态势感知的内容审核方法、系统、电子设备及计算机可读介质。可以降低人工审核工作量，同时降低审核时延，特别是热点UGC内容及评论的时延。
技术实现思路
本专利技术旨在解决现有技术中，机器审查准确率不高，从而导致人工审查的工作量比较大，且延迟较长的问题，严重影响了用户体验。本专利技术提供一种基于舆情态势感知的内容审核系统、方法、电子设备及计算机可读介质。提高人工审核的效率，降低人工审核的工作量，同时降低审核时延。通过机器审查秒级延迟的判别，使得大量低风险内容得以快速通过审查，保证了用户对信息发送和互动的及时需求，做到合规前提下的高互动性。提升了用户体验。为了解决上述技术问题，本专利技术第一方面提出一种基于舆情态势感知的内容审核方法，该方法包括以下步骤：S1，提供和/或设置内容审核系统100和内容UGC平台200；其中，内容审核系统100包括审查调度单元101、机器审查单元102、人工审查单元103和舆情感知实时监控单元104；内容UGC平台200包括产品客户端/服务器单元201和流式数据处理单元202；其中，低风险内容会经过分发系统曝光给不同的用户；S2，内容UGC平台200提供内容审查的需求，根据内容违规风险，按照业务逻辑对内容进行处置；S3，审查调度单元101接收来自所述产品客户端/服务器单元201的审查请求，按照一定的逻辑调度机器审查单元102和人工审查单元103分别完成机器审查和人工审查，实现初审；S4，审查调度单元101接收来自舆情感知实时监控单元104的舆情报警，并调整人工审查单元103对特定内容的优先级，实现高优审查。S5，舆情感知实时监控单元104接收流式数据处理单元202的数据，并根据设定的舆情报警阈值发送通知给审查调度单元101，以发起进一步审查。可选地，用户在所述产品客户端/服务器单元201上发布内容，所述平台同时负责对用户内容的个性化推荐，吸引用户对内容进行消费和/或互动，进一步增进UGC内容的产生。可选地，流式数据处理单元202收集用户在产品客户端的行为日志，并实时传输给下游系统。可选地，机器审查单元102完成对用户各种形式内容的技术合规审查；人工审查单元103对机器无法准确判别的内容进行复审。为了解决上述技术问题，本专利技术第二方面提出一种基于舆情态势感知的内容审核系统，包括：内容审核系统100和内容UGC平台200；其中，内容审核系统100包括审查调度单元101、机器审查单元102、人工审查单元103和舆情感知实时监控单元104；内容UGC平台200包括产品客户端/服务器单元201和流式数据处理单元202；其中，审查调度单元101接收来自所述产品客户端/服务器单元201的审查请求，按照一定的逻辑调度机器审查单元102和人工审查单元103分别完成机器审查和人工审查，实现初审；审查调度单元101接收来自所述舆情感知实时监控单元104的舆情报警，并调整人工审查单元103对特定内容的优先级，实现高优审查。舆情感知实时监控单元104接收流式数据处理单元202的数据，并根据设定的舆情报警阈值发送通知给审查调度单元101，以发起进一步审查。内容UGC平台200提供内容审查的需求，根据内容违规风险，按照业务逻辑对内容进行处置；其中，低风险内容会经过分发系统曝光给不同的用户。可选地，用户在所述产品客户端/服务器单元201上发布内容，所述平台同时负责对用户内容的个性化推荐，吸引用户对内容进行消费和/或互动，进一步增进UGC内容的产生。可选地，流式数据处理单元202收集用户在产品客户端的行为日志，并实时传输给下游系统。可选地，机器审查单元102完成对用户各种形式内容的技术合规审查；人工审查单元103对机器无法准确判别的内容进行复审。为了解决上述技术问题，本专利技术第三方面提出一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，该处理器执行所述程序时，实现上述方法。为了解决上述技术问题，本专利技术第四方面提供一种计算机可读存储介质，其上存储有计算机程序，该程序能够被处理器执行来实现上述方法。本专利技术提供和/或设置了内容审核系统和内容UGC平台，内容调度单元按照一定的逻辑分别完成机器审查和人工审查；舆情感知实时监控单元接受来自内容UGC平台中流式数据处理单元的数据，并根据设定的舆情报警阈值发送通知给内容调度单元。通过以上方法，系统可以降低人工审核工作量，并同时降低审核时延，特别是热点UGC内容及评论的时延。内容调度单元可以识别了大量UGC内容中真正有可能产生不良影响的少部分，大幅减少了UGC流程中对人工审查的前置依赖性；UGC内容中大约10-15％的内容可能存在风险，但真正得到曝光的比例不足1％，得到1000以上曝光的比例则进一步减少到0.5％以内。通过机器审查秒级延迟的判别，使得大量低风险内容得以快速通过审查，保证了用户对信息发送和互动的及时需求，做到合规前提下的高互动性。对人工审查的流程效率的极大优化，一般的人工审查前置在内容真正得到曝光前，因而无法有效判别一个内容的价值，造成不同内容价值的审核延迟基本趋同；通过舆情感知实时监控单元、内容调度单元对内容风险等级的评估，可以实时调整对特定内容的人工审查队列优先级，从而保证了重要内容的高优审核。附图说明为了使本专利技术所解决的技术问题、采用的技术手段及取得的技术效果更加清楚，下面将参照附图详细描述本专利技术的具体实施例。但需声明的是，下面描述的附图仅仅是本专利技术的示例性实施例的附图，对于本领域的技术人员来讲，在不付出创造性劳动的前提下，可以根据这些附图获得其他实施例的附图。图1是示出了根据本专利技术实施例的一种基于舆情态势感知的内容审核方法的流程图。图2是示出了根据本专利技术实施例的一种基于舆情态势感知的内容审核系统的示意图。图3是根据本专利技术实施例的一种电子设备的示例性实施例的结构框图。图4是根据本专利技术实施例的一个计算机可读介质实施例的示意图。具体实施方式现在将参考附图来更加全面地描述本专利技术的示例性实施例，虽然各示例性实施例能够以多种具体的方式实施，但不应理解为本专利技术仅限于在此阐述的实施例。相反，提供这些示例性实施例是为了使本专利技术的内容更加完整，更加便于将专利技术构思全面地传达给本领域的技术人员。在符合本专利技术的技术构思的前提下，在某个特定的实施例中描述的结构、性能、效果或者其他特征可以以任何合适的方式结合到一个或更多其他的实施例中。在对于具体实施例的介绍过程中，对结构、性能、效果本文档来自技高网...

【技术保护点】
1.一种基于舆情态势感知的内容审核方法，所述方法包括以下步骤：S1，提供和/或设置内容审核系统(100)和内容UGC平台(200)；其中，所述内容审核系统(100)包括审查调度单元(101)、机器审查单元(102)、人工审查单元(103)和舆情感知实时监控单元(104)；所述内容UGC平台(200)包括产品客户端/服务器单元(201)和流式数据处理单元(202)；其中，低风险内容会经过分发系统曝光给不同的用户；S2，所述内容UGC平台(200)提供内容审查的需求，根据内容违规风险，按照业务逻辑对内容进行处置；S3，所述审查调度单元(101)接收来自所述产品客户端/服务器单元(201)的审查请求，按照一定的逻辑调度所述机器审查单元(102)和所述人工审查单元(103)分别完成机器审查和人工审查，实现初审；S4，所述审查调度单元(101)接收来自所述舆情感知实时监控单元(104)的舆情报警，并调整所述人工审查单元(103)对特定内容的优先级，实现高优审查；S5，所述舆情感知实时监控单元(104)接收流式数据处理单元(202)的数据，并根据设定的舆情报警阈值发送通知给所述审查调度单元(101)，以发起进一步审查。...

【技术特征摘要】
1.一种基于舆情态势感知的内容审核方法，所述方法包括以下步骤：S1，提供和/或设置内容审核系统(100)和内容UGC平台(200)；其中，所述内容审核系统(100)包括审查调度单元(101)、机器审查单元(102)、人工审查单元(103)和舆情感知实时监控单元(104)；所述内容UGC平台(200)包括产品客户端/服务器单元(201)和流式数据处理单元(202)；其中，低风险内容会经过分发系统曝光给不同的用户；S2，所述内容UGC平台(200)提供内容审查的需求，根据内容违规风险，按照业务逻辑对内容进行处置；S3，所述审查调度单元(101)接收来自所述产品客户端/服务器单元(201)的审查请求，按照一定的逻辑调度所述机器审查单元(102)和所述人工审查单元(103)分别完成机器审查和人工审查，实现初审；S4，所述审查调度单元(101)接收来自所述舆情感知实时监控单元(104)的舆情报警，并调整所述人工审查单元(103)对特定内容的优先级，实现高优审查；S5，所述舆情感知实时监控单元(104)接收流式数据处理单元(202)的数据，并根据设定的舆情报警阈值发送通知给所述审查调度单元(101)，以发起进一步审查。2.根据权利要求1所述的方法，其特征在于：用户在所述产品客户端/服务器单元(201)上发布内容，所述平台同时负责对用户内容的个性化推荐，吸引用户对内容进行消费和/或互动，进一步增进UGC内容的产生。3.根据权利要求1所述的方法，其特征在于：所述流式数据处理单元(202)收集用户在产品客户端的行为日志，并实时传输给下游系统。4.根据权利要求1所述的方法，其特征在于：所述机器审查单元(102)完成对用户各种形式内容的技术合规审查；所述人工审查单元(103)对机器无法准确判别的内容进行复审。5.一种基于舆情态势感知的内容审核系统，包括：内容审核系统(100)和内容UGC平台(200)；其中，所述内容审核...

【专利技术属性】
技术研发人员：李小松，李浩，李元，
申请(专利权)人：北京小川在线网络技术有限公司，
类型：发明
国别省市：北京,11