基于内容理解的审核方法、装置及电子设备制造方法及图纸

本公开公开了一种基于内容理解的审核方法、装置及电子设备，涉及计算机技术领域，尤其涉及信息处理技术领域。具体实现方案为：确定管控需求；获取与所述管控需求对应的至少一个内容标签，基于所述至少一个内容标签配置内容审核体系，其中，所述至少一个内容标签中任一个内容标签对应至少一个审核模型；在获取到待审核对象的情况下，基于所述内容审核体系调用所述至少一个内容标签对应的审核模型对所述待审核对象进行内容审核；输出审核结果，所述审核结果用于表征所述待审核对象的内容。审核结果用于表征所述待审核对象的内容。审核结果用于表征所述待审核对象的内容。

【技术实现步骤摘要】
基于内容理解的审核方法、装置及电子设备


[0001]本公开涉及计算机
，尤其涉及信息处理
，具体涉及一种基于内容理解的审核方法、装置及电子设备。

技术介绍

[0002]随着移动互联网的发展，内容消费随之升级，内容展现形式涵盖了文字、图像、视频等。内容在发布及用户获取信息之前需要进行审核，以确保推送给用户高质量的内容。审核的主要目的是过滤掉有风险的内容，通过对不同风险类别建立不同的风险识别模型，风险再次出现时通过已建立的风险识别模型对风险进行识别和过滤。

技术实现思路

[0003]本公开提供了一种基于内容理解的审核方法、装置及电子设备。
[0004]根据本公开的第一方面，提供了一种基于内容理解的审核方法，包括：
[0005]确定管控需求；
[0006]获取与所述管控需求对应的至少一个内容标签，基于所述至少一个内容标签配置内容审核体系，其中，所述至少一个内容标签中任一个内容标签对应至少一个审核模型；
[0007]在获取到待审核对象的情况下，基于所述内容审核体系调用所述至少一个内容标签对应的审核模型对所述待审核对象进行内容审核；
[0008]输出审核结果，所述审核结果用于表征所述待审核对象的内容。
[0009]根据本公开的第二方面，提供了一种基于内容理解的审核装置，包括：
[0010]确定模块，用于确定管控需求；
[0011]配置模块，用于获取与所述管控需求对应的至少一个内容标签，基于所述至少一个内容标签配置内容审核体系，其中，所述至少一个内容标签中任一个内容标签对应至少一个审核模型；
[0012]审核模块，用于在获取到待审核对象的情况下，基于所述内容审核体系调用所述至少一个内容标签对应的审核模型对所述待审核对象进行内容审核；
[0013]输出模块，用于输出审核结果，所述审核结果用于表征所述待审核对象的内容。
[0014]根据本公开的第三方面，提供了一种电子设备，包括：
[0015]至少一个处理器；以及
[0016]与所述至少一个处理器通信连接的存储器；其中，
[0017]所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面所述的方法。
[0018]根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据第一方面所述的方法。
[0019]根据本公开的第五方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据第一方面所述的方法。
[0020]本公开提供的方案，无需针对不同的业务方单独配置不同的审核系统，通过基于内容理解的审核系统能够适用于对有不同管控需求的业务方的审核对象进行内容审核，使得电子设备的审核方式更为灵活，审核对象的覆盖范围也更广。
[0021]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0022]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0023]图1是根据本公开实施例提供的一种基于内容理解的审核方法的流程图；
[0024]图2是适用于本公开实施例提供的一种基于内容理解的审核方法的场景示意图；
[0025]图3是根据本公开实施例提供的一种基于内容理解的审核装置的结构图；
[0026]图4是用来实现本公开实施例的基于内容理解的审核方法的电子设备的框图；
具体实施方式
[0027]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0028]本公开实施例提供了一种基于内容理解的审核方法。
[0029]请参照图1，图1是本公开实施例提供的一种基于内容理解的审核方法的流程图。如图1所示，所述基于内容理解的审核方法包括以下步骤：
[0030]步骤S101、确定管控需求。
[0031]本公开实施例中，所述管控需求可以是指业务方的管控需求，业务方可以是指为用户提供内容消费的业务平台或者业务软件等，例如搜索软件、视频播放平台、网络购物软件、社交软件等。
[0032]其中，业务方的管控需求可以是指业务方对于其自身平台或软件上展示内容的控制要求，例如不允许其展示内容中涉及不文明用语等内容。可以理解地，不同的业务方的管控需求可以不同。
[0033]需要说明地，本公开实施例提供的方法可以是应用于电子设备，所述电子设备可以安装有业务方的业务平台或业务软件。进而，电子设备也就能够获取其安装的业务方的管控需求。
[0034]步骤S102、获取与所述管控需求对应的至少一个内容标签，基于所述至少一个内容标签配置内容审核体系。
[0035]其中，所述至少一个内容标签中任一个内容标签对应至少一个审核模型。例如，与管控需求对应的内容标签为三个，则这三个内容标签中的每一个内容标签都可以对应至少一个审核模型。所述审核模型可以是预先构建的能够对待审核对象进行审核的神经网络模型，所述审核模型可以是基于大量的训练样本进行训练得到，所述训练样本可以是与内容标签相关的训练样本，神经网络模型的训练方法可以是参照相关技术中的原理及实现方式，本公开实施例不做具体赘述。
[0036]本公开实施例中，所述电子设备安装有基于内容理解的审核系统，所述基于内容理解的审核系统可以是预先构建的一个审核体系，该审核系统可以是包括需求层、配置层和标签层，所述需求层设置有不同的管控需求，所述配置层可以是根据业务方的管控需求来配置标签；所述标签层包括预先设置的各种内容标签，配置层基于所述标签层中的内容标签来对管控需求配置相应的标签，一个内容标签对应至少一个审核模型。
[0037]如图2所示，所述审核系统的需求层中包括敏感信息管控、低质内容管控、资质准入管控、合规性管控等；所述标签层中分别包括图片、文本、落地页三种类型的标签，其中所述图片类型的标签包括如家用电器、人物、内衣、酒类、旗帜、内裤，所述文本类型的标签包括暗示、舆情描述、保健、八卦描述，所述落地页类型的标签包括非法代理、网页篡改；若配置层需要对敏感信息管控进行标签配置，所述配置层可以是分别基于图片类型、文本类型和落地页类型这三类标签类型来选择对应的内容标签，如图片类型的标签配置人物内容标签和旗帜内容标签，文本类型标签配置舆情描述内容标签和八卦描述内容标签，落地页内容标签配置非法代理内容标签和网页篡改内容标签。这样，基于业务方对于敏感信息的管控需求，也就能够获取与敏感信息管控需求对应的内容标签，进而基于这些对应的内容标签也就能够配本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于内容理解的审核方法，包括：确定管控需求；获取与所述管控需求对应的至少一个内容标签，基于所述至少一个内容标签配置内容审核体系，其中，所述至少一个内容标签中任一个内容标签对应至少一个审核模型；在获取到待审核对象的情况下，基于所述内容审核体系调用所述至少一个内容标签对应的审核模型对所述待审核对象进行内容审核；输出审核结果，所述审核结果用于表征所述待审核对象的内容。2.根据权利要求1所述的方法，还包括：在业务方包括目标管控需求的情况下，从内容标签数据库中获取与所述目标管控需求对应的目标内容标签；其中，所述至少一个内容标签包括所述目标内容标签。3.根据权利要求2所述的方法，所述从内容标签数据库中获取与所述目标管控需求对应的目标内容标签之前，还包括：在所述内容标签数据库中不包括所述目标内容标签的情况下，获取输入信息；基于所述输入信息构建所述目标内容标签，并构建所述目标内容标签对应的至少一个审核模型；将所述目标内容标签添加进所述内容标签数据库中。4.根据权利要求1所述的方法，其中，所述在获取到待审核对象的情况下，基于所述内容审核体系调用所述至少一个审核模型对所述待审核对象进行审核，包括：在获取到待审核对象的情况下，确定所述待审核对象的类型，所述类型包括文本和图像中至少一者；在所述待审核对象的类型包括文本的情况下，调用所述至少一个审核模型中的文本审核模型对所述待审核对象的文本进行审核，以判断所述待审核对象的文本是否与预设文本匹配；在所述待审核对象的类型包括图像的情况下，调用所述至少一个审核模型中的图像审核模型对所述待审核对象的图像进行识别，以判断所述待审核对象的图像是否与预设图像匹配。5.根据权利要求4所述的方法，其中，所述输出审核结果，包括：在所述待审核对象的文本与所述预设文本匹配的情况下，输出包括所述预设文本的审核结果；在所述待审核对象的图像与所述预设图像匹配的情况下，输出包括用于描述所述预设图像的文本信息的审核结果。6.一种基于内容理解的审核装置，包括：确定模块，用于确定管控需求；配置模块，用于获取与所述管控需求对应的至少一个内容标签，基于所述至少一个内容标签配置内容审核体系，其中，所述至少一个内容标签中任一个内容标签对应至少一个审核模型；审核模块，用于在获取到待审核对象的情况下，基于所述...

【专利技术属性】
技术研发人员：张言，邓远达，刘星，梁晓旭，胡旭，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：