一种用于网络交流平台的内容安全监测方法和系统技术方案

本申请涉及网络信息安全监控技术领域，具体公开了一种用于网络交流平台的内容安全监测方法和系统，首先将从网络交流平台获取的待审核数据中的音频数据、视频数据和文本数据都转换成图片数据；然后将从图片数据提取的图片特征数据输入内容安全监测评审数学模型；最后获取内容安全监测评审数学模型输出的用于标识待审核数据的内容安全级别的内容安全评级参数。由于应用人工智能成熟的处理技术及处理能力，将待审核数据先都转换成图片数据再进行人工智能化处理，可以大大提高网络内容安全监测的识别准确率和识别效率。测的识别准确率和识别效率。测的识别准确率和识别效率。

【技术实现步骤摘要】
一种用于网络交流平台的内容安全监测方法和系统


[0001]本专利技术涉及网络信息安全监控
，具体涉及一种用于网络交流平台的内容安全监测方法和系统。

技术介绍

[0002]随着互联网的飞速发展和信息量的猛增，网络传播的内容安全监测任务也越来越重，尤其对直播平台和短视频这种包含图像、声音和文字并行的网络信息安全审核难度更大。如何完善AI在网络信息安全监控
的应用，一直是该领域不断研究的课题。

技术实现思路

[0003]本专利技术主要解决的技术问题是如何提高针对网路交流平台人工智能技术用于内容安全监测的识别准确率和识别效率。
[0004]根据第一方面，一种实施例中提供一种用于网络交流平台的内容安全监测方法，包括：获取待审核数据；所述待审核数据包括音频数据、视频数据和文本数据；将所述待审核数据转换为图片数据；所述图片数据包括音频转换图像数据、视频转换图像数据和文本转换图像数据；所述音频转换图像数据依据所述音频数据获取，所述视频转换图像数据依据所述视频数据获取，所述文本转换图像数据依据所述文本数据获取；提取所述图片数据的图片特征，以获取图片特征数据；所述图片特征数据包括音频图像特征、视频图像特征和文本图像特征；所述音频图像特征为从所述音频转换图像数据中提取的图片特征数据，所述视频图像特征为从所述视频转换图像数据中提取的图片特征数据，所述文本图像特征为从所述文本转换图像数据中提取的图片特征数据；将所述图片特征数据输入一内容安全监测评审数学模型中，并获取所述内容安全监测评审数学模型输出的内容安全评级参数；所述内容安全评级参数是用于标识所述待审核数据的内容安全级别。
[0005]根据第二方面，一种实施例中提供一种计算机可读存储介质，包括程序，所述程序能够被处理器执行以实现第一方面所述的内容安全监测方法。
[0006]根据第三方面，一种实施例中提供一种用于网络交流平台的内容安全监测系统，用于应用如第一方面所述的内容安全监测方法对所述网络交流平台进行内容安全监测，所述内容安全监测系统包括：监控终端，用于获取待审核数据；所述待审核数据包括音频数据、视频数据和文本数据；数据转换单元，用于将所述待审核数据转换为图片数据；所述图片数据包括音频转换图像数据、视频转换图像数据和文本转换图像数据；所述音频转换图像数据依据所述音频数据获取，所述视频转换图像数据依据所述视频数据获取，所述文本转换图像数据依
据所述文本数据获取；特征提取单元，用于提取所述图片数据的图片特征，以获取图片特征数据；所述图片特征数据包括音频图像特征、视频图像特征和文本图像特征；所述音频图像特征为从所述音频转换图像数据中提取的图片特征数据，所述视频图像特征为从所述视频转换图像数据中提取的图片特征数据，所述文本图像特征为从所述文本转换图像数据中提取的图片特征数据；评定单元，用于将所述图片特征数据输入一内容安全监测评审数学模型中，并获取所述内容安全监测评审数学模型输出的内容安全评级参数；所述内容安全评级参数是用于标识所述待审核数据的内容安全级别；预警单元，用于当所述内容安全评级参数的值不在预设范围时输出安全警告信息。
[0007]依据上述实施例的一种内容安全监测方法，是将从网络交流平台获取的待审核数据中的音频数据、视频数据和文本数据都转换成图片数据，再将从图片数据提取的图片特征数据输入内容安全监测评审数学模型，以输出内容安全评级参数。由于应用人工智能成熟的处理技术及处理能力，将待审核数据先都转换成图片数据再进行人工智能化处理，可以大大提高网络内容安全监测的识别准确率和识别效率。
附图说明
[0008]图1为一种实施例中内容安全监测系统的结构示意图；图2为一种实施例中内容安全监测方法的流程示意图。
具体实施方式
[0009]下面通过具体实施方式结合附图对本专利技术作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。
[0010]另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。
[0011]本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。而本申请所说“连接”、“联接”，如无特别说明，均包括直接和间接连接（联接）。
[0012]现阶段，网络直播平台、短视频和网络视频会议等网络交流平台渐渐的融入到大家的生活和工作当中，随之增加了网络内容安全监测的负担，甄别、筛选和评定内容等级越来越困难。例如，在网络交流平台上，通过文本字符和格式转换形成图像信息，都是按文本
信息进行审核，而对其文本形成的图像信息不能监测到，只能由人工方式进行监管。下面举个简单例子，例如：文本信息是：“亻尔女子”，其形成的图像信息是：“你好”。
[0013]如上所述的文本信息的审核难度是很大的，在本申请实施例中，为了实现对文本信息图像化含义的审核问题，采用将文本信息进行图片化转换，通过图片方式的审核实现对齐文本信息图像化含义的审核。
[0014]另外，在网络交流平台上，特殊声音的审核也是现阶段的审核难点，在本申请实施例中将音频数据转换成音频频谱图、音频语谱图和音频时域图来实现特殊声音的审核，大大降低了特殊声音的审核难度。
[0015]实施例一：请参考图1，为一种实施例中内容安全监测系统的结构示意图，该内容安全监测系统1包括监控终端10、数据转换单元20、特征提取单元30、评定单元40和预警单元50。监控终端10用于获取待审核数据，待审核数据包括音频数据、视频数据和文本数据。数据转换单元20用于将待审核数据转换为图片数据。其中，图片数据包括音频转换图像数据、视频转换图像数据和文本转换图像数据，音频转换图像数据依据音频数据获取，视频转换图像数据依据视频数据获取，文本转换图像数据依据文本数据获取。特征提取单元30用于提取图片数据的图片特征，以获取图片特征数据。图片特征数据包括音频图像特征、视频图像特征和文本图像特征，音频图像特征为从音频转换图像数据中提取的图片特征数据，视频图像特征为从视频转换图像数据中提取的图片特征数据，文本图像特征为从文本转换图像数据中提取的图片特征数据。评定单元40用于将图片特征数据输入一内容安全监测评审数学模型中，并获取内容安全监测评审数学模型输出的内容安全评级参数，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于网络交流平台的内容安全监测方法，其特征在于，包括：获取待审核数据；所述待审核数据包括音频数据、视频数据和文本数据；将所述待审核数据转换为图片数据；所述图片数据包括音频转换图像数据、视频转换图像数据和文本转换图像数据；所述音频转换图像数据依据所述音频数据获取，所述视频转换图像数据依据所述视频数据获取，所述文本转换图像数据依据所述文本数据获取；提取所述图片数据的图片特征，以获取图片特征数据；所述图片特征数据包括音频图像特征、视频图像特征和文本图像特征；所述音频图像特征为从所述音频转换图像数据中提取的图片特征数据，所述视频图像特征为从所述视频转换图像数据中提取的图片特征数据，所述文本图像特征为从所述文本转换图像数据中提取的图片特征数据；将所述图片特征数据输入一内容安全监测评审数学模型中，并获取所述内容安全监测评审数学模型输出的内容安全评级参数；所述内容安全评级参数是用于标识所述待审核数据的内容安全级别。2.如权利要求1所述的内容安全监测方法，其特征在于，当所述内容安全评级参数的值不在预设范围时输出安全警告信息；所述安全警告信息包括涉及广告信息、涉及暴恐识别、涉及低俗内容和/或涉及敏感人物或事件。3.如权利要求1所述的内容安全监测方法，其特征在于，所述音频数据的获取方式包括复制的与所述网络交流平台交互的音频数据、实时录制的所述网络交流平台的播放终端输出的音频数据和所述网络交流平台交互的可链接地址涉及的音频数据。4.如权利要求1所述的内容安全监测方法，其特征在于，所述视频数据的获取方式包括与所述网络交流平台交互的视频流数据、实时录制的所述网络交流平台的显示终端显示的视频数据和所述网络交流平台交互的可链接地址涉及的视频数据。5.如权利要求1所述的内容安全监测方法，其特征在于，所述文本数据包括网络传输的与所述网络交流平台交互的文本数据、从实时截取的所述网络交流平台的显示终端显示的界面提取的文本数据和从所述网络交流平台的播放终端输出的音频进行文字转换获取的文本数据。6.如权利要求1所述的内容安全监测方法，其特征在于，所述音频转换图像数据的获取方法包括：将所述音频数据按预设时间段进行截取；将截取后的每段音频数据进行音频波形图转换，以获取每段音频数据的音频频谱图、音频语谱图和/或音频时域图；将获取的所述音频频谱图、音频语谱图和/或音频时域图作为一个音频转换图像数据；所述视频转换图像数据的获取方式包括：对所述视频数据进行随机抽帧、预...

【专利技术属性】
技术研发人员：陈晓锋，沈务耀，麦理士，
申请(专利权)人：深圳市敢爱科技有限公司，
类型：发明
国别省市：