数据调度分发方法、装置、设备及计算机可读存储介质制造方法及图纸

本申请提供了一种数据调度分发方法、装置、设备及计算机可读存储介质；方法包括：获取待分发的多媒体数据，并获取从网络上爬取得到的多个多媒体参考数据；将所述多媒体数据和所述多个多媒体参考数据进行相似度匹配，得到匹配结果；当基于匹配结果确定所述多媒体数据满足加速分发条件时，获取所述多媒体数据的当前处理状态；基于所述当前处理状态，调整所述多媒体数据的调度策略，以加速对所述多媒体数据的调度分发。通过本申请，能够提高优质多媒体数据的调度和内容分发速度。数据的调度和内容分发速度。数据的调度和内容分发速度。

【技术实现步骤摘要】
数据调度分发方法、装置、设备及计算机可读存储介质


[0001]本申请涉及互联网技术，尤其涉及一种数据调度分发方法、装置、设备及计算机可读存储介质。

技术介绍

[0002]在互联网快速发展的时代，随着内容生产的门槛降低，视频上传量以指数级的速度增长。这些视频包括各种内容创作机构，比如自媒体和机构的PGC，UGC内容。视频的上传量大幅增长，为了保证分发内容的安全性，需要在短时间内完成视频内容的审核，目前主要途径是通过大量的人力同时辅助以机器算法能力进行内容审核。随着相关部门对互联网社会化内容平台监管越来越重视，再加上不良内容对互联网平台的伤害力惊人，现在各大社会化媒体平台都投入了很多人力做审核内容安全审核成为以短视频、新闻资讯，直播等平台优先级最高的运营需求，不管是通过人工审核还是以系统性的机器审核，都是以最安全与最适合产品调性的审核结果维度为主。
[0003]由于内容都需要经过人工审核，人工审核一方面需要增加很多成本，另外一方面效率也不够，无法保证热门和优质创作者的内容快速审核通过。随着内容量的快速增加，成本和效率都非常高，很容易造成内容的积压。尤其是对于UGC内容，如果无法快速审核和处理，也就没有办法快速分发，从而降低分发效率，对用户的体验也会造成很大的影响。

技术实现思路

[0004]本申请实施例提供一种方法、装置及计算机可读存储介质，能够提高优质多媒体数据的调度和分发速度。
[0005]本申请实施例的技术方案是这样实现的：
[0006]本申请实施例提供一种数据调度分发方法，包括：
[0007]获取待分发的多媒体数据，并获取从网络上爬取得到的多个多媒体参考数据；
[0008]将所述多媒体数据和所述多个多媒体参考数据进行相似度匹配，得到匹配结果；
[0009]当基于匹配结果确定所述多媒体数据满足加速分发条件时，获取所述多媒体数据的当前处理状态；
[0010]基于所述当前处理状态，调整所述多媒体数据的调度策略，以加速对所述多媒体数据的调度分发。
[0011]本申请实施例提供一种数据调度分发装置，包括：
[0012]第一获取模块，用于获取待分发的多媒体数据，并获取从网络上爬取得到的多个多媒体参考数据；
[0013]相似度匹配模块，用于将所述多媒体数据和所述多个多媒体参考数据进行相似度匹配，得到匹配结果；
[0014]第二获取模块，用于当基于匹配结果确定所述多媒体数据满足加速分发条件时，获取所述多媒体数据的当前处理状态；
[0015]策略调整模块，用于基于所述当前处理状态，调整所述多媒体数据的调度策略，以加速对所述多媒体数据的调度分发。
[0016]在一些实施例中，该相似度匹配模块，还用于：
[0017]获取所述多媒体数据的属性信息，并获取所述多个多媒体参考数据的属性信息，所述属性信息包括标题信息；
[0018]对所述多媒体数据的属性信息和所述多媒体数据进行向量化处理，得到多媒体数据的第一标题向量和第一多媒体向量；
[0019]对所述多个多媒体参考数据的属性信息和所述多媒体参考数据进行向量化处理，得到所述多个多媒体参考数据的第二标题向量和第二多媒体向量；
[0020]分别确定所述第一标题向量和各个第二标题向量之间的各个标题相似度、所述第一多媒体向量和各个第二多媒体向量之间的各个多媒体相似度；
[0021]基于所述各个标题相似度和所述各个多媒体相似度确定匹配结果。
[0022]在一些实施例中，该相似度匹配模块，还用于：
[0023]基于所述各个标题相似度和所述各个多媒体相似度，确定所述多个多媒体参考数据中是否存在目标多媒体参考数据；
[0024]所述目标多媒体参考数据与所述多媒体数据的标题相似度小于第一相似度阈值，和/或所述目标多媒体参考数据与所述多媒体数据的多媒体相似度小于第二相似度阈值；
[0025]当所述多个多媒体参考数据中存在目标多媒体参考数据时，确定所述匹配结果为匹配成功。
[0026]在一些实施例中，该装置还包括：
[0027]第一确定模块，用于当所述匹配结果为匹配成功时，将所述多媒体数据的第一标题向量和第一多媒体向量和所述目标多媒体参考数据的第二标题向量和第二多媒体向量输入至训练好的神经网络模型，确定所述多媒体数据和所述目标多媒体参考数据的目标相似度；
[0028]第三获取模块，用于当所述目标相似度大于第三相似度阈值时，获取所述多媒体数据的第一音频数据和所述目标多媒体参考数据的第二音频数据；
[0029]第二确定模块，用于确定所述第一音频数据和所述第二音频数据的音频相似度；
[0030]第三确定模块，用于当所述音频相似度大于第四相似度阈值时，确定所述多媒体数据满足预设的加速分发条件。
[0031]在一些实施例中，该相似度匹配模块，还用于：
[0032]获取所述多媒体数据的第一发布账号标识和所述多个多媒体参考数据的第二发布账号标识；
[0033]确定是否存在与所述第一发布账号标识相同的第二发布账号标识；
[0034]当存在与所述第一发布账号标识相同的第二发布账号标识时，确定匹配结果为匹配成功；
[0035]对应地，该装置还包括：
[0036]第四确定模块，用于当所述匹配结果为匹配成功时，确定确定所述多媒体数据满足预设的加速分发条件。
[0037]在一些实施例中，所述当前处理状态包括人工审核状态、机器审核状态和禁用状
态，对应地，该策略调整模块，还用于：
[0038]当所述当前处理状态为人工审核状态时，将所述多媒体数据的分发策略调整为先发后审策略；
[0039]当所述当前处理状态为机器审核状态时，提高所述多媒体数据的处理优先级；
[0040]当所述当前处理状态为禁用状态时，将所述多媒体数据的处理状态调整为启动状态。
[0041]在一些实施例中，该装置还包括：
[0042]标记模块，用于当所述多媒体数据满足加速分发条件时，为所述多媒体数据增加第一标记信息；
[0043]第四获取模块，用于获取具有所述第一标记信息的多媒体数据在内容分发阶段的初始分发权值；
[0044]权值提升模块，用于按照预设的权值调整规则提升所述初始分发权值，得到目标分发权值；
[0045]内容分发模块，用于基于所述目标分发权值，对所述具有所述第一标记信息的多媒体数据进行内容分发。
[0046]在一些实施例中，该装置还包括：
[0047]第五获取模块，用于获取预设的目标网站和爬取策略；
[0048]数据爬取模块，用于利用所述爬取策略从所述目标网站爬取预设时长的多个候选多媒体数据；
[0049]第六获取模块，用于获取所述多个候选多媒体数据的多个互动信息和多个发布账号标识，所述互动信息包括：浏览次数，点赞数，分享数；
[0050]第五确定模块，用于基于所述多个互动信息和所述多个发布账号标识，从本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多媒体数据的调度分发方法，其特征在于，包括：获取待分发的多媒体数据，并获取从网络上爬取得到的多个多媒体参考数据；将所述多媒体数据和所述多个多媒体参考数据进行相似度匹配，得到匹配结果；当基于匹配结果确定所述多媒体数据满足加速分发条件时，获取所述多媒体数据的当前处理状态；基于所述当前处理状态，调整所述多媒体数据的调度策略，以加速对所述多媒体数据的调度分发。2.根据权利要求1中所述的方法，其特征在于，所述将所述多媒体数据和所述多个多媒体参考数据进行相似度匹配，得到匹配结果，包括：获取所述多媒体数据的属性信息，并获取所述多个多媒体参考数据的属性信息，所述属性信息包括标题信息；对所述多媒体数据的属性信息和所述多媒体数据进行向量化处理，得到多媒体数据的第一标题向量和第一多媒体向量；对所述多个多媒体参考数据的属性信息和所述多媒体参考数据进行向量化处理，得到所述多个多媒体参考数据的第二标题向量和第二多媒体向量；分别确定所述第一标题向量和各个第二标题向量之间的各个标题相似度、所述第一多媒体向量和各个第二多媒体向量之间的各个多媒体相似度；基于所述各个标题相似度和所述各个多媒体相似度确定匹配结果。3.根据权利要求2中所述的方法，其特征在于，所述基于所述各个标题相似度和所述各个多媒体相似度确定匹配结果，包括：基于所述各个标题相似度和所述各个多媒体相似度，确定所述多个多媒体参考数据中是否存在目标多媒体参考数据；所述目标多媒体参考数据与所述多媒体数据的标题相似度小于第一相似度阈值，和/或所述目标多媒体参考数据与所述多媒体数据的多媒体相似度小于第二相似度阈值；当所述多个多媒体参考数据中存在目标多媒体参考数据时，确定所述匹配结果为匹配成功。4.根据权利要求3中所述的方法，其特征在于，所述方法还包括：当所述匹配结果为匹配成功时，将所述多媒体数据的第一标题向量和第一多媒体向量和所述目标多媒体参考数据的第二标题向量和第二多媒体向量输入至训练好的神经网络模型，确定所述多媒体数据和所述目标多媒体参考数据的目标相似度；当所述目标相似度大于第二相似度阈值时，获取所述多媒体数据的第一音频数据和所述目标多媒体参考数据的第二音频数据；确定所述第一音频数据和所述第二音频数据的音频相似度；当所述音频相似度大于第三相似度阈值时，确定所述多媒体数据满足预设的加速分发条件。5.根据权利要求1中所述的方法，其特征在于，所述将所述多媒体数据和所述多个多媒体参考数据进行相似度匹配，得到匹配结果，包括：获取所述多媒体数据的第一发布账号标识和所述多个多媒体参考数据的第二发布账号标识；
确定是否存在与所述第一发布账号标识相同的第二发布账号标识；当存在与所述第一发布账号标识相同的第二发布账号标识时，确定匹配结果为匹配成功；对应地，所述方法还包括：当所述匹配结果为匹配成功时，确定确定所述多媒体数据满足预设的加速分发条件。6.根据权利要求1中所述的方法，其特征在于，所述当前处理状态包括人工审核状态、机器审核状态和禁用状态，对应地，所述基于所述当前处理状态，调整所述多媒体数据的分发策略，包括：当所述当前处理状态为人工审核状态时，将所述多媒体数据的分发策略调整为先发后审策略；当所述当前处理状态为机器审核状态时，提高所述多媒体数据的处理优先级；...

【专利技术属性】
技术研发人员：刘刚，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：