【技术实现步骤摘要】
本申请涉及大数据识别，具体地涉及一种基于大数据技术的互联网内容监测方法、设备及存储介质。
技术介绍
1、目前，互联网的开放性和便利性使得侵权行为更容易发生。例如，由于互联网上的视频很容易被复制、传播和修改，往往会存在有些人在未经版权所有者授权的情况下，擅自使用并传播他人作品，侵犯著作权的行为，由此，为了更好的规范互联网环境，在行为人上传视频作品时，作品通常会储存至互联网平台的服务器中，且仅由自己可见，在由审核人员进行人工审核并审核通过后，该作品方可进行对外展示。
2、对于上述现有技术，依赖人工审核的方式会造成出现漏检或误判的情况，降低互联网内容监测的准确性。
技术实现思路
1、本申请实施例的目的是提供一种基于大数据技术的互联网内容监测方法、设备及存储介质，用以提高互联网内容监测的准确性。
2、为了实现上述目的，本申请第一方面提供一种基于大数据技术的互联网内容监测方法，包括：
3、获取用户上传的未公开视频数据，并在互联网上获取视频数据；
4、对所述视频数据的视频帧进行采样，得到采样后的视频帧；
5、在采样后的视频帧中，确定视频帧间的光流向量的大小和方向，并根据光流向量的大小和方向，确定采样后的视频帧中的关键帧；
6、采用大数据技术提取所述关键帧与所述未公开视频数据的视频帧的特征，并根据所述关键帧的特征与所述未公开视频数据的视频帧的特征，计算所述视频数据与所述未公开视频数据的相似度；
7、在所述相似度大
8、可选的，所述在采样后的视频帧中，确定视频帧间的光流向量的大小和方向，并根据光流向量的大小和方向，确定采样后的视频帧中的关键帧，包括：
9、对采样后的所述视频帧进行光流向量估计，得到视频帧间像素点的光流向量的大小和方向，其中，光流向量的大小用于表征像素点在视频帧间的运动幅度，光流向量的方向用于表征像素点的运动方向；
10、在光流向量的大小超过第一预设阈值，且光流向量的方向大于预设角度偏移量的情况下，确定像素点所在的视频帧为关键帧。
11、可选的，所述在光流向量的大小超过第一预设阈值，且光流向量的方向大于预设角度偏移量的情况下，确定像素点所在的视频帧为关键帧，还包括：
12、在光流向量的大小超过第一预设阈值，且光流向量的方向大于预设角度偏移量的情况下，获取像素点所在的视频帧，并将所述像素点所在的视频帧作为当前帧；
13、将所述当前帧与前一帧进行灰度化，得到两个灰度图像；
14、对两个所述灰度图像进行像素级差分运算，计算两个灰度图像之间像素的差异，得到差分图像；
15、对所述差分图像进行图像处理，提取得到变化区域，并获取所述变化区域的像素差异值；
16、在所述像素差异值大于预设阈值的情况下，确定所述当前帧为关键帧。
17、可选的，所述在所述像素差异值大于预设阈值的情况下，确定所述当前帧为关键帧，包括：
18、在所述像素差异值大于预设阈值的情况下，确定所述当前帧的灰度图像清晰度是否大于所述前一帧的灰度图像清晰度；
19、在所述前一帧的灰度图像清晰度大于所述前一帧的灰度图像清晰度的情况下，确定所述当前帧为关键帧。
20、可选的，所述特征包括视频帧率，所述采用大数据技术提取所述关键帧与所述未公开视频数据的视频帧的特征，并根据所述关键帧的特征与所述未公开视频数据的视频帧的特征，计算所述视频数据与所述未公开视频数据的相似度，包括：
21、将所述关键帧与所述未公开视频数据的视频帧加载至大数据处理框架中，并根据所述大数据处理框架中的视频处理算法提取所述关键帧与所述未公开视频数据的视频帧的时间戳，并根据所述时间戳计算所述关键帧的视频帧率与所述未公开视频数据的视频帧的视频帧率，其中视频帧率为通过时间戳计算的相邻帧之间的平均时间间隔的倒数；
22、采用相似度计算公式，根据所述时间戳计算所述关键帧的视频帧率与所述未公开视频数据的视频帧的视频帧率计算所述视频数据与所述未公开视频数据的第一相似度。
23、可选的，所述相似度计算公式包括：
24、；
25、式中，δ为所述第一相似度，p1为所述关键帧的视频帧率，px为所述未公开视频数据的视频帧的视频帧率。
26、可选的，所述特征还包括分辨率，在所述根据所述大数据处理框架中的视频处理算法提取所述关键帧与所述未公开视频数据的视频帧的时间戳，并根据所述时间戳计算所述关键帧的视频帧率与所述未公开视频数据的视频帧的视频帧率之后，还包括：
27、根据所述大数据处理框架中的图像处理算法对所述关键帧与所述未公开视频数据的视频帧进行分辨率提取，得到所述关键帧的分辨率和所述未公开视频数据的每个视频帧的分辨率；
28、根据所述关键帧的分辨率和所述未公开视频数据的每个视频帧的分辨率，采用预设相似度算法计算所述视频数据与所述未公开视频数据的第二相似度；
29、将所述第一相似度与预设第一权重的乘积与所述第二相似度与预设第二权重的乘积之和作为所述视频数据与所述未公开视频数据的第二相似度。
30、可选的，所述特征还包括音频特征，在所述将所述第一相似度与预设第一权重的乘积与所述第二相似度与预设第二权重的乘积之和作为所述视频数据与所述未公开视频数据的第二相似度之后，还包括：
31、获取所述视频数据的音频特征与所述未公开视频数据的音频特征；
32、采用预设的相关系数算法确定所述视频数据的音频特征与所述未公开视频数据的音频特征的相关系数；
33、在所述相关系数大于相关系数阈值的情况下，确定所述视频数据的音频特征与所述未公开视频数据的音频特征一致，执行所述将所述未公开视频数据作为风险数据并显示的步骤；
34、在所述相关系数小于或等于所述相关系数阈值的情况下，确定所述视频数据的音频特征与所述未公开视频数据的音频特征不一致，执行所述将所述第一相似度与预设第一权重的乘积与所述第二相似度与预设第二权重的乘积之和作为所述视频数据与所述未公开视频数据的第二相似度的步骤。
35、本申请第二方面提供一种基于大数据技术的互联网内容监测设备，包括：
36、存储器，被配置成存储指令；以及
37、处理器，被配置成从所述存储器调用所述指令以及在执行所述指令时能够实现上述的基于大数据技术的互联网内容监测方法。
38、本申请第三方面提供一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令用于使得机器执行上述的基于大数据技术的互联网内容监测方法。
39、通过上述技术方案，首先，利用大数据技术获取用户上传的未公开视频数据和互联网上的视频数据，实现了对互联网内容的全面监测，相比于传统的互联网监测方法，能够获取更多的视频数据，从而提高了监测的覆盖本文档来自技高网...
【技术保护点】
1.一种基于大数据技术的互联网内容监测方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述在采样后的视频帧中，确定视频帧间的光流向量的大小和方向，并根据光流向量的大小和方向，确定采样后的视频帧中的关键帧，包括：
3.根据权利要求2所述的方法，其特征在于，所述在光流向量的大小超过第一预设阈值，且光流向量的方向大于预设角度偏移量的情况下，确定像素点所在的视频帧为关键帧，还包括：
4.根据权利要求3所述的方法，其特征在于，所述在所述像素差异值大于预设阈值的情况下，确定所述当前帧为关键帧，包括：
5.根据权利要求2-4中任一项所述的方法，其特征在于，所述特征包括视频帧率，所述采用大数据技术提取所述关键帧与所述未公开视频数据的视频帧的特征，并根据所述关键帧的特征与所述未公开视频数据的视频帧的特征，计算所述视频数据与所述未公开视频数据的相似度，包括：
6.根据权利要求5所述的方法，其特征在于，所述相似度计算公式包括：
7.根据权利要求5所述的方法，其特征在于，所述特征还包括分辨率，在所述根据所述大数据
8.根据权利要求7所述的方法，其特征在于，所述特征还包括音频特征，在所述将所述第一相似度与预设第一权重的乘积与所述第二相似度与预设第二权重的乘积之和作为所述视频数据与所述未公开视频数据的第二相似度之后，还包括：
9.一种基于大数据技术的互联网内容监测设备，其特征在于，包括：
10.一种机器可读存储介质，其特征在于，该机器可读存储介质上存储有指令，该指令用于使得机器的处理器执行根据权利要求1至8中任一项所述的基于大数据技术的互联网内容监测方法。
...【技术特征摘要】
1.一种基于大数据技术的互联网内容监测方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述在采样后的视频帧中，确定视频帧间的光流向量的大小和方向，并根据光流向量的大小和方向，确定采样后的视频帧中的关键帧，包括：
3.根据权利要求2所述的方法，其特征在于，所述在光流向量的大小超过第一预设阈值，且光流向量的方向大于预设角度偏移量的情况下，确定像素点所在的视频帧为关键帧，还包括：
4.根据权利要求3所述的方法，其特征在于，所述在所述像素差异值大于预设阈值的情况下，确定所述当前帧为关键帧，包括：
5.根据权利要求2-4中任一项所述的方法，其特征在于，所述特征包括视频帧率，所述采用大数据技术提取所述关键帧与所述未公开视频数据的视频帧的特征，并根据所述关键帧的特征与所述未公开视频数据的视频帧的特征，计算所述视频数据与所述未公开视频数据的相似度，包括：
...【专利技术属性】
技术研发人员：戴亦斌，周诗林，
申请(专利权)人：武汉博特智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。