一种视频数据获取方法、装置、电子设备及存储介质制造方法及图纸

技术编号:31621383 阅读:26 留言:0更新日期:2021-12-29 18:56
本公开关于一种视频数据获取方法、装置、电子设备及存储介质,涉及互联网技术领域,该方法包括:获取多个热点新闻的关键词;创建与获取到的关键词对应的抓取线程,并基于创建的抓取线程获取每一个关键词对应的热点视频的文本信息,该文本信息用于表征对应的热点视频;基于获取到的文本信息,获取热点视频的视频数据。本公开中,电子设备能够提供大量的新闻热点视频,提高以视频的形式传播热点新闻的效果,提升用户体验。提升用户体验。提升用户体验。

【技术实现步骤摘要】
一种视频数据获取方法、装置、电子设备及存储介质


[0001]本公开涉及互联网
,尤其涉及一种视频数据获取方法、装置、电子设备及存储介质。

技术介绍

[0002]目前,各大门户网站可以为用户提供不同类型的新闻,并且随着内容推荐领域的快速发展,越来越多的新闻会通过短视频的形式传播。
[0003]但是,目前各大门户网站提供的新闻大部分是以图文的形式(即图片与文本相结合)呈现的,即各大门户网站能够提供的短视频较少,所以以短视频的形式,在某些应用程序(例如短视频APP)中传播新闻的效果比较差,影响用户期望以短视频形式浏览新闻内容的体验。

技术实现思路

[0004]本公开提供一种视频数据获取方法、装置、电子设备及存储介质,解决了现有技术中以短视频的形式传播新闻的效果较差,影响用户期望以短视频形式浏览新闻内容的体验的技术问题。
[0005]本公开实施例的技术方案如下:
[0006]根据本公开实施例的第一方面,提供一种视频数据获取方法。该方法可以包括:获取多个热点新闻的关键词;创建与获取到的关键词对应的抓取线程,并基于创建的抓取线程获取每一个关键词对应的热点视频的文本信息,该文本信息用于表征对应的热点视频;基于获取到的文本信息,获取热点视频的视频数据。
[0007]可选地,上述创建与获取到的关键词对应的抓取线程具体包括:对该多个热点新闻的关键词进行划分,得到N个关键词集合,其中,每个关键词集合包括至少一个关键词,N≥1;为该每个关键词集合创建一个抓取线程,得到N个抓取线程;上述基于创建的抓取线程获取每一个关键词对应的热点视频的文本信息具体包括:基于该N个抓取线程中的每个抓取线程,获取对应的关键词集合中每一关键词对应的热点视频的文本信息。
[0008]可选地,上述基于获取到的文本信息,获取热点视频的视频数据具体包括:基于该N个抓取线程和获取到的文本信息,得到该热点视频的视频数据。
[0009]可选地,目标抓取线程配置有守护线程,该目标抓取线程为该N个抓取线程中的任意一个。上述基于该N个抓取线程中的每个抓取线程,获取对应的关键词集合中每一关键词对应的热点视频的文本信息具体包括:调用该目标抓取线程获取目标关键词集合中每一关键词对应的热点视频的文本信息,该目标关键词集合与该目标抓取线程对应;在确定已成功获取到第一关键词对应的热点视频的文本信息之后,为该第一关键词添加标识,该标识用于表征已成功获取到对应的热点视频的文本信息,该第一关键词为该目标关键词集合包括的一个关键词;在未获取到该目标关键词集合中所有关键词对应的热点视频的文本信息、且该目标抓取线程中断运行的情况下,调用该守护线程,以重新启动该目标抓取线程,
并基于该目标抓取线程获取未携带标识的关键词对应的热点视频的文本信息。
[0010]可选地,上述基于获取到的文本信息,获取热点视频的视频数据具体包括:基于获取到的文本信息,对该文本信息进行去重操作,以得到去重操作之后的文本信息;基于去重操作之后的文本信息,得到每一个热点视频的视频数据。
[0011]可选地,上述对该文本信息进行去重操作具体包括:当第一热点视频的时长与第二热点视频的时长之间的差值小于时长差阈值,或者当该第一热点视频的封面数据与该第二热点视频的封面数据之间的相似度大于相似度阈值时,删除该第一热点视频的文本信息或该第二热点视频的文本信息,该第一热点视频为每一个关键词对应的多个热点视频中的一个,该第二热点视频为该多个热点视频中除该第一热点视频以外的一个。
[0012]可选地,上述视频数据获取方法还包括:将该每一个关键词对应的热点视频的文本信息存入数据库。
[0013]根据本公开实施例的第二方面,提供一种视频数据获取装置。该装置可以包括获取模块和处理模块;该获取模块,被配置为获取多个热点新闻的关键词;该处理模块,被配置为创建与获取到的关键词对应的抓取线程;该获取模块,还被配置为基于创建的抓取线程获取每一个关键词对应的热点视频的文本信息,该文本信息用于表征对应的热点视频;该获取模块,还被配置为基于获取到的文本信息,获取热点视频的视频数据。
[0014]可选地,该处理模块,具体被配置为对该多个热点新闻的关键词进行划分,得到N个关键词集合,其中,每个关键词集合包括至少一个关键词,N≥1;该处理模块,具体还被配置为该每个关键词集合创建一个抓取线程,得到N个抓取线程;该获取模块,具体被配置为基于该N个抓取线程中的每个抓取线程,获取对应的关键词集合中每一关键词对应的热点视频的文本信息。
[0015]可选地,该获取模块,具体还被配置为基于该N个抓取线程和获取到的文本信息,得到该热点视频的视频数据。
[0016]可选地,目标抓取线程配置有守护线程,该目标抓取线程为该N个抓取线程中的任意一个;该获取模块,具体还被配置为调用该目标抓取线程获取目标关键词集合中每一关键词对应的热点视频的文本信息,该目标关键词集合与该目标抓取线程对应;该处理模块,具体还被配置为在确定已成功获取到第一关键词对应的热点视频的文本信息之后,为该第一关键词添加标识,该标识用于表征已成功获取到对应的热点视频的文本信息,该第一关键词为该目标关键词集合包括的一个关键词;该处理模块,具体还被配置为在未获取到该目标关键词集合中所有关键词对应的热点视频的文本信息、且该目标抓取线程中断运行的情况下,调用该守护线程,以重新启动该目标抓取线程;该获取模块,具体还被配置为基于该目标抓取线程获取未携带标识的关键词对应的热点视频的文本信息。
[0017]可选地,该处理模块,具体还被配置为基于获取到的文本信息,对该文本信息进行去重操作,以得到去重操作之后的文本信息;该获取模块,具体还被配置为基于去重操作之后的文本信息,得到每一个热点视频的视频数据。
[0018]可选地,上述视频数据获取装置还包括删除模块;该删除模块,被配置为当第一热点视频的时长与第二热点视频的时长之间的差值小于时长差阈值,或者当该第一热点视频的封面数据与该第二热点视频的封面数据之间的相似度大于相似度阈值时,删除该第一热点视频的文本信息或该第二热点视频的文本信息,该第一热点视频为每一个关键词对应的
多个热点视频中的一个,该第二热点视频为该多个热点视频中除该第一热点视频以外的一个。
[0019]可选地,该处理模块,还被配置为将该每一个关键词对应的热点视频的文本信息存入数据库。
[0020]根据本公开实施例的第三方面,提供一种电子设备,可以包括:处理器和被配置为存储处理器可执行指令的存储器;其中,处理器被配置为执行所述指令,以实现上述第一方面中任一种可选地视频数据获取方法。
[0021]根据本公开实施例的第四方面,提供一种计算机可读存储介质,计算机可读存储介质上存储有指令,当该计算机可读存储介质中的指令由电子设备执行时,使得该电子设备能够执行上述第一方面中任一种可选地视频数据获取方法。
[0022]根据本公开实施例的第五方面,提供一种计算机程序产品,该计算机程序产品包括计算机指令,当该计算机本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种视频数据获取方法,其特征在于,包括:获取多个热点新闻的关键词;创建与获取到的关键词对应的抓取线程,并基于创建的抓取线程获取每一个关键词对应的热点视频的文本信息,所述文本信息用于表征对应的热点视频;基于获取到的文本信息,获取热点视频的视频数据。2.根据权利要求1所述的视频数据获取方法,其特征在于,所述创建与获取到的关键词对应的抓取线程,包括:对所述多个热点新闻的关键词进行划分,得到N个关键词集合,其中,每个关键词集合包括至少一个关键词,N≥1;为所述每个关键词集合创建一个抓取线程,得到N个抓取线程;所述基于创建的抓取线程获取每一个关键词对应的热点视频的文本信息,包括:基于所述N个抓取线程中的每个抓取线程,获取对应的关键词集合中每一关键词对应的热点视频的文本信息。3.根据权利要求2所述的视频数据获取方法,其特征在于,所述基于获取到的文本信息,获取热点视频的视频数据,包括:基于所述N个抓取线程和获取到的文本信息,得到所述热点视频的视频数据。4.根据权利要求2或3所述的视频数据获取方法,其特征在于,目标抓取线程配置有守护线程,所述目标抓取线程为所述N个抓取线程中的任意一个;所述基于所述N个抓取线程中的每个抓取线程,获取对应的关键词集合中每一关键词对应的热点视频的文本信息,包括:调用所述目标抓取线程获取目标关键词集合中每一关键词对应的热点视频的文本信息,所述目标关键词集合与所述目标抓取线程对应;在确定已成功获取到第一关键词对应的热点视频的文本信息之后,为所述第一关键词添加标识,所述标识用于表征已成功获取到对应的热点视频的文本信息,所述第一关键词为所述目标关键词集合包括的一个关键词;在未获取到所述目标关键词集合中所有关键词对应的热点视频的文本信息、且所述目标抓取线程中断运行的情况下,调用所述守护线程,以重新启动所述目标抓取线程,并基于所述目标抓取线程获取未携带标识的关键词对应的热点视频的文本信息。5.根据权利要求1

3中任一项所述的视...

【专利技术属性】
技术研发人员:余家骏张德兵郭晓锋
申请(专利权)人:北京达佳互联信息技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1