数据处理方法、装置、电子设备及存储介质制造方法及图纸

本公开关于一种数据处理方法、装置、电子设备及存储介质，该方法包括：当预设滑动窗口滑动时，获取处于直播状态的多个直播间中第一预设时长内的互动数据、以及所述预设滑动窗口关联的多个预设时间段；对所述互动数据进行分词统计处理，得到各直播间在各预设时间段内的多个第一分词以及所述多个第一分词各自的第一词频；基于第一分词和所述第一词频，发送各直播间对应的词频关联信息至各直播间关联的终端，各直播间关联的终端用于发送各直播间的直播内容。根据本公开提供的技术方案，可以提升数据处理效率。升数据处理效率。升数据处理效率。

【技术实现步骤摘要】
数据处理方法、装置、电子设备及存储介质


[0001]本公开涉及计算机
，尤其涉及一种数据处理方法、装置、电子设备及存储介质。

技术介绍

[0002]随着互联网应用的发展，直播逐渐成为主要的互联网交互手段，在直播过程中，直播间的弹幕(评论)是主播和观众之间重要的沟通方式。为了让主播获知观众对直播的客观真实的反馈，相关技术中，利用离线数据统计评论以及评论的频次，比如使用前一天的直播离线数据统计评论的频次，在当天直播前告知主播该各评论的频次；或者使用Spark Streaming(基于计算引擎Spark的流处理框架)或流处理Flink技术，计算评论的频次。前者时效性较差，后者虽然能够实时计算出直播间中评论的频次，但是如果要计算多个时间段内评论的频次，Spark Streaming方案需要设置多个不同的微批流程、Flink方案需要开启多个滑动窗口，计算成本较大，且效率较低，导致在处理多个时间段的评论时，时效性也较差。

技术实现思路

[0003]本公开提供一种数据处理方法、装置、电子设备及存储介质。本公开的技术方案如下：
[0004]根据本公开实施例的第一方面，提供一种数据处理方法，包括：
[0005]当预设滑动窗口滑动时，获取处于直播状态的一个或多个直播间中第一预设时长内的互动数据、以及所述预设滑动窗口关联的多个预设时间段；所述第一预设时长为所述预设滑动窗口的时长；所述预设时间段的时长小于或等于所述预设滑动窗口的时长；
[0006]对所述互动数据进行分词统计处理，得到各直播间在各预设时间段内的第一分词以及所述第一分词的第一词频；
[0007]基于所述第一分词和所述第一词频，发送每一直播间对应的词频关联信息至所述每一直播间关联的终端，所述每一直播间关联的终端用于发送所述每一直播间的直播内容。
[0008]在一种可能的实现方式中，所述基于所述第一分词和所述第一词频，发送每一直播间对应的词频关联信息至所述每一直播间关联的终端，包括：
[0009]基于所述第一词频，从各直播间在各时间段内的第一分词中筛选出满足预设词频条件的目标分词；
[0010]对所述目标分词以及所述目标分词对应的第一词频进行关联处理，生成所述每一直播间对应的词频关联信息；
[0011]将所述每一直播间对应的词频关联信息发送至所述每一直播间关联的终端。
[0012]在一种可能的实现方式中，所述方法还包括：
[0013]响应于对所述预设滑动窗口的配置更新请求，获取所述配置更新请求中的窗口时
长更新信息以及时间段更新信息；
[0014]基于所述窗口时长更新信息和所述时间段更新信息，更新所述预设滑动窗口的配置信息。
[0015]在一种可能的实现方式中，对所述互动数据进行分词统计处理，得到各直播间在各预设时间段内的第一分词以及所述第一分词的第一词频，包括：
[0016]获取发布所述互动数据的多个对象账号以及各对象账号的目标互动数据，所述目标互动数据为所述互动数据中的部分互动数据；
[0017]对所述多个对象账号进行哈希处理，确定所述多个对象账号各自对应的第一处理节点；
[0018]将所述目标互动数据发送至对应的第一处理节点进行分词统计处理，得到每个处理节点对应的多条分词统计信息，每条分词统计信息包括第二分词、直播间标识信息、第二词频以及时间信息；
[0019]基于所述直播间标识信息和所述时间信息，对所述第二分词的第二词频进行统计处理，得到各直播间在各预设时间段内的第一分词以及所述第一分词的第一词频，所述多个第一分词为全部或部分所述第二分词。
[0020]在一种可能的实现方式中，所述对所述互动数据进行分词统计处理，得到各直播间在各预设时间段内的第一分词以及所述第一分词的第一词频，包括：
[0021]对所述互动数据进行分词处理，得到多个第三分词；
[0022]对所述多个第三分词进行过滤处理，得到多个第四分词；
[0023]对所述多个第四分词进行词频统计处理，得到各直播间在各预设时间段内的第一分词以及所述第一分词的第一词频；所述各直播间在各预设时间段内的第一分词为至少一个所述第四分词。
[0024]在一种可能的实现方式中，所述方法还包括：
[0025]响应于对预设分词过滤配置信息的更新请求，获取所述更新请求中的待配置分词以及所述待配置分词对应的更新操作；所述预设分词过滤配置信息用于进行所述过滤处理；
[0026]基于所述更新操作和所述待配置分词，更新所述预设分词过滤配置信息。
[0027]在一种可能的实现方式中，所述基于所述直播间标识和所述时间信息，对所述第二分词的第二词频进行统计处理，得到各直播间在各预设时间段内的第一分词以及所述第一分词的第一词频，包括：
[0028]对所述多个直播间的直播标识信息进行哈希处理，确定所述多个直播间各自对应的第二处理节点；
[0029]将各直播间对应的分词统计信息发送至对应的第二处理节点进行词频统计处理，得到各直播间在各预设时间段内的第一分词以及所述第一分词的第一词频。
[0030]在一种可能的实现方式中，所述目标分词的数量为预设数量，所述方法还包括：
[0031]接收所述终端发送的所述目标分词的数量配置信息；
[0032]基于所述数量配置信息，更新所述预设数量。
[0033]根据本公开实施例的第二方面，提供一种数据处理装置，包括：
[0034]第一获取模块，被配置为执行当预设滑动窗口滑动时，获取处于直播状态的多个
直播间中第一预设时长内的互动数据、以及所述预设滑动窗口关联的多个预设时间段；所述第一预设时长为所述预设滑动窗口的时长；所述多个预设时间段的时长小于或等于所述预设滑动窗口的时长；
[0035]第一统计模块，被配置为执行对所述互动数据进行分词统计处理，得到各直播间在各预设时间段内的第一分词以及所述第一分词的第一词频；
[0036]发送模块，被配置为执行基于所述第一分词和所述第一词频，发送每一直播间对应的词频关联信息至所述每一直播间关联的终端，所述每一直播间关联的终端用于发送每一直播间的直播内容。
[0037]在一种可能的实现方式中，所述发送模块包括：
[0038]筛选单元，被配置为执行基于所述第一词频，从各直播间在各时间段内的第一分词中筛选出满足预设词频条件的目标分词；
[0039]词频关联信息生成单元，被配置为执行对所述目标分词以及所述目标分词对应的第一词频进行关联处理，生成所述每一直播间对应的词频关联信息；
[0040]发送单元，被配置为执行将所述每一直播间对应的词频关联信息发送至所述每一直播间关联的终端。
[0041]在一种可能的实现方式中，所述装置还包括：
[0042]第二获取模块，被配置为执行响应于对所述预设滑动窗口的配置更新请求，获取所述配置更新请求中的窗口时长更新信息以及时间段更新信息；
[0043]第一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：当预设滑动窗口滑动时，获取处于直播状态的一个或多个直播间中第一预设时长内的互动数据、以及所述预设滑动窗口关联的多个预设时间段；所述第一预设时长为所述预设滑动窗口的时长；所述预设时间段的时长小于或等于所述预设滑动窗口的时长；对所述互动数据进行分词统计处理，得到各直播间在各预设时间段内的第一分词以及所述第一分词的第一词频；基于所述第一分词和所述第一词频，发送每一直播间对应的词频关联信息至所述每一直播间关联的终端，所述每一直播间关联的终端用于发送所述每一直播间的直播内容。2.根据权利要求1所述的方法，其特征在于，所述基于所述第一分词和所述第一词频，发送每一直播间对应的词频关联信息至所述每一直播间关联的终端，包括：基于所述第一词频，从各直播间在各时间段内的第一分词中筛选出满足预设词频条件的目标分词；对所述目标分词以及所述目标分词对应的第一词频进行关联处理，生成所述每一直播间对应的词频关联信息；将所述每一直播间对应的词频关联信息发送至所述每一直播间关联的终端。3.根据权利要求1所述的方法，其特征在于，所述方法还包括：响应于对所述预设滑动窗口的配置更新请求，获取所述配置更新请求中的窗口时长更新信息以及时间段更新信息；基于所述窗口时长更新信息和所述时间段更新信息，更新所述预设滑动窗口的配置信息。4.根据权利要求1所述的方法，其特征在于，对所述互动数据进行分词统计处理，得到各直播间在各预设时间段内的第一分词以及所述第一分词的第一词频，包括：获取发布所述互动数据的多个对象账号以及各对象账号的目标互动数据，所述目标互动数据为所述互动数据中的部分互动数据；对所述多个对象账号进行哈希处理，确定所述多个对象账号各自对应的第一处理节点；将所述目标互动数据发送至对应的第一处理节点进行分词统计处理，得到每个处理节点对应的多条分词统计信息，每条分词统计信息包括第二分词、直播间标识信息、第二词频以及时间信息；基于所述直播间标识信息和所述时间信息，对所述第二分词的第二词频进行统计处理，得到各直播间在各预设时间段内的第一分词以及所述第一分词的第一词频，所述多...

【专利技术属性】
技术研发人员：李晓静，刘江，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：