基于互联网热点话题的大数据处理方法及系统技术方案

本公开实施例公开了基于互联网热点话题的大数据处理方法及系统，在进行热点话题捕捉时，通过话题细节层面在互联网社交互动数据之间进行热点话题联合分析，可以保障对影响范围较大的候选热点话题的捕捉精度的捕捉质量，通过话题场景层面在互联网社交互动数据之间进行热点话题联合分析，可以保障对话题影响度较小的候选热点话题的捕捉质量，并结合所述思路整理两类联合分析思路所确定的联合分析结果获得话题捕捉结果，因此能够考虑到话题影响度较大的候选热点话题和话题影响度较小的候选热点话题，从而保障热点话题持续性分析和捕捉的准确性和可靠性。的准确性和可靠性。的准确性和可靠性。

【技术实现步骤摘要】
基于互联网热点话题的大数据处理方法及系统


[0001]本公开涉及大数据
，尤其涉及一种基于互联网热点话题的大数据处理方法及系统。

技术介绍

[0002]当下，互联网的迅猛发展与大面积普及，使得海量数据的获取、存储、传输、处理和分析等变得越来越便捷。结合大数据的话题分析技术能够从海量的数据信息中挖掘出隐藏的数字资产价值，从而帮助各行业的良性发展。对于话题分析而言，热点话题捕捉是关键点之一，随着话题大数据规模和类似的不断激增，传统的话题捕捉技术已难以满足相关需求，比如难以保障话题捕捉的精度和可靠性。因此，亟需一种技术方案来改善上述问题。

技术实现思路

[0003]本公开的一个目的是提供一种基于互联网热点话题的大数据处理方法及系统。
[0004]本公开的技术方案是通过如下至少部分实施例实现的。
[0005]一种基于互联网热点话题的大数据处理方法，其中，所述方法通过大数据处理系统实施，所述方法至少包括：依次对第一互联网社交互动数据以及第二互联网社交互动数据进行在线话题解析，获得第一互联网社交互动数据中第一候选热点话题的第一待处理社交互动数据集和第二互联网社交互动数据中第二候选热点话题的第二待处理社交互动数据集；基于第一待处理社交互动数据集和第二待处理社交互动数据集在话题细节层面进行热点话题联合分析，获得第一联合分析结果，并基于第一待处理社交互动数据集和第二待处理社交互动数据集在话题场景层面进行热点话题联合分析，获得第二联合分析结果；整理第一联合分析结果和第二联合分析结果，获得话题捕捉结果；其中，话题捕捉结果包括第一候选热点话题与第二候选热点话题是否为相同候选热点话题。
[0006]通过该实施例，依次对第一互联网社交互动数据以及第二互联网社交互动数据进行在线话题解析，获得第一互联网社交互动数据中第一候选热点话题的第一待处理社交互动数据集和第二互联网社交互动数据中第二候选热点话题的第二待处理社交互动数据集，并基于第一待处理社交互动数据集和第二待处理社交互动数据集在话题细节层面进行热点话题联合分析，获得第一联合分析结果，以及基于第一待处理社交互动数据集和第二待处理社交互动数据集在话题场景层面进行热点话题联合分析，获得第二联合分析结果，基于此，再整理第一联合分析结果和第二联合分析结果，获得话题捕捉结果，且话题捕捉结果包括第一候选热点话题和候选热点话题是否为相同候选热点话题，换言之，在进行热点话题捕捉时，通过话题细节层面在互联网社交互动数据之间进行热点话题联合分析，可以保障对影响范围较大的候选热点话题的捕捉精度的捕捉质量，通过话题场景层面在互联网社交互动数据之间进行热点话题联合分析，可以保障对话题影响度较小的候选热点话题的捕捉质量，并结合所述思路整理两类联合分析思路所确定的联合分析结果获得话题捕捉结果，因此能够考虑到话题影响度较大的候选热点话题和话题影响度较小的候选热点话题，
从而保障热点话题持续性分析和捕捉的准确性和可靠性。
[0007]在一些独立性实施例下，基于第一待处理社交互动数据集和第二待处理社交互动数据集在话题细节层面进行热点话题联合分析，获得第一联合分析结果，包括：依次通过各第一候选热点话题的第一待处理社交互动数据集，挖掘获得各第一候选热点话题的第一话题细节内容描述，并依次通过各第二候选热点话题的第二待处理社交互动数据集，挖掘获得各第二候选热点话题的第二话题细节内容描述；借助第一话题细节内容描述和第二话题细节内容描述，获得各第一候选热点话题与各第二候选热点话题之间的细节共性指数；依据各第一候选热点话题与各第二候选热点话题之间的细节共性指数，获得第一联合分析结果。
[0008]通过该实施例，依次通过各第一候选热点话题的第一待处理社交互动数据集，挖掘获得各第一候选热点话题的第一话题细节内容描述，并依次通过各第二候选热点话题的第二待处理社交互动数据集，挖掘获得各第二候选热点话题的第二话题细节内容描述，然后再借助第一话题细节内容描述和第二话题细节内容描述，获得各第一候选热点话题与各第二候选热点话题之间的细节共性指数，并依据各第一候选热点话题与各第二候选热点话题之间的细节共性指数，获得第一联合分析结果，换言之，在话题细节层面在互联网社交互动数据之间进行热点话题联合分析时，只需要对各候选热点话题的待处理社交互动数据集进行话题细节挖掘，再考虑细节共性指数便能够实现相关目的，可以减少在话题细节层面在互联网社交互动数据之间进行热点话题联合分析的资源开销，从而保障热点话题持续性分析和捕捉的时效性。
[0009]在一些独立性实施例下，第一话题细节内容描述或第二话题细节内容描述的挖掘实现方式包括：经由待处理社交互动数据集中每个社交互动信息的词向量标签，确定话题区分约束信息；其中，话题区分约束信息为待处理社交互动数据集所对应的候选热点话题的约束语义；沿话题区分约束信息从待处理社交互动数据集中提取得到局部社交互动数据簇；基于局部社交互动数据簇进行话题细节挖掘，获得所对应的候选热点话题的话题细节内容描述；其中，在待处理社交互动数据集为第一待处理社交互动数据集的条件下，所对应的候选热点话题为第一候选热点话题，话题细节内容描述为第一话题细节内容描述，在待处理社交互动数据集为第二待处理社交互动数据集的条件下，所对应的候选热点话题为第二候选热点话题，话题细节内容描述为第二话题细节内容描述。
[0010]通过该实施例，经由待处理社交互动数据集中各社交互动信息的词向量标签，确定话题区分约束信息，且话题区分约束信息为待处理社交互动数据集所对应的候选热点话题的约束语义，并沿话题区分约束信息从待处理社交互动数据集中提取得到局部社交互动数据簇，以及基于局部社交互动数据簇进行话题细节挖掘，获得所对应的候选热点话题的话题细节内容描述，且在待处理社交互动数据集为第一待处理社交互动数据集的条件下，所对应的候选热点话题为第一候选热点话题，话题细节内容描述为第一话题细节内容描述，在待处理社交互动数据集为第二待处理社交互动数据集的条件下，所对应的候选热点话题为第二候选热点话题，话题细节内容描述为第二话题细节内容描述，因而可以在话题细节挖掘时，规避与待处理社交互动数据集所对应的候选热点话题不存在关联的社交互动信息的影响，有助于保障话题细节内容描述的精度和完整性。
[0011]在一些独立性实施例下，基于第一待处理社交互动数据集和第二待处理社交互动
数据集在话题场景层面进行热点话题联合分析，获得第二联合分析结果，包括：借助第二互联网社交互动数据对第一互联网社交互动数据进行活动变化分析，获得第一互联网社交互动数据的社交活动变化数据；基于社交活动变化数据，对第一候选热点话题的第一待处理社交互动数据集进行分治化解析，获得第一候选热点话题在第二互联网社交互动数据的捕捉节点的测试型社交互动数据集；依据每个第一候选热点话题的测试型社交互动数据集分别与每个第二候选热点话题的第二待处理社交互动数据集之间的异同解析结果，获得第二联合分析结果。
[0012]通过该实施例，借助第二互联网社交互动数据对第一互联网社交互动数据进行活动变化分本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于互联网热点话题的大数据处理方法，其中，所述方法通过大数据处理系统实施，所述方法至少包括：依次对第一互联网社交互动数据以及第二互联网社交互动数据进行在线话题解析，获得所述第一互联网社交互动数据中第一候选热点话题的第一待处理社交互动数据集和所述第二互联网社交互动数据中第二候选热点话题的第二待处理社交互动数据集；结合所述第一待处理社交互动数据集和所述第二待处理社交互动数据集在话题细节层面进行热点话题联合分析，获得第一联合分析结果，并结合所述第一待处理社交互动数据集和所述第二待处理社交互动数据集在话题场景层面进行热点话题联合分析，获得第二联合分析结果；以及，整理所述第一联合分析结果和所述第二联合分析结果，获得话题捕捉结果；其中，所述话题捕捉结果包含所述第一候选热点话题与所述第二候选热点话题是否为相同候选热点话题。2.如权利要求1所述的方法，其中，所述结合所述第一待处理社交互动数据集和所述第二待处理社交互动数据集在话题细节层面进行热点话题联合分析，获得第一联合分析结果，包括：依次通过各所述第一候选热点话题的所述第一待处理社交互动数据集，挖掘获得各所述第一候选热点话题的第一话题细节内容描述，并依次通过各所述第二候选热点话题的所述第二待处理社交互动数据集，挖掘获得各所述第二候选热点话题的第二话题细节内容描述；借助所述第一话题细节内容描述和所述第二话题细节内容描述，获得各所述第一候选热点话题与各所述第二候选热点话题之间的细节共性指数；依据各所述第一候选热点话题与各所述第二候选热点话题之间的细节共性指数，获得所述第一联合分析结果。3.如权利要求2所述的方法，其中，所述第一话题细节内容描述或所述第二话题细节内容描述的挖掘实现方式包括：经由待处理社交互动数据集中每个社交互动信息的词向量标签，确定话题区分约束信息；其中，所述话题区分约束信息为所述待处理社交互动数据集所对应的候选热点话题的约束语义；基于所述话题区分约束信息从所述待处理社交互动数据集中提取得到局部社交互动数据簇；结合所述局部社交互动数据簇进行话题细节挖掘，获得所述所对应的候选热点话题的话题细节内容描述；其中，在所述待处理社交互动数据集为所述第一待处理社交互动数据集的条件下，所述所对应的候选热点话题为所述第一候选热点话题，所述话题细节内容描述为所述第一话题细节内容描述，在所述待处理社交互动数据集为所述第二待处理社交互动数据集的条件下，所述所对应的候选热点话题为所述第二候选热点话题，所述话题细节内容描述为所述第二话题细节内容描述。4.如权利要求1所述的方法，其中，所述结合所述第一待处理社交互动数据集和所述第二待处理社交互动数据集在话题场景层面进行热点话题联合分析，获得第二联合分析结果，包括：借助所述第二互联网社交互动数据对所述第一互联网社交互动数据进行活动变化分
析，获得所述第一互联网社交互动数据的社交活动变化数据；结合所述社交活动变化数据，对所述第一候选热点话题的第一待处理社交互动数据集进行分治化解析，获得所述第一候选热点话题在所述第二互联网社交互动数据的捕捉节点的测试型社交互动数据集；依据每个所述第一候选热点话题的测试型社交互动数据集分别与每个所述第二候选热点话题的第二待处理社交互动数据集之间的异同解析结果，获得所述第二联合分析结果。5.如权利要求4所述的方法，其中，所述结合所述社交活动变化数据，对所述第一候选热点话题的第一待处理社交互动数据集进行分治化解析，获得所述第一候选热点话题在所述第二互联网社交互动数据的捕捉节点的测试型社交互动数据集，包括：将所述社交活动变化数据和所述第一待处理社交互动数据集进行基于社交互动信息的加权处理，获得所述第一待处理社交互动数据集中社交互动信息的活动状态指数；将所述第一待处理社交互动数据集中所述社交互动信息的第一信息分布指数与所述活动状态指数求和，获得所述社交互动信息在所述捕捉节点的第二信息分布指数；结合所述第一待处理社交互动数据集中所述社交互动信息的第二信息分布指数，获得所述测试型社交互动数据集。6.如权利要求1所述的方法，其中，所述第一联合分析结果包含所述第一候选热点话题与所述第二候选热点话题之间的第一联合评价值，所述第二联合分析结果包含所述第一候选热点话题与所述第二候选热点话题之间的第二联合评价值，所述整理所述第一联合分析结果和所述第二联合分析结果，获得话题捕捉结果，包括：对所述第一联合分析结果中所述第一联合评价值进行动态优化，获得第一已优化联合分析结果，并对所述第二联合分析结果中所述第二联合评价值进行动态优化，获得第二已优化联合分析结果；其中，所述第一已优化联合分析结果包含所述第一候选热点话题与所述第二候选热点话题之间的第一已优化联合评...

【专利技术属性】
技术研发人员：贺海宁，
申请(专利权)人：贺海宁，
类型：发明
国别省市：