一种多源大数据融合处理系统技术方案

本发明专利技术涉及商业行销剖析研究领域，具体涉及一种多源大数据融合处理系统，包括数据点获取模块、离群因子获取模块、距离优化因子获取模块、异常数据点提取模块以及投放策略优化模块，其中：根据各个数据点的K距离邻域中任意两个数据点的整体趋势变化程度得到各个广告平台上各个数据点的离群因子；根据单个广告平台与其他广告平台的周期差异程度得到单个广告平台的所有相似广告平台，结合数据点的离群因子得到各个数据点的多源数据优化因子，进而得到各个数据点的距离优化因子以及对应的优化距离值，根据优化距离值得到各个异常数据点，并对广告投放策略进行优化。本发明专利技术可以更加准确的异常数据点判断结果，从而得到更好的广告投放效果。投放效果。投放效果。

【技术实现步骤摘要】
一种多源大数据融合处理系统


[0001]本专利技术涉及商业行销剖析研究领域，具体涉及一种多源大数据融合处理系统。

技术介绍

[0002]在广告投放策略优化的过程中，需要通过同一内容广告在不同广告平台的广告投放数据进行分析，从而在广告整体投放的数据中对投放策略进行优化。不同的广告平台提供的广告投放数据可能存在差异，那么通过多源大数据融合可以将来自不同广告平台的数据整合在一起，从而提供更加全面的数据视角。现有的多源数据采集方法为通过广告平台的API接口，将各个投放平台的广告投放数据抓取到广告商的中央数据仓库。在对中央数据仓库进行广告投放策略分析的过程中，在初步的数据清洗过程后，需要对异常的广告投放数据进行检测，通过使得多源广告投放数据具有准确性以确保数据分析和应用的效果和价值。
[0003]因为中央数据仓库具有高数据量的特征，为保证异常检测的效率，现有的对多源广告投放数据的异常数据检测通常使用CBLOF方法（即基于聚类的异常检测方法），其通过多源广告投放数据的中央数据仓库中每个数据点在“曝光量，点击量，成交金额”三个维度上对中央数据仓库中的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多源大数据融合处理系统，其特征在于，该系统包括以下模块：数据点获取模块，获取各个广告平台对应时序数据序列，时序数据序列中的每个数据点均包含三个维度；离群因子获取模块，以任意一个时序数据序列中的任意一个数据点为目标数据点，将目标数据点在时序数据序列中距离最近的K个数据点构成的集合称为目标数据点的K距离邻域；获取目标数据点的K距离邻域中任意两个数据点的时序跨度集合以及在单个维度上的主趋势，结合K距离邻域中所有数据点得到任意两个数据点的趋势变化程度；根据时序跨度集合中各个数据点之间的趋势变化程度得到任意两个数据点的整体趋势变化程度，结合任意两个数据点的坐标得到任意两个数据点的调整后距离值；根据任意两个数据点的调整后距离值得到目标数据点的离群因子；以各个广告平台上的各个数据点为目标数据点，得到各个广告平台上各个数据点的离群因子；距离优化因子获取模块，获取各个时序数据序列在各个维度上的季节项；根据单个广告平台与其他广告平台在不同维度上的季节项得到单个广告平台与其他广告平台的周期差异程度；根据周期差异程度得到单个广告平台的所有相似广告平台；根据单个广告平台与所有相似广告平台中对应数据点的离群因子得到单个广告平台中各个数据点的多源数据优化因子，结合各个数据点的离群因子得到各个数据点的距离优化因子；异常数据点提取模块，根据所有广告平台中所有数据点的坐标得到各个簇类，根据簇类中包含数据点的个数得到各个待分析簇类；根据各个数据点与各个待分析簇类得到各个数据点的异常程度衡量距离，结合各个数据点的距离优化因子得到各个数据点的优化距离值；根据各个数据点的优化距离值得到各个异常数据点；投放策略优化模块，根据各个异常数据点对广告投放策略进行优化。2.根据权利要求1所述的一种多源大数据融合处理系统，其特征在于，所述任意两个数据点的时序跨度集合以及在单个维度上的主趋势的获取方法为：将任意两个数据点分别记为第m个数据点与第n个数据点，将第m个数据点、第n个数据点以及在时序数据序列中处于第m、n个数据点之间的所有数据点构成的集合称为任意两个数据点的时序跨度集合；在单个维度上，当第m个数据点的数值大于第n个数据点的数值时，第m个数据点与第n个数据点的主趋势为“下降”；当第m个数据点的数值小于第n个数据点的数值时，第m个数据点与第n个数据点的主趋势为“上升”；当第m个数据点的数值等于第n个数据点的数值时，第m个数据点与第n个数据点的主趋势为“水平”。3.根据权利要求1所述的一种多源大数据融合处理系统，其特征在于，所述任意两个数据点的趋势变化程度的获取表达式为：式中，表示第m个数据点与第n个数据点对应的趋势变化程度；...

【专利技术属性】
技术研发人员：华俊，
申请(专利权)人：浙江出海数字技术有限公司，
类型：发明
国别省市：