广告数据的统计方法、装置和计算机可读存储介质制造方法及图纸

本发明专利技术公开了广告数据的统计方法、装置和计算机可读存储介质。所述方法包括：确定待统计的广告数据，所述广告数据包括一个或多个维度；对于每个维度，从计费数据库中读取该维度下待统计的广告数据到中间文件中；对所述中间文件按统计表数据库的数量拆分为多个子文件；对拆分后的各子文件中的数据进行排序处理，将各子文件数据的排序结果输出至各自对应的排序文件；从物料数据库中读取广告物料数据，根据所述广告物料数据对各排序文件中的数据进行聚合处理；将聚合处理后的各排序文件中的数据分别插入相应的各统计表数据库中的对应维度下的统计表中。该技术方案能够使生成的统计表丰富饱满，为广告主、数据分析人员提供完备的数据参考。

Statistical methods, devices and computer-readable storage media for advertising data

【技术实现步骤摘要】
广告数据的统计方法、装置和计算机可读存储介质
本专利技术涉及互联网广告领域，具体涉及广告数据的统计方法、装置和计算机可读存储介质。
技术介绍
广告主，即投放互联网广告的商家通常希望能够直观地看到广告带来的收益以及自己为广告花费了多少，这就需要为他们提供广告的展现、点击、消费等相关数据。而广告数据的维度很多，因此，如何对广告数据进行合理的统计是需要解决的问题。
技术实现思路
鉴于上述问题，提出了本专利技术以便提供一种克服上述问题或者至少部分地解决上述问题的广告数据的统计方法、装置和计算机可读存储介质。依据本专利技术的一个方面，提供了一种广告数据的统计方法，包括：确定待统计的广告数据，所述广告数据包括一个或多个维度；对于每个维度，从计费数据库中读取该维度下待统计的广告数据到中间文件中；对所述中间文件按统计表数据库的数量拆分为多个子文件；对拆分后的各子文件中的数据进行排序处理，将各子文件数据的排序结果输出至各自对应的排序文件；从物料数据库中读取广告物料数据，根据所述广告物料数据对各排序文件中的数据进行聚合处理；将聚合处理后的各排序文件中的数据分别插入相应的各统计表数据库中的对应维度下的统计表中。可选地，该方法还包括：在所述计费数据库中为各维度下已统计的广告数据添加统计完成标记。可选地，所述确定待统计的广告数据包括：按预设间隔判断所述计费数据库中是否存在未添加统计完成标记的广告数据；若存在，判断未添加统计完成标记的广告数据是否存在对应的计费标记；若存在计费标记，则确定相应未添加统计完成标记的广告数据为待统计的广告数据。可选地，所述计费数据库中包括与各维度对应的展现表和点击消费表；所述从计费数据库中读取该维度下待统计的广告数据到中间文件中包括：从与该维度对应的展现表中读取待统计的展现数据到中间文件中，以及从与该维度对应的点击消费表中读取待统计的点击消费数据到中间文件中。可选地，所述展现数据为广告展现数量，点击消费数据为广告点击数量和广告消费金额，所述将聚合处理后的各排序文件中的数据分别插入相应的各统计表数据库中的对应维度下的统计表中包括：对于聚合处理后的各排序文件中的数据，先将其中的展现数据插入所述统计表中，再将其中的点击消费数据插入所述统计表中；若其中的广告展现数量等于0，且广告点击数量大于0，则在将所述点击消费数据插入所述统计表中时，对所述统计表中对应的广告展现数量进行补齐处理。可选地，所述维度包括多个层级，该方法还包括：将低层级维度下的统计表中的广告点击数量累加到高层级维度下的统计表中的广告点击数量中。可选地，所述计费数据库有N个，N为正整数，所述从计费数据库中读取该维度下待统计的广告数据到中间文件中包括：在内存中设置第一通道，在所述第一通道内设置第一协程和第二协程；由所述第一协程创建一组包含N个协程的第一协程组，由所述第二协程创建一组包含N个协程的第二协程组；由所述第一协程组中的各协程分别从各计费数据库中与该维度对应的展现表中读取待统计的展现数据到中间文件中，以及由所述第二协程组中的各协程分别从各计费数据库中与该维度对应的点击消费表中读取待统计的点击消费数据到中间文件中。可选地，所述统计表数据库有M个，M为正整数，所述对所述中间文件按统计表数据库的数量拆分为多个子文件包括：由所述第一协程和第二协程创建一组包含M个协程的第三协程组，由所述第三协程组中的各协程将所述中间文件中的展现数据和点击消费数据分别按M取模后写入M个子文件中。可选地，所述对拆分后的各子文件中的数据进行排序处理包括：由所述第一协程创建一组包含M个协程的第五协程组，由所述第二协程创建一组包含M个协程的第六协程组；由所述第五协程组中的各协程分别对所述M个子文件中的展现数据进行排序，以及由所述第六协程组中的各协程分别对所述M个子文件中的点击消费数据进行排序。可选地，所述统计表数据库有M个，M为正整数，所述从物料数据库中读取广告物料数据，根据所述广告物料数据对各排序文件中的数据进行聚合处理包括：在内存中设置第二通道，在所述第二通道内设置包含L*M个协程的第七协程组，L为正整数；在内存中设置第三通道，在所述第三通道内设置包含2L*M个协程的第八协程组；由所述第七协程组将排序文件中的数据按预设数量分批打包输出至第三通道；由所述第八协程组从物料数据库中读取广告物料数据，根据所述广告物料数据对所述第七协程组发送的各批数据进行聚合处理。可选地，所述广告物料数据包括如下的一种或多种：广告标题，广告描述信息，广告主的用户名，广告主公司名称。可选地，从物料数据库中读取广告物料数据包括：判断缓存中是否存在待读取的广告物料数据，若有则直接从所述缓存中读取相应的广告物料数据，若没有，在从所述物料数据库读取相应的广告物料数据后，将读取的广告物料数据写入所述缓存中。可选地，该方法还包括：提供前端页面，响应于前端页面发送的统计报表查询请求，从所述统计表数据库的相应的统计表中查询出相应的数据，生成统计报表并返回给所述前端页面进行展示。依据本专利技术的另一方面，提供了一种广告数据的统计装置，包括：确定单元，适于确定待统计的广告数据，所述广告数据包括一个或多个维度；读取单元，适于对于每个维度，从计费数据库中读取该维度下待统计的广告数据到中间文件中；拆分单元，适于对所述中间文件按统计表数据库的数量拆分为多个子文件；排序单元，适于对拆分后的各子文件中的数据进行排序处理，将各子文件数据的排序结果输出至各自对应的排序文件；聚合单元，适于从物料数据库中读取广告物料数据，根据所述广告物料数据对各排序文件中的数据进行聚合处理；统计单元，适于将聚合处理后的各排序文件中的数据分别插入相应的各统计表数据库中的对应维度下的统计表中。可选地，该装置还包括：标记单元，适于在所述计费数据库中为各维度下已统计的广告数据添加统计完成标记。可选地，所述确定单元，适于按预设间隔判断所述计费数据库中是否存在未添加统计完成标记的广告数据，若存在，判断未添加统计完成标记的广告数据是否存在对应的计费标记，若存在计费标记，则确定相应未添加统计完成标记的广告数据为待统计的广告数据。可选地，所述计费数据库中包括与各维度对应的展现表和点击消费表；所述读取单元，适于从与该维度对应的展现表中读取待统计的展现数据到中间文件中，以及从与该维度对应的点击消费表中读取待统计的点击消费数据到中间文件中。可选地，所述展现数据为广告展现数量，点击消费数据为广告点击数量和广告消费金额；所述统计单元，适于对于聚合处理后的各排序文件中的数据，先将其中的展现数据插入所述统计表中，再将其中的点击消费数据插入所述统计表中；若其中的广告展现数量等于0，且广告点击数量大于0，则在将所述点击消费数据插入所述统计表中时，对所述统计表中对应的广告展现数量进行补齐处理。可选地，所述维度包括多个层级；所述统计单元，还适于将低层级维度下的统计表中的广告点击数量累加到高层级维度下的统计表中的广告点击数量中。可选地，所述计费数据库有N个，N为正整数；所述读取单元，适于在内存中设置第一通道，在所述第一通道内设置第一协程和第二协程，由所述第一协程创建一组包含N个协程的第一协程组，由所述第二协程创建一组包含N个协程的第二协程组，由所述第一协程组中的各协程分别从各计费数据库中与该维度对应的展现本文档来自技高网...

【技术保护点】
1.一种广告数据的统计方法，包括：确定待统计的广告数据，所述广告数据包括一个或多个维度；对于每个维度，从计费数据库中读取该维度下待统计的广告数据到中间文件中；对所述中间文件按统计表数据库的数量拆分为多个子文件；对拆分后的各子文件中的数据进行排序处理，将各子文件数据的排序结果输出至各自对应的排序文件；从物料数据库中读取广告物料数据，根据所述广告物料数据对各排序文件中的数据进行聚合处理；将聚合处理后的各排序文件中的数据分别插入相应的各统计表数据库中的对应维度下的统计表中。

【技术特征摘要】
1.一种广告数据的统计方法，包括：确定待统计的广告数据，所述广告数据包括一个或多个维度；对于每个维度，从计费数据库中读取该维度下待统计的广告数据到中间文件中；对所述中间文件按统计表数据库的数量拆分为多个子文件；对拆分后的各子文件中的数据进行排序处理，将各子文件数据的排序结果输出至各自对应的排序文件；从物料数据库中读取广告物料数据，根据所述广告物料数据对各排序文件中的数据进行聚合处理；将聚合处理后的各排序文件中的数据分别插入相应的各统计表数据库中的对应维度下的统计表中。2.如权利要求1所述的方法，其中，该方法还包括：在所述计费数据库中为各维度下已统计的广告数据添加统计完成标记。3.如权利要求2所述的方法，其中，所述确定待统计的广告数据包括：按预设间隔判断所述计费数据库中是否存在未添加统计完成标记的广告数据；若存在，判断未添加统计完成标记的广告数据是否存在对应的计费标记；若存在计费标记，则确定相应未添加统计完成标记的广告数据为待统计的广告数据。4.如权利要求1所述的方法，其中，所述计费数据库中包括与各维度对应的展现表和点击消费表；所述从计费数据库中读取该维度下待统计的广告数据到中间文件中包括：从与该维度对应的展现表中读取待统计的展现数据到中间文件中，以及从与该维度对应的点击消费表中读取待统计的点击消费数据到中间文件中。5.如权利要求4所述的方法，其中，所述展现数据为广告展现数量，点击消费数据为广告点击数量和广告消费金额，所述将聚合处理后的各排序文件中的数据分别插入相应的各统计表数据库中的对应维度下的统计表中包括：对于聚合处理后的各排序文件中的数据，先将其中的展现数据插入所述统计表中，再将其中的点击消费数据插入所述统计表中；若其中的广...

【专利技术属性】
技术研发人员：桂成林，任亚军，王磊，刘晓溪，王云龙，赵志华，
申请(专利权)人：北京奇虎科技有限公司，
类型：发明
国别省市：北京,11