一种基于大数据的分析系统技术方案

本发明专利技术实施例提供了一种基于大数据的分析系统，所述系统包括：数据采集模块，所述数据采集模块可以根据用户以往历史浏览、购买记录等行为进行数据采集；计算模块，所述数据采集模块采集的数据经过计算后转化为计算机语言；数据库，用于存储所述数据采集模块采集的数据经过所述计算模块转化的计算机语言；操作系统，通过所述操作系统，可以调用所述数据库中存储的信息，并发送数据库中的数据至云计算；云计算，接收待计算的数据，并进行计算处理。应用本发明专利技术的实施例，可以根据基于大数据的分析系统能够提升网站的广告传播的精准度和商城商品展示的精准度。

【技术实现步骤摘要】
一种基于大数据的分析系统
本专利技术涉及电子
，尤其涉及一种基于大数据的分析系统。
技术介绍
近年来，互联网的发展越来越迅速，使用互联网的人也越来越普及，人们在使用互联网进行日常的活动的时候，例如网购，查看节目，信息，商品都会产生大量的数据，而这些数据对于电子商务网站或者互联网媒体类网站来说是非常宝贵的，利用这些大数据的处理分析能得到非常宝贵的商业价值。大数据广泛应用于互联网各项应用中，对网站的价值意义重大，通过海量数据分析和云计算的实现，可以最大化帮助互联网媒体类网站广告系统和电子商务类网站大数据商品推送系统得到最大化的提升。互联网媒体类网站大数据广告根据用户阅读偏好推送，针对海量数据的云计算，通过各种广告形式推送到网站浏览用户，例如应用在商会网(www.netcoc.com)；电子商务类网站大数据商品推送给在线购买者，通过分析用户点击行为、购买行为、产品相关性、偏好及使用时间规律推送相应的商品及促销信息，例如应用在品得商城(www.pedemall.com)。大数据的出现，正在引发全球范围内深刻的技术与商业变革。在技术上，大数据使从数据当中提取信息的常规方式发生了变化。在搜索引擎和在线广告中发挥重要作用的机器学习，被认为是大数据发挥真正价值的领域。在海量的数据中统计分析出人的行为、习惯等方式，最大程度帮助广告主找到精准潜在客户，从而提升广告效果和后续购买操作。现有的大数据分析技术，往往是大数据的分析结果往往不具备实时性、针对性，原始数据采样精准度和统计方法的差异性，以及建模结构性错误，都会导致分析有误。此外不同的使用场景也会带来完全不同的结果。专利
技术实现思路
本专利技术实施例的目的在于提供一种基于大数据的分析系统，以根据基于大数据的分析系统能够提升网站的广告传播的精准度和商城商品展示的精准度。为了达到上述目的，本专利技术提供一种基于大数据的分析系统，其特征在于，所述系统包括：数据采集模块，所述数据采集模块可以根据用户以往历史浏览、购买记录等行为进行数据采集；计算模块，所述数据采集模块采集的数据经过计算后转化为计算机语言；数据库，用于存储所述数据采集模块采集的数据经过所述计算模块转化的计算机语言；操作系统，通过所述操作系统，可以调用所述数据库中存储的信息，并发送数据库中的数据至云计算；云计算，接收待计算的数据，并进行计算获得增量数据以及计算出所述大数据计算的增量输出结果。优选的，所述数据采集模块采用SAS网络爬虫进行数据的采集。优选的，所述数据采集，通过预设数据过滤规则对数据进行过滤，将过滤后的数据作为所述数据采集模块采集到的数据。优选的，所述数据过滤是采用布隆过滤器，对所采集到的数据进行过滤。优选的，所述数据分析系统包括网络服务器，通过所述网络服务器能将多个所述数据库中的数据连接起来，提供更大的数据。优选的，所述操作系统为Linux操作系统。优选的，所述网络服务器连接所述数据库的数量为6个至10个。优选的，所述云计算中，所述必要数据包括完整输入、完整输出中的至少一项，所述增量传递规则用于以数据为粒度描述所述每一个计算步骤根据所述每一个计算步骤的增量输入和所述每一个计算步骤需要保存的必要数据计算所述每一个计算步骤的增量输出的计算规则，所述每一个计算步骤需要保存的必要数据在进行完整计算或增量计算时根据所述每一个计算步骤的增量传递规则进行保存；根据所述增量输出结果与所述大数据计算的原始输出结果，确定最终计算结果。本专利技术实施例提供一种基于大数据的分析系统，基于大数据的分析系统是结合了当前大数据技术的各种解决方案基础上，形成简洁高效的技术处理手段。适用于中小企业，媒体平台、电商平台，性价比较高，可以满足日常经营所需的数据分析支持，帮助企业更好的获得收益。可以根据基于大数据的分析系统能够提升网站的广告传播的精准度和商城商品展示的精准度。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术提供的基于大数据的分析系统的第一种结构示意图。图2是本专利技术提供的基于大数据的分析系统的第二种结构示意图。图3是本专利技术提供的基于大数据的分析系统的第三种结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。下面通过具体实施例，对本专利技术进行详细的说明。参见图1，一种基于大数据的分析系统，所述系统包括：数据采集模块1，所述数据采集模块可以根据用户以往历史浏览、购买记录等行为进行数据采集；计算模块2，所述数据采集模块采集的数据经过计算后转化为计算机语言；数据库3，用于存储所述数据采集模块采集的数据经过所述计算模块转化的计算机语言；操作系统4，通过所述操作系统，可以调用所述数据库中存储的信息，并发送数据库中的数据至云计算；云计算5，接收待计算的数据，并进行计算获得增量数据以及计算出所述大数据计算的增量输出结果，其中，所述必要数据包括完整输入、完整输出中的至少一项，所述增量传递规则用于以数据为粒度描述所述每一个计算步骤根据所述每一个计算步骤的增量输入和所述每一个计算步骤需要保存的必要数据计算所述每一个计算步骤的增量输出的计算规则，所述每一个计算步骤需要保存的必要数据在进行完整计算或增量计算时根据所述每一个计算步骤的增量传递规则进行保存；根据所述增量输出结果与所述大数据计算的原始输出结果，确定最终计算结果。具体的，所述数据采集模块采用爬虫进行数据的采集，并通过预设数据过滤规则对数据进行过滤，将过滤后的数据作为所述数据采集模块采集到的数据，另外，所述数据分析系统包括网络服务器，通过所述网络服务器能将多个所述数据库中的数据连接起来，提供更大的数据。具体的，所述操作系统为Linux操作系统。基于大数据的分析系统应用在一些互联网媒体类网站上，例如应用在商会网(www.netcoc.com)上。其中商会网基于大数据的分析系统，尤其是商会网大数据广告系统，能自动提升付费广告客户在网站上最大程度匹配潜在客户，通过大量用户行为数据分析，通过云计算分析在短时间内为浏览网站的客户推送相关联的广告信息。从而促进在线用户对感兴趣类别的广告进行浏览、点击查看等后续行为，是实现广告价值最大化的一门核心互联网技术。同时商会网广告系统还支持互联网绝大多数广告形式，包括文字链、图片广告、视频广告等。拥有健全的广告排期机制，能精准统计广告PV、点击效果、数据统计等。具备广告客户竞价体系，可按照cpc、cpm、cpa、cps、cpv等多种形式进行收费。为了实现商会网大数据广告系统的功能，本专利技术提供一种基于大数据的分析系统采用分布式计算架构(LAMP)，LAMP框架包括：Linux操作系统，Apache网络服务器，MySQL数据库，Perl、PHP或者Python编程语言，所有组成产品均是开源软件，是国际上成熟的架构框架。和Jav本文档来自技高网...

【技术保护点】
1.一种基于大数据的分析系统，其特征在于，所述系统包括：数据采集模块，所述数据采集模块可以根据用户以往历史浏览、购买记录等行为进行数据采集；计算模块，所述数据采集模块采集的数据经过计算后转化为计算机语言；数据库，用于存储所述数据采集模块采集的数据经过所述计算模块转化的计算机语言；操作系统，通过所述操作系统，可以调用所述数据库中存储的信息，并发送数据库中的数据至云计算；云计算，接收待计算的数据，并进行计算获得增量数据以及计算出所述大数据计算的增量输出结果。

【技术特征摘要】
1.一种基于大数据的分析系统，其特征在于，所述系统包括：数据采集模块，所述数据采集模块可以根据用户以往历史浏览、购买记录等行为进行数据采集；计算模块，所述数据采集模块采集的数据经过计算后转化为计算机语言；数据库，用于存储所述数据采集模块采集的数据经过所述计算模块转化的计算机语言；操作系统，通过所述操作系统，可以调用所述数据库中存储的信息，并发送数据库中的数据至云计算；云计算，接收待计算的数据，并进行计算获得增量数据以及计算出所述大数据计算的增量输出结果。2.根据权利要求1所述的一种基于大数据的分析系统，其特征在于，所述数据采集模块采用SAS网络爬虫进行数据的采集。3.根据权利要求1所述的一种基于大数据的分析系统，其特征在于，所述数据采集，通过预设数据过滤规则对数据进行过滤，将过滤后的数据作为所述数据采集模块采集到的数据。4.根据权利要求3所述的一种基于大数据的分析系统，其特征在于，所述数据过滤是采用布隆过滤器，对所采集到的数据进行过...

【专利技术属性】
技术研发人员：李永敢，
申请(专利权)人：佛山市聚成知识产权服务有限公司，
类型：发明
国别省市：广东,44